探索性数据分析工具Word下载.docx

探索性数据分析工具Word下载.docx

《探索性数据分析工具Word下载.docx》由会员分享，可在线阅读，更多相关《探索性数据分析工具Word下载.docx（13页珍藏版）》请在冰点文库上搜索。

（3）设置相关参数，生成直方图。

1）Bars：

直方图条带个数，也就是分级级数。

2）Translation：

数据变换方式。

3）None：

对原始采样数据的值不作变换，直接生成直方图。

4）Log：

首先对原始采样数据取对数，再生成直方图。

5）Box-cox：

首先对原始采样数据进行博克斯-考克斯变换（也称幂变换），再生成直方图。

6）Layer：

当前正在分析的数据图层。

7）Attribute：

生成直方图的属性字段。

从图a和图b的对比分析可以看出，该地区GDP原始数据并不服从正态分布，经过对数变换处理，分布具有明显的对数分布特征。

并且在最右侧有一个明显的离群值。

在直方图右上方的小视窗中，显示了一些基本统计信息，包括：

个数（Count）、最小值（Min）、最大值（Max）、平均值（Mean）、标准差（Std.Dev.）、峰度（Kurtosis）、偏态（Skewness）、1/4分位数（1-stQuartile）、中数（Median）、3/4分位数（3-rdQuartile），通过这些信息可以对数据有个初步的了解。

四分位数：

如果将N个数值由小至大排列，第1/4N个数就是第一个四分位数，通常以

来表示；

第1/4N分位数个数就是第二个四分位数

即中位数；

第1/4N个数就是第三个四分位数

，四分位距即为：

。

它将极端的前1/4和后1/4去除，而利用第三个与第一个分位数的差距来表示分散情形，因此避免了极端值的影响。

但它需要将数据由小到大排序，且没有利用全部数据。

峰度（Kurtosis）：

用于描述数据分布高度的指标，正态分布的峰度等于0。

如果数据的峰度大于0，那么该数据的分布就会比正态分布高耸且狭窄，此时数据比正态分布集中于平均数附近。

反之，如果峰度小于0，数据的分布就比正态分布平坦且宽阔，此时数据比正态分布分散。

偏态（Skewness）：

用于描述数据分布左右对称性的指标，正态分布的偏态等于0。

如果数据的直方图向右延伸，即大部分的数据集中于左边，则偏态大于0，称为正偏态或右偏态。

如果数据的直方图向左延伸，即大部分的数据集中于右边，则偏态小于0，称为负偏态或左偏态。

如图2，由原始数据的直方图上可看出，原始数据的分布属于正偏态，经过变换后的数据比正态分布的数据更加集中于平均值附近。

3.Voronoi地图

Voronoi地图是由在样点周围形成的一系列多边形组成的。

某一样点的Voronoi多边形按下述方法生成：

多边形内任何位置距这一样点的距离都比该多边形到其它样点的距离要将要近。

Voronoi多边形生成之后，相邻的点就被定义为其Voronoi多边形与选择样点的Voronoi多边形具有公共边的其它样点。

在ArcGIS9.0中生成数据的Voronoi地图的基本步骤为：

（2）单击GeostatisticalAnalyst模块的下拉箭头选择ExploreData并点击VoronoiMap命令。

（3）设置参数，生成Voronoi图，如图2。

1）Type：

分配和计算多边形值的方法。

2）Layer：

3）Atrribute：

VoronoiMap对话框Type选项提供了多种分配和计算多边形值的方法：

（1）简化（Simple）：

分配到某个多边形单元的值是该多边形单元的方法。

（2）平均（Mean）：

分配到某个多边形单元的值是这个单元与其相邻单元的平均值。

（3）模式（Mode）：

所有的多边形单元被分为五级区间，分配到某个多边形单元的值是这个单元与其相邻单元的（级发生频率的）模式。

（4）聚类（Cluster）：

所有的多边形单元被分配到这五级区间中，如果某个多边形单元的级区间与它的相邻单元的级区间都有不同，这个单元用灰色表示，以区别于其它单元。

图2Voronoi地图

（5）熵（Entropy）：

所有单元都根据数据值的自然分组分配到这五级中。

分配到某个多边形单元的值是根据该单元和其相邻单元计算出来的熵。

（6）中值（Median）：

分配给某多边形的值是根据该单元和其相邻单元的频率分布计算的中值。

（7）标准差（StDev）：

分配给某多边形的值是根据该单元和其相邻单元计算出的标准差。

（8）四分位数间间隔（IQR）：

第一和第三四分位数是根据某单元和其相邻单元的频率分布计算出来的。

分配给某多边形单元的值是用第三四分位数减去第一四分位数得到的差。

Voronoi地图可以了解到每个采样点控制的区域的范围，也可以体现出每个采样点对区域内插的重要性。

利用Voronoi地图中就可以找出一些对区域内插作用不大且可能影响内插精度的采样点值，可以将它剔除。

用聚类和熵的方法生成的Vonoroi图可也可用来帮助识别可能的离群值。

自然界中，距离相近的事物比距离远的事物具有更大的相似性。

熵值是量度相邻单元相异性的一个指标。

因此，局部离群值可以通过高熵值的区域识别出来。

同样，一般认为某个特定单元的值至少应与它周围单元中的某一个的值相近。

因此聚类方法也能将那些与它们周围单元不相同的单元识别出来。

4.QQPlot分布图

QQ图提供了另外一种度量数据正态分布的方法，利用QQ图，可以将现有数据的分布与标准正态分布对比，如果数据越接近一条直线，则它越接近于服从正态分布。

（1）正态QQPlot（NormalQQPlot）分布图

正态QQPlot分布图主要用来评估具有n个值的单变量样本数据是否服从正态分布。

构建正态QQPlot分布图的通用过程为（图3）：

图3正态QQPlot示意图

1）首先对采样值进行排序；

2）计算出每个排序后的数据的累积值（低于该值的数据的百分比）；

3）绘制累积值分布图；

4）在累积值之间使用线性内插技术，构建一个与其具有相同累积分布的理论正态分布图，求出对应的正态分布值。

5）以横轴为理论正态分布值，竖轴为采样点值，绘制样本数据相对于其标准正态分布值的散点图，此图为样本数据的正态QQPlot分布图。

如果采样数据服从正态分布，其正态QQPlot分布图中采样点分布应该是一条的直线。

如果有个别采样点偏离直线太多，那么这些采样点可能是一些异常点，应该对其进行检验。

此外，如果在正态QQ图中数据没有显示出正态分布，那么就有必要在应用某种克里格插值法之前将数据进行转换，使之服从正态分布。

在ArcGIS9.0中生成数据的正态QQPlot分布图的主要步骤为：

1）在ArcMap中加载地统计数据点图层。

2）单击GeostatisticalAnalyst模块的下拉箭头选择ExploreData并点击NormalQQPlot的命令。

3）设置参数，生成NormalQQPlot图。

ATranslation：

a）None：

b）Log：

c）Box-cox：

首先对原始采样数据进行博克斯-考克斯变换（也称幂变换），再生成正态QQPlot图。

BLayer：

CAtrribute：

生成NormalQQPlot分布图使用的属性字段。

图4正态QQPlot分布图

从图a可以看出，该地区GDP的采样数据不符合正态分布，但对其进行对数变换处理后（图b），对数变换数据近似符合正态分布。

仅从采样点值的分布看，在小值区域和大值区域，存在个别离群点值。

（2）构建一个普通QQPlot分布图

普通QQPlot（GeneralQQPlot）分布图用来评估两个数据集的分布的相似性。

普通QQPlot分布图通过两个数据集中具有相同累积分布值作图来生成，如图所示。

累积分布值

图5普通QQPlot示意图

的作法参阅正态QQPlot分布图内容。

在ArcGIS9.0中生成数据的普通QQPlot分布图的主要步骤为：

2）单击GeostatisticalAnalyst模块的下拉箭头选择ExploreData并点击GeneralQQPlot命令。

3）设置参数，生成GeneralQQPlot图。

图6普通QQPlot分布图

普通QQPlot图揭示了两个物体（变量）之间的相关关系，如果在QQPlot图中曲线呈直线，说明两物体呈一种线性关系，可以用一个一元一次方程式来拟合。

如果QQPlot图中曲线呈抛物线，说明两物体的关系可以用一个二元多项式来拟合。

5.趋势分析工具

趋势分析工提供用户研究区采样点转换为以感兴趣的属性值为高度的三维透视图，允许用户从不同视角分析采样数据集的全局趋势。

在ArcGIS9.0中对使用趋势分析的主要步骤有：

（2）单击GeostatisticalAnalyst模块的下拉箭头选择ExploreData并点击Tren

Analysis的命令。

（3）检查中数据层层名对话框（Layer）的设置是否正确，在字段属性对话框（Attribute）选择参见趋势分析的字段名称。

（4）Rotate选择Locations，通过其右侧旋转水平螺旋按钮可以任意改变投影视角；

选择Graph，通过其右侧旋转按钮可以任意改变整个投影视图的视角，即同时投影图已经固定，只是用户在不同水平方向观察它，此时试图右侧上下螺旋按钮可以动态改变透视图的仰角（观测者与视图的相对高低位置）。

（5）趋势分析工具GraphOptions中提供了多种显示功能：

（6）Grid：

调整X、Y、Z方向上的格网数，以及格网线条的粗细。

（7）ProjectedData：

选择落在X、Y、Z方向格网上投影点的颜色及点的大小。

（8）TrendonProjection：

选择东西、南北方向趋势面投影线用多项式拟合的次数以及趋势线的粗细。

（9）Sticks：

选择点到X、Y平面垂线的粗细和颜色。

（10）Axes：

选择X、Y、Z坐标轴的粗细和颜色。

（11）InputDataPoints：

选择高程点的颜色和大小。

趋势分析图中的每一根竖棒代表了一个数据点的值（高度）和位置。

这些点被投影到一个东西向的和一个南北向的正交平面上。

通过投影点可以作出一条最佳拟合线，并用它来模拟特定方向上存在的趋势。

如果该线是平直的，则表明没有趋势存在。

在图7，在图中，可以看到投影到东西向上的较细的趋势线，从东往西呈阶梯状平滑过渡，而南北方向上，趋势线（较粗的黑色线条）呈U形，从中我们可以大致可以得知，此区域的地势为从东往西逐渐下降，南北方向上两边高、中间低的地形。

分析出的结果和此区域的真实地形基本吻合。

可见趋势分析工具对观察一个物体的空间分布具有简单、直观的优势，还可以找出拟合最好的多项式对区域中的散点进行内插，得到趋势面。

图7趋势分析图

6.方差变异分析工具

（1）半变异／协方差函数云半变异／协方差函数云表示的是数据集中所有样点对的理论半变异值和协方差，并把它们用两点间距离的函数来表示，用此函数作图来表示。

在ArcGIS9.0中生成数据的半变异／协方差函数云图主要步骤有：

2）单击GeostatisticalAnalyst模块的下拉箭头选择ExploreData并点击Semivariogram/CovarianceCloud的命令。

3）检查中数据层层名对话框（Layer）的设置是否正确，在字段属性对话框（Attribute）选择参见趋势分析的字段名称。

4）LagSize为最大步长，NumberofLags为步长分组个数，如图8.a所示。

5）如果空间变异具有方向性，可以选择ShowSearchDirection（方向搜索），然后点击方向控制条、重设它或改变它的方向来浏览半变异函数云的某个方向子集，如图8.b所示。

图8半变异／协方差函数云图

（2）正交协方差函数云正交协方差函数云表示的是两个数据集中所有样点对的理论正交协方差，并把它们用两点间距离的函数来表示。

在ArcGIS9.0中生成数据的正交协方差函数云图的主要步骤：

2）单击GeostatisticalAnalyst模块的下拉箭头选择ExploreData并点击CrosscovarianceCloud的命令。

4）LagSize为最大步长，NumberofLags为步长分组个数。

如果空间变异具有方向性，可以选择ShowSearchDirection（方向搜索），然后点击方向控制条、重设它或改变它的方向来浏览半变异函数云的某个方向子集，如图9所示。

具体方向的确定应根据形成该现象的成因及各方向结果的比较。

图9正交协方差函数云图