食品安全大数据可视化关联分析Word文档下载推荐.docx
《食品安全大数据可视化关联分析Word文档下载推荐.docx》由会员分享，可在线阅读，更多相关《食品安全大数据可视化关联分析Word文档下载推荐.docx（15页珍藏版）》请在冰点文库上搜索。
这些数据涉及食品的种类、营养、污染物、时间、地域等多维度信息，具有多维、时空、层次、关联等特征，对这些数据的关联分析是食品安全领域的重要分析任务，包括属性关联、实体关联、对比分析和时空分析。
随着检测技术的进步和物联网技术的应用，食品安全数据的数量、类型不断增多，产生的速度不断加快，开始呈现出大数据的特征。
这一方面为基于数据驱动的食品安全风险分析提供了丰富的数据资源，另一方面也对数据分析技术提出了极大的挑战。
2食品安全数据的来源、特征与关联分析任务
2.1数据来源
食品安全数据来源广泛，主要包括如下几个方面。
●各类食品安全检测仪器的检测结果。
这些检测仪器可以是：
用于检测农药残留的色谱-质谱仪、用于监测食品质量的射频识别（radiofrequencyidentification，RFID）传感器和视频设备、用于快速检测食品安全的移动设备（如手机）等。
●与食品安全相关的标准文件。
如食品中各种危害物（农药残留、重金属、致病菌等）的限量标准、检测方法标准、食品中营养成分的限量标准等。
●互联网数据。
如新闻、微博、Twitter等社交媒体上的相关评论等。
●在线数据库。
各国食品安全管理部门或组织都会在线发布数据，这些数据包含与食品安全相关的信息，如各国的相关标准、食品中污染物的抽检结果和分析报告、出入境检验检疫不合格食品信息、食品消费数据、风险预警信息等。
表1给出了几个国内外典型的食品安全在线数据库。
GEMS/Food（globalenvironmentmonitoringsystemfoodcontaminationmonitoringandassessmentprogramme）是全球环境监测/食品污染监测和评估系统，它由世界卫生组织（WorldHealthOrganization，WHO）发布，包含世界多个区域的食品污染物监测数据；
RASFF（rapidalertsystemforfoodandfeed）是欧盟食品和饲料类快速预警系统，是现在由欧洲联盟委员会（EuropeanCommission，EC）公开的经常使用的食品安全在线数据库，该系统可以按照通知、通知类别、危害物、日期、产品、关键字等进行数据筛选。
EFSA-Data是由欧洲食品安全局（EuropeanFoodSafetyAuthority，EFSA）发布的欧盟地区食品安全数据收集和分析结果，其中包含食品消费、食品成分、生物危害、化学危害、化学污染物、化学残留物、植物学纲要和标准化数据等相关数据，风险评估者可使用该数据集计算出消费者对某种危害的暴露程度，监控食品安全计划的有效性。
美国食品药品监督管理局（FoodandDrugAdministration，FDA）发布了一些数据库，如农药残留监测计划报告和数据、FDA监管产品召回的信息等。
中国食品安全国家标准和食品安全抽检结果由国家市场监督管理总局（StateAdministrationforMarketRegulation，SAMR）发布，包含我国各污染物的限量标准、抽检结果全部合格和不合格产品信息的食品名称和抽检次数等。
对于进出口食品安全数据，如各国有关标准和未准入境食品信息由中国海关总署（GeneralAdministrationofCustomsofthePeople’sRepublicofChina，GACC）发布。
此外，中国还有一些食品安全数据集是由商业组织提供的，例如食品伙伴网的专业食品安全数据库，包含安全性指标、食品抽检信息、化学污染、微生物、进出口信息、认证信息、营养数据等。
上述数据库大多为用户提供了根据地区、食品分类、危害物、时间等关键字段进行查询的功能。
2.2数据特征
从数据来源可以看出，食品安全数据开始呈现规模巨大（volume）、类型多样（variety）、产生速度快（velocity）、价值密度低（value）、不确定性（veracity）和动态可变性（variability）的大数据6V特征。
从数据分析的角度来看，它还具有多源、多维、层次、时空和动态可变等特征。
多源是指食品安全数据来源广泛，如前文所述，其可以是检测结果、监测数据、标准文件、监管数据、互联网数据、在线数据库等；
多维是指食品安全数据具有多维属性，例如，食品中含有多种营养成分，包含蛋白质、维生素、糖、脂肪等1500多种；
层次是指数据具有树形的层次结构，例如，农产品分类、农药分类、地域的行政区划等都具有层次特征；
时空是指食品安全数据有一定的时间属性和空间属性，通常人们需要统计食品安全数据按空间分布和时间分布的态势；
动态可变性是指食品安全数据是动态变化的，如监测数据、视频数据、社交媒体数据等。
2.3关联分析任务
食品安全监管的目的是通过相关技术手段进行风险识别、风险分析和风险评估，进而实现风险预警和追根溯源，以最大限度地预防、减轻和消除食品安全的危害和风险，确保人民群众的食品安全。
随着食品安全大数据的出现，数据驱动的风险分析已成为食品安全决策和监管的重要手段之一。
通过对食品安全数据的关联分析，领域人员可以掌握数据的分布特征、发现异常、探索数据间的隐含关联，以支持食品安全风险识别、风险评估、风险预警和追根溯源。
根据食品安全监管的需求和数据的特征，笔者将食品安全数据的关联分析分为以下4类：
属性关联、实体关联、对比分析和时空分析。
●属性关联是指属性间的相关性分析。
食品安全数据通常是多维或高维数据，涉及食品的各种属性（名称、分类、营养成分等）、危害物的各种属性（名称、类别、毒性、成分等）、多国限量标准等，通过属性间的相关性分析，可以进行营养食品推荐或食品安全风险预测。
●实体关联是指实体间的关联分析。
食品安全数据集中通常含有多个食品或危害物等实体，这些实体间的关联可以是树状的层次关系，也可以是网状的关联关系，通过对这些关联关系的探索，可以帮助发现异常实体，如高风险的食品或危害物。
●对比分析。
作为关联分析的一种特殊形式，对比分析在食品安全领域中普遍存在，如检测结果与限量标准的对比和食品污染程度的排名可以帮助发现不合格食品和高风险食品；
多国限量标准的对比可以帮助监管部门发现两个国家同类标准的差异，如农药残留最大限量标准，进而改进和完善我国现有标准。
●时空分析。
食品安全数据的许多属性与时间或空间关联，这类关联分析可以使用户了解数据的空间分布和时变特征，从而对食品安全事件进行预测和溯源。
针对上述关联分析需求，当前基于统计学和数据挖掘的方法在一定程度上有效地解决了食品安全数据的关联分析问题，然而这些方法大多是全自动的过程，没有考虑人的经验和知识。
随着食品安全大数据时代的到来，食品安全监测预警工作的思维方式和工作范式将发生根本性的变化，食品安全数据监测预警的分析对象和研究内容更加细化，数据获取技术更加便捷，这就要求信息处理技术更加智能，信息表达和服务技术更加精准。
3食品安全数据的关联可视分析方法
近年来出现的可视分析技术将人的经验智慧与机器的运算能力紧密地结合在一起，通过提供有效的交互可视界面，帮助人们快速准确地观察、过滤、探索、理解和分析大规模数据，从而有效地发现隐藏在数据内部的特征和规律。
数据可视分析流程如下：
首先对原始数据进行收集和处理，并将其存储到数据文件或数据库中，然后通过数据分析得到分析结果，再将分析结果通过可视化映射形成可视化视图，并呈现给用户。
用户则根据其分析任务，在上述流程中的各个阶段与数据进行交互（如选择和过滤要分析的数据、调节分析模型中的参数、切换不同的视图），以实现对数据的全方位分析。
这种人在回路的可视分析方法为食品安全数据的关联分析提供了新思路，本节将根据食品安全领域中的4类关联分析需求，分类介绍关联可视分析方法，见表2。
3.1属性间的关联可视分析
食品安全数据属性间的关联分析可以分为两属性相关性分析和多属性相关性分析，通常使用散点图、散点图矩阵、平行坐标、邻接矩阵等可视化方法将数据呈现给用户，通过交互手段，用户可以探索数据属性间的相关性和关联规律。
3.1.1两属性之间的相关性可视分析散点图由直角坐标系上的数据点构成，表明数据的二维属性之间的关系。
BianRZ等人提出了一种基于隐函数微分的多维投影方法，将红酒数据集通过主成分分析（principalcomponentanalysis，PCA）方法投影到二维平面上，并形成散点图，如图1（a）所示。
对于多属性的相关性分析，可以使用散点图的扩展方法——散点图矩阵。
散点图矩阵将n维数据每两维组成一个散点图（数据维度即数据属性），再将它们按照一定的顺序组成n×
n的矩阵，即散点图矩阵，以揭示n维数据中所有维度两两之间的关系。
为了同时探索多维数据属性间的相关性，YuanXR等人提出了一种维度投影矩阵技术，用于交互式地探索和分析高维数据子空间，并将其应用于分析食品营养数据集，每个维度代表某种营养素。
首先将美国农业部食品数据集经过多维标度分析（multidimensionalscaling，MDS）投影在二维平面中，按照此图的聚类特征将维度分为4个互相独立的组，形成维度投影矩阵，以帮助用户探索和分析食品中多个营养素之间的关联关系，将食品按营养素的关联关系进行合理的聚类，如图1（b）所示。
图1
属性关联可视分析方法图例
3.1.2多属性之间的相关性可视分析平行坐标（parallelcoordinates）用一组平行的轴表示数据的属性，用穿过每一条轴线的一条折线表示一个数据对象，平行的轴是等距离分布的垂直线或水平线。
采用平行坐标展现多属性数据可以帮助用户分析属性之间的相关性，以及数据的分布特征。
ChenY等人运用平行坐标展现农产品中农药残留限量值在中国、美国、日本、欧盟、国际食品法典委员会（CodexAlimentariusCommission，CAC）等国家/地区或组织的MRL标准中的取值，帮助用户对比多个MRL标准的差异。
平行坐标可以很好地展现属性间的相关关系，但当数据对象增多时，会产生视觉杂乱。
为了解决这一问题，陈谊等人对平行坐标进行了改进，提出了一种基于类区间的多维数据可视化方法，并应用到农药残留检测标准数据的分析中，如图1（c）所示。
该方法首先根据数据的实际理化意义，使用K-means算法对原始数据进行聚类，然后引入类区间模型，将各类数据相互分离，从而形成了清晰的可视化聚类效果。
此外，陈谊等人使用邻接矩阵，通过矩阵热图的颜色深浅映射维度之间的相关性大小，颜色越深表示相关性越大，并以检出农药为例，展示了不同农药属性维度之间的相关性，以挖掘某地区农产品中农药的施用模式。
3.2实体间的关联可视分析
针对分析任务，实体间的关联关系可以分为实体间网络关系和实体间层次关系。
3.2.1实体间网络关系可视分析网络关系通常用图来描述，在图结构中，常将节点称为顶点，边为顶点的有序偶对，若两顶点间存在一条边，则表示这两个顶点具有相邻关系。
基于图的可视分析方法结合了图分析理论和可视化技术的优势，将图的邻接表或者邻接矩阵转换为由点和线组成的图形，可以令研究人员直观地看到数据间的关联关系，其已成为分析复杂数据集中各种关系的有效手段。
常用方法有节点-链接（node-link）法、邻接矩阵和弦图等。
节点-链接法是一种典型的关联数据可视化方法，它用不同形状的节点表示实体，节点之间的连线表示实体间的关系。
它既可以表达实体间的树状层次关系（节点链接树），也可以表达实体间网状的关联关系（图）。
杨璐等人运用节点-链接法将某种食品与其检出的不合格项目进行连线，检出的不合格项目频率越高，连线越粗，与检测频率呈等比例关系展示，从而帮助监管者定位重点监管对象和监管项目。
弦图可以展示关联数据间的权重关系，数据点之间的关系被绘制为连接两个数据点的弧（边），权重越大则边越粗。
NarcisaPA等人设计了一种弦图来显示各危害物与乳制品之间的关联关系，如图2所示。
图2
弦图，展现各危害物与乳制品之间的关联关系
邻接矩阵是实体间网络关系可视化表示之一，它是一个N×
N的网格（其中N为节点数），其中位置（i,j）表示节点i和j之间的链路权值。
ChenY等人提出了一种用于关联数据可视分析的有序矩阵表达方法，该方法用矩阵热图表示农产品和农药的检出关系，其中矩阵的行表示农药，列表示农产品，单元格的颜色表示农药残留含量，颜色越深，农药残余含量越高。
如图3所示，该方法将数据抽象为二部图，将实体抽象为点，P、R、W分别表示两个独立的点集合和一个连接两点的边集合，将实体的RW值作为索引，表示实体在关系结构中的重要性。
RW-Rank算法受到PageRank算法的启发，根据行向量和列向量的RW值进行排序，创建一个有序的关系矩阵，帮助用户定位关键实体并分析它们之间的关系。
如图4所示，A1视图中矩阵A的行和列的排列顺序是按字母顺序排序的，便于用户按名称查找；
A2视图中矩阵B的行和列则按RW-Rank算法排序，便于用户快速定位高残留量、污染严重的农产品和农药。
图3
二部图，展现农药和农产品的关系
图4
邻接矩阵，展现农产品和农药的相关性
3.2.2实体间层次关系可视分析实体间层次关系主要表现为包含关系和从属关系。
例如食品通常有大类、亚类、次亚类、细类之分。
对于层次数据，常用的可视化方法有节点-链接树、树图、放射环等。
节点-链接树的层次关系表现为数据中父辈节点将子孙辈节点包围起来，展示了数据间的父子关系。
齐红革等人运用节点-链接树构建食品分类图谱展示食品分类，使食品、食品添加剂分类由大类到细类清晰地呈现。
树图由一系列嵌套的矩形组成，也可以说是在矩形空间中进行递归的分割，这些矩形的大小与相应的节点属性值成比例。
大矩形表示数据树的一个分支，然后将大矩形细分为较小的矩形，表示该分支内每个节点的大小，还可以搭配颜色来表示不同的数据属性。
JiaYJ等人提出了一种基于树图的可视化方法，用树图表示农药含量的分布以及农产品所在区域的层次化结构，该方法可有效地帮助专家按照区域和农产品类别的层次结构对数据集进行关联分析。
事实证明，利用树图的可视化方案能够有效地展示食品安全领域中对于层次结构和关联关系展示的要求。
ChenY等人用树图保留节点间的层次关系，进而展示农药残留检测结果数据。
图5（a）是天津市10个区2014年1月的果蔬农药残留分布情况，10个大矩形表示天津市的10个区，每个大矩形中包含的两个小矩形分别表示水果和蔬菜，颜色表示农药残留超标率，即检测出的农药残留量超过MRL标准值的次数与检测农药残留总次数的比值，超标率越大越接近红色。
通过这种方法，食品安全领域的专家可以更有效地发现各区果蔬农药残留的分布情况，并根据不同的需求做出有效的决策。
图5
实体间层次关系可视分析方法示例
放射环也是一种展现层次关系的关联可视化方法，但是其内部空间利用率较低，因此，采用放射环和节点-链接法结合的方式能够同时显示两类层次数据。
ChenY等人充分利用放射环圆心附近的空间，将放射环与节点-链接树结合，提出了一种能够展示两类层次数据关联关系的可视化算法SONHC（sunburstwithorderednodesbasedonhierarchicalclustering），并将其应用于可视分析农产品中农药残留的检出情况。
该算法用外面的放射环展示农药的层次结构，圆环内部则通过节点-链接树展示农产品的层次结构；
通过连线将农产品与检出农药建立关联，帮助相关分析人员检查农药和农产品的层次结构，并探索农药和农产品之间的关联以及不同农药之间的关联，如图5（b）所示。
此外，杜晓敏等人基于圆环和放射环等提出了一种基于变换的可视分析关联图TransGraph，从而展示农产品与农药的检出关联关系和农药残留检出的层次关联关系。
TransGraph能突出重点监管对象，全面展示关联信息，帮助相关监管部门和分析人员制定决策。
3.3对比分析
对比分析是关联分析的一种常用方法，可分为数值对比和结构对比。
3.3.1数值对比可视分析在食品安全领域中，常用数值对比来对比分析检测值与检测标准值，或将食品受污染情况进行排序对比。
图6是一个多属性排名可视分析系统，该系统采用平行坐标结合柱状图的可视化方法，展示多个农产品按多个农药残留评价指标（包括单因子和多因子综合指标）的排名情况，通过多视图联动、数据筛选、属性选择等交互手段，帮助用户全面理解各种农产品受农药残留污染的排名情况，可对比分析各农产品及其农药残留情况。
图6
多属性排名可视分析系统，展现多个农产品在多个农药残留评价指标的排名情况
3.3.2结构对比可视分析在食品安全领域，通常需要比较两个按某种结构组织的数据集，如两个农产品分类体系的比较、两个MRL标准的比较都可以抽象为树比较的问题。
结构对比可视分析最常用的方法是并置法，即将比较的数据直接可视化并放在同一个视图中，通过观察对比的方式完成。
ChenY等人将不同MRL限量标准抽象化为两个树，通过两个嵌套圆并置（如图7所示）来可视化两棵MRL树，帮助用户对比分析中国内地和中国香港的MRL标准。
嵌套圆结合了节点-链接图和树图的优点，用圆的面积表示节点的属性值，用圆的嵌套关系表示节点间的层次关系，所有的子节点圆都被包含在父节点圆中。
由于MRL标准是按农产品分类（树结构）来制定限量值的，该方法的两个MRL标准比较问题就转化为了两棵树的比较问题。
用嵌套的结构描述农产品分类的层次结构，用圆的面积表示某农产品涉及MRL标准值的记录数，图7中的左嵌套圆为中国内地MRL标准，右嵌套圆为中国香港MRL标准。
图7
嵌套圆，对比分析中国内地和中国香港的MRL标准
3.4时空分析
食品数据具有时间和空间特征，对食品数据进行时空分析可以探索食品属性与时间、空间的关联，让分析人员掌握食品安全问题在地域上的分布特征和随时间推移的发展趋势。
3.4.1食品属性与时间的关联可视分析食品安全数据在时间序列上存在的潜在规律（如多年农产品中的农药残留检出频次具有周期性特征，一年中不同季节的农药残留也呈现出不同的特征等）能有效地帮助人们对食品安全事件发生的时间进行预测，对安全问题进行提前预防。
基于时间的可视化方法能够较为直观地反映数据随时间变化的规律和趋势，同时能够展现数据细节。
时序型数据通常以时间线的方式来表示，图8（a）以时间为轴，展示了7种农产品的农药超标率随时间的变化情况，其中气泡颜色表示农产品类型，大小表示农药残留超标率的值。
ChenY等人提出了一种被称为有序树图序列（orderedsmallmultipletreemaps，OSMT）的时变层次数据可视化方法，它采用树图并置的方式实现对层次数据随时间变化的可视化表示。
图8（b）为使用该方法对2014年天津市10个地区的果蔬农药残留超标率的变化情况进行可视化的结果，可以看出，图8（b）中的12个树图并置表示12个月的变化情况，每个展示层次数据的树图表示某个月天津市10个地区果蔬农药残留的超标率。
主题河流（ThemeRiver）也是一种常用的时间关联可视分析方法，其在时间维度上以河流的形式展现数据的变化情况。
甄远刚等人提出了一种改进的非连续数据ThemeRiver可视化方法，利用高斯模型曲线拟合，通过主题布局排序、颜色选择和标签分布布局一种具有预测功能且能够展示层次特征的新型主题河流模型，并将其应用于农药残留数据监测，为农药残留预测预警提供依据。
图8
时间关联可视分析方法示例
3.4.2食品属性与空间的关联可视分析食品安全数据的地域分布能够帮助研究人员定位食品的采样地、原产地等，是食品安全预警和溯源的重要依据。
通常地理信息系统（geographicinformationsystem，GIS）被用来显示数据在地域上的分布情况。
统计地图（choroplethmap）可视化假设数据的属性在一个区域内部平均分布，通过颜色表示数据的内在模式。
庞国芳等人研发了农药残留可视化在线制图系统，编制了中国市售水果蔬菜农药残留水平地图集，展示了不同MRL标准下的农药超标情况。
统计地图最大的问题在于数据分布和地理区域大小的不对称性。
变形地图（cartogram）可以解决此问题，变形地图可以依据某个专题属性对地理要素进行扭曲、变形，用相对属性值的大小取代真实面积，利用夸张的效果更直观地反映数量特征。
VanasseA等人比较了加拿大各地区的肥胖率，并评估了各地区的成人肥胖率、休闲时间体育活动水平和水果蔬菜摄入量之间的生态关系。
由于各地区人口密度不同，为了更科学地反映结果，将地图按人口密度进行了调整，如图9（a）所示。
Plaza-Rodrí
guezC等人应用变形地图探讨德国各州零售生鸡肉样品中弯曲杆菌检出率的地区分布，如图9（b）所示，德国各州的大小根据弯曲杆菌检出率进行了修改，导致地图的原始地理形状和拓扑结构被扭曲了，让地理面积小且检出率高的地区也同样能受到关注，食用过此鸡肉的患者也能被及时监管。
ChenY等人创建了中国农药残留分布地图，统计地图中渐变的紫色区域表示抽样农产品中检测到的农药残留量超过MRL标准值的频次，变形地图使用扩散算法基于上述频率值生成。
图9
空间关联分析可视分析方法图例
4问题与挑战
从前文可以看出，大数据技术已成为食品安全风险监控的重要手段，可视分析在食品安全风险分析和预警方面开始发挥越来越重要的作用，并已取得一定进展，但仍面临一些问题和挑战。
（1）多源异构数据的融合处理与可视分析随着检测技术的进步和计算机网络技术的普及、食品安全数据的规模快速增长，数据的准备和处理呈现出人力成本高和时间周期长两大特点，数据类型也呈现出多样化特点，包括数值、文本、图像、视频或这些数据类型的组合。
近年来，针对数值型结构化数据的可视分析技术和方法已取得了丰富的成果，但针对文本、图像、视频等非结构化数据的分析仍面临挑战。
如何在可视分析流程中结合数据分析、文本挖掘、图像识别、视频处理等技术实现对多模态数据的可视分析，帮助食品安全领域的人员实现风险识别、风险发现、风险分析，仍是一个亟待解决的问题。
（2）人工智能在可视分析过程中的应用以机器学习为代表的人工智能技术已开始应用于可视分析流程中的各个环节。
在数据分析阶段，人工智能可以为数据的预处理、数据变换、数据投影等多个步骤提供准确高效的方法，也可以为食品安全风险评估、趋势预测提供科学的模型；
在可视化阶段，应用人工智能技术对数据和分析任务进行处理、分析和学习，实现对可视化设计方案的选择，包括映射方式（散点图、平行坐标、节点-链接等）、布局（正交、径向等）、配色方案等，自动生成可视化解决方案，从而减轻领域人员在可视化设计方面的负担。
（3）设计易于理解的可视分析系统从事食品安全数据分析工作的人员通常不是计算机领域专业人员，现有大部分可视分析系统
升级会员 