大数据在制造领域的应用.docx
《大数据在制造领域的应用.docx》由会员分享，可在线阅读，更多相关《大数据在制造领域的应用.docx（12页珍藏版）》请在冰点文库上搜索。
大数据在制造领域的应用
大数据在制造系统中的应用
20世纪中叶计算机的诞生标志着电子时代正式开始，从此人类社会开始生产并存储各类型的数据。
经过数次计算机技术革命，单位面积所能存储的数据量大大提高。
近年来由于WEB2.0应用的全面爆发，网络参与者同时也成了网络信息的制造者，由WEB2.0带来的大规模非结构化数据开始呈现出非几何级数的增长。
因此，称这种密集型数据爆炸的现象为“大数据”时代的到来。
1大数据的概念
大数据的概念不是凭空出现的，它的前身是海量数据。
但两者之间有所区别，海量数据强调数据量的规模之大，并没有对其特性进行定义。
而大数据的概念包含了大数据的体积、传播速率、特征等内容。
虽然截至目前还没有对大数据有统一的定义，但被广泛接受的定义为：
大数据是无法在一定的时间内用通常的软件工具进行收集、分析、管理的大量数据的集合。
大数据的特点一般归纳为四点：
一是数据总量大，目前大数据最小单位一般被认为是10-20TB的量级；二是数据类型多，包括了结构化、非结构化和半结构化数据；三是数据的价值密度（单位重量物品的价值）很低；四是数据产生和处理的速度非常快。
这四个特点又被称为大数据的4V理念，即：
Volume,Variety,Value,Velocity。
2大数据面临的挑战
大数据的数据集大小以难以想象的速度增长,给数据处理带来了极大的挑战。
首先,信息技术的发展使得数据的生成和消费变得更容易。
例如,每分钟有72小时长度的视频被上传到Youtube服务器，大数据的这种大容量特性使得数据难以可伸缩地从分布式的地点收集并集成；第二,数据采集后,如何以最小的硬件和软件代价存储和管理这些海量异构数据是非常具有挑战性的问题；第三,由于大数据的异构性、规模性、实时性、复杂性和隐私性等特点,大数据分析必须在不同层次（建模、可视化、预测和优化）高效地挖掘数据以提高决策效率；这些挑战迫切地需要对整个数据管理系统的各个层次（从体系架构到具体机制）进行变革。
但是如果能有效地管理大数据,就能够给许多领域,如科学和环境建模、健康医护和能源保护带来巨大的变革。
这些挑战迫切地需要对整个数据管理系统的各个层次（从体系架构到具体机制）进行变革。
3大数据的技术
依据大数据生命周期的不同阶段，可以将与大数据处理相关的技术分为相应的三个方面：
3.1大数据存储
从海量数据时代开始，大规模数据的长期保存、数据迁移一直都是研究的重点。
从20世纪90年代末至今，数据存储始终是依据数据量大小的不断变化和不断优化向前发展的。
其中主要有：
DAS（DirectAttachedStorage），直接外挂存储；NAS（NetworkAttachedStorage），网络附加存储；SAN（StorageAreaNetwork），存储域网络和SANIP等存储方式。
这几种存储方式虽然是不同时代的产物，但各自的优缺点都十分鲜明。
数据中心往往是根据自身服务器数量和要处理的数据对象进行选择。
此外，这两年数据存储的虚拟化从研究走向现实。
所谓虚拟化，就是将原有的服务器进行软件虚拟化，将其划分为若干个独立的服务空间，如此可以在一台服务器上提供多种存储服务，大大提高了存储效率，节约存储成本，是异构数据平台的最佳选择。
从技术角度讲，虚拟化可以分为存储虚拟化和网络虚拟化，网络虚拟化是存储虚拟化的辅助，能够大幅度提升数据中心的网络利用率和传输速率。
可以预见虚拟化会成为未来大数据存储的一个主流技术。
3.2大数据挖掘
在大数据的处理技术中，超大规模的数据挖掘一直是难点，也是重点。
面对上百TB，甚至PB级别的异构数据，常规的处理工具往往难以担当重任。
需要考虑的是大数据是个不断生长的有机体，因此在挖掘过程中还需要考虑到未来数据继续增长所带来的影响。
因此，大数据的挖掘需要采用分布式挖掘和云计算技术。
Google公司一直是分布式挖掘技术的领导者，它研发了MapReduce分布式挖掘工具，英特尔公司在此基础上开发了Hadoop分布式挖掘工具。
这两个工具都具有高效、高扩展、高可靠性和高容储率的特点，并提供免费版本，适用于各种类型的大数据挖掘。
3.2.1MapReduce模型
MapReduce模型是一种云计算中的并行计算模型的主要研究对象。
它通过基于云平台中的大数据进行挖掘，从而获取网页相关数据对其研究得出结果。
MapReduce模型有两个函数：
Map函数和Reduce函数。
MapReduce模型首先获取用户需处理的数据进行splite，然后分别传送到Mapworker进行处理。
Mapworker从输入中获取对集合，然后Map函数执行该集合获取中间结果存入本地磁盘。
Reduceworker先从本地磁盘上获取数据，然后对中的key值进行排序。
排序之后Reduce函数对这些排序好的对集合进行处理并输出最终结果。
MapReduce模型的不足说到底就是MapReduce模型的性能问题，Map/Reduce的程序效率问题。
Google公司的Hadoop系统采用了Combiner来提高Map/Reduce程序效率。
Combiner主要削减了Map阶段的输出以减少中间结果数据，进而为网络带宽和Reduce阶段减负。
3.2.2Hadoop模型
Hadoop是一个开源的分布式存储和计算框架，用户可以轻松地基于Hadhoop开发和运行处理海量数据的应用程序。
Hadoop的主要特点如下：
（1）可靠性：
HDFS作为Hadoop的文件系统，能够自动维护数据的多份副本。
MapReduce可以在任务失败后根据其他副本来自动重新部署计算任务。
（2）可扩展性：
Hadoop可以在不停止集群运动过程中进行集群横向扩展，并能方便地扩展到数以千计节点的超大集群规模。
通过balance机制Hadoop能够将数据平均分布到各节点中。
通过集群的扩展，可以存储更多的数据文件，处理更大的数据集。
（3）高效性：
由于HadoopMapReduce采用移动计算的方式而不是移动数据的方式进行分布式计算，其在面对海量数据时也能高效处理。
另外HadoopMapReduce的数据本地化（datelocality）特性，使计算节点就近处理数据，加快了任务的执行。
数据在节点之间动态的移动，保证各个节点的动态平衡，因此处理速度非常快。
（4）低成本：
Hadoop集群的高效处理能力不在于使用造价昂贵的机器。
Hadoop可以在一般的商用软件上搭建运行，且Hadoop是Apache开源项目之一，基于Hadoop完成项目时，软硬件成本因此会大大降低。
3.3大数据分析
从内容来说，大数据的分析分为技术和方法的两种类型。
从技术上讲，主要是分布式的数据分析和非结构化数据处理等。
从方法上讲，主要是利用常用的数理统计方法来进行数据分析，例如使用可视化的数据分析工具。
但两者是一个有机的整体。
大数据处理的最终目的是为了将数据之间的关系以可视化的方式呈现在用户面前，包括了处理的全部过程和展现的过程。
在数据的分析过程中，不仅仅是需要计算机进行自动化的分析，更需要人工进行数据选择和参数的设定，两个是辩证的关系。
3.3.1常用的大数据分析方法
尽管目标和应用领域不同，一些常用的方法几乎对于所有的数据处理都有用，下面将讨论三种常用的数据分析方法：
（1）数据可视化：
与信息图学和信息可视化相关。
数据可视化的目标是以图形方式清晰有效的展示信息。
（2）统计分析：
基于统计理论，是应用数学的一个分支。
在统计理论中，随机性和不确定性由概率理论建模。
统计分析技术可以分为描述性统计分析和推断性统计分析。
描述性统计是对数据集进行摘要和描述，而推断性统计是对过程进行推断。
（3）数据挖掘：
是发现大数据集中数据模式的计算过程。
许多数据挖掘算法已经在人工智能、机器学习、模式识别、统计和数据库领域得到了应用。
4“大数据”助力制造流程工艺规划
在过去的20年时间里，制造商已经可以通过实施精益生产和六西格玛项目（六西格玛是一种改善企业质量流程管理的技术，以“零缺陷”的完美商业追求，带动质量成本的大幅度降低，最终实现财务成效的提升与企业竞争力的突破），减少生产工艺流程中的浪费和变化问题，并大大提高产品的质量和产量。
然而，在医药、化工和矿业等特定的加工环境中，极端波动的变化已经成为常态，甚至运用精益技术也无法解决。
在上述产业及其他产业，影响产出的因素纷繁复杂，因此，制造商需要一种更加细化的方法来诊断和纠正工艺流程缺陷，高级分析就是这样一种方法。
高级分析是运用统计和其他数学工具对业务数据进行分析，进而评估和改进当前操作工艺流程的一种方法。
在制造业，运营经理可以使用高级分析，深入了解历史工艺流程数据，找出离散工艺步骤和投入之间的模式和关系，找出对产量影响最大的可靠因素，对其进行优化。
现在，各个行业和地区的诸多全球制造商都收集了大量的实时车间数据，也有能力开展这种先进的统计评估。
他们对过去彼此孤立的各类数据进行汇总和分析，从中得出深刻见解。
对于希望使用大数据分析方法来改善加工工艺流程，提高产量的制造商来说，第一个关键步骤就是对现有可用数据进行整理。
很多制造商都收集了大量的工艺流程的数据，但这些数据只用于跟踪，并没有成为改善运营操作的基础（我的解释：
制造商利用平时收集到的工艺数据主要是跟踪后续加工过程是否存在加工误差，而没有对大量的工艺流程的数据进行系统分析，比如：
切削速度对于工件加工精度的影响，通过大数据的分析方法我们可以在保证高加工精度情况下适当的提高切削速度，提高效率；工艺流程中的各个工序的先后顺序对于工件质量和加工效率的影响，通过大数据的分析方法对工艺流程的数据进行分析，适当的调整加工工序，从而改善加工质量）。
大数据时代才刚刚出现，但是在数学研究和科学应用领域，高级分析的应用已有多年的历史。
高级分析法是提高产出的一个重要工具，对于工艺流程复杂度高、变化大和存在容量限制的制造业来说尤其如此。
事实上，如果可以成功进行定量评估，公司就可以在众多竞争者中脱颖而出。
4.1加工工艺优化中大数据的分析方法的应用
工艺优化是合理安排产品制造工艺、优化和节约制造资源、缩短产品制造周期、降低制造成本、提高产品质量，是推动企业技术进步的重要手段，是计算机辅助工艺设计（CAPP）、特别是定量化CAPP一个尚未得到很好解决的重要课题，面对军工、航天航空、船舶、汽车等行业中的复杂零件，进行工艺优化尤其显得重要。
工艺优化一般分为三个层次：
加工方法优化、加工序列优化及切削参数优化。
通过提取加工特征的几何与制造信息，在资源环境的约束下进行加工方法的推理（加工特征类别、制造资源加工能力、加工链长度），得到具有一定可行性的加工方法，然后根据加工方法进行加工单元的设计，并进行工艺路线（变换装夹、变换机床、聚类程度）和加工参数（加工质量、切削时间、切削成本、加工效益）的优化。
虽然不同的层次有不同的算法，但最后利用综合目标对三个层次的优化结果进行综合优化与评价，得到最优的工艺。
在加工方法推理阶段，主要以加工特征的类别、可用的制造资源及能达到的指标作为方法的约束，并以加工链的长短和加工能力作为选择最优方法的标准；加工序列和加工参数以遗传算法（遗传算法（Genetic Algorithm）是一类借鉴生物界的进化规律演化而来的随机化搜索方法。
其主要特点是直接对结构对象进行操作，不存在求导和函数连续性的限定；具有内在的隐并行性和更好的全局寻优能力；采用概率化的寻优方法，能自动获取和指导优化的搜索空间，自适应地调整搜索方向，不需要确定的规则）为主，其中工艺路线的优化主要以几何拓扑结构和相关的工艺准则进行约束，以聚类程度、变换机床和变换装夹来作为选择的标准；加工参数则在保证切削质量的情况下选择最小切削成本和最短加工时间的参数。
其中工艺路线的优化是优化的重点之一，根据加工方法优化的结果（不同加工方法构成的加工过程中获得的机械加工大数据，利用大数据的分析方法在当前的加工条件下利用最优的加工方法以达到我们的加工目标），生成相应的加工单元，然后在相关约束信息下进行工艺路线的优化。
4.2大数据处理技术在生产质量跟踪中的应用
由于现代制造企业每个工序产生的数据具有数据量大、多样性和实时变化的特性，传统的技术架构不能有效管理及分析。
针对企业提出的将这些数据进行了收集与跟踪，并进行实时分析以优化生产工艺的需求，采取了基于Hadoop技术框架来构建生产跟踪系统，设计了大数据管理模型，实施了各工序的数据采集与迁移工作开展了数据分析与可视化的工作。
研究成果表明，在物联网环境下将大数据处理技术应用于传统的生产跟踪与管理业务，具有很强的现实意义。
4.2.1大数据分析技术在某特种印刷企业中的应用
特种印制生产多规格并线生产，生产投料及组织按批进行，常规每批次约10000大张（每一大张包括多个数量的最终产品，简称为小枚，包含数量取决于不同的小枚的尺寸规格）。
胶印工序会在每个大张上喷写唯一的“大张ID码”，这是实现每一大张的独立跟踪的基础。
包括胶印工序在内的每个工序将进行图像采集，与各工序标准化缺陷特征模型进行模式对比分析，产生该大张中每个小枚的工序质量检测信息，在物料流转时同步传送到下游工序。
下游工序根据上游工序的质量检测信息来调整本工序的生产，或进行全废品兑换操作。
同时，将前三个工序的质量信息汇总起来，由人工对再对大张检查机器的判废信息进行再次确认（当前，由于检测及模式识别等因素，以及经济性的考虑，还不能做到完全由机器判废），生成指导后续生产的综合质量信息报告。
综合质量信息报告再结合印码工序产生的新质量信息，形成指导后续清分生产工序所需的质量清单。
根据该清单所表示的在制品质量等级信息，由人工调度选择后续裁封自动线，或小张清分机全检。
其判断依据是质量等级高的产品执行裁封自动线，以提高生产效率。
质量等级低的产品执行小张清分机全检，防范废品流出，但生产效率低。
在自动线生产过程中，设备将根据传递来的质量清单，自动剔除有质量缺陷的小枚产品，并用好品来补充生产数量。
这一过程的效率及质量完全取决于质量清单。
生产质量跟踪要求简单明了，其基本思路是：
流通货币上都有唯一的标识号（业内称之为冠字），根据该标识号能够还原生产的全过程，包括产品装箱的箱号、批次号、大张号。
根据批次号，就能从相应的生产系统准确追溯出相关的生产机台、人员、辅助物资批号、质量信息、生产时间等。
这对质量改进及提升服务水平具有重要意义。
4.2.2大数据分析技术在机械加工中的应用猜想
在机械加工过程中，借鉴上边特种印刷技术过程，制造企业可以给每一个制造的零件创建一个零件特有的标识号。
然后，对创建标识号工序以及后续的各个工序进行图形采集，与各工序标准化缺陷特征模型进行模式对比分析，产生该批次中每个零件的工序质量检测信息，在物料流转时同步传送到下游工序。
例如：
制造一批零件，工序主要分为粗加工、精加工和精细加工这三个部分，在粗加工结束时，可以获得每一个零件的粗加工工序的工序质量检测信息，根据工序质量检测信息可以将这批零件进行归为高质量、中等质量和不合格三类，高质量和中等质量的产品可以直接投入精加工工序中，根据工序号对不合格零件的每个工序信息回放，找到容易出现问题的工序加以修正从而可以指导后续的加工生产，同时判断零件还能否进行重加工提高零件质量，对于不能进行重加工的直接选择零件报废。
而对于投入下一步的高质量和中等质量的零件，企业可以设计不同的加工流程，高质量的零件可以采用提高效率的加工方法，在保证生产质量的前提下适当的放宽零件的加工标准，从而提高零件的加工效率；加工中等质量的零件时，采用提高加工精度的加工方法，严格的控制零件的加工标准，以提高零件的加工质量。
在零件生产过程中最重要的就是对于零件生产过程中产生的数据进行有效的采集，而且对于采集到的数据要进行及时有效的存储和分析，从而得到零件的质量信息报告。
针对机械加工所设计的部署于企业私有云环境上。
主要的客户端全部在企业局域网范围内，客户应用分两类：
一类是企业生产调度中心，进行实时查询及调度决策。
二类是机台上的操作人员，随时查看生产产品的历史质量记录。
系统还建立数据采集网络，采集分散在各机台的机器视觉系统中的业务数据、图像数据。
同步采集企业ERP（资源计划系统）和MES（生产执行系统）中的生产调度、物料清单等信息。
5大数据在制造企业的应用探索
近年来，大数据在电商、金融行业、通信行业由于新兴技术，积累了大量的数据，在大数据应用上取得了长足的发展，制造业由于在数据积累和数据的广度上还不够，现在绝大多数制造企业的数据应用都针对在传统企业内的结构化数据，外部数据取得上比较困难，制造业该如何在大数据的浪潮中向前发展呢？
以下通过某制造企业M公司大数据应用实例介绍企业大数据应用的一些思路。
M公司,以制造电气产品为主，是一家具有研发、制造、销售等各种功能组织企业，在各省会城市均有营销的办事处。
主要客户集中在电厂、风电厂、电网、铁路、汽车等行业，随着中国工业化的浪潮，M公司逐步发展，已经在细分领域市场占有率前列，M公司意识到大数据的价值后，顺应潮流，开始谋划大数据在企业内的应用。
5.1大数据应用准备
5.1.1企业内部进行大数据的宣传
企业大数据应用的推行，离不开企业领导人的支持，企业的IT部门作为推动和最终的实施者，在内部达成共识后，通过开展与大数据相关的活动，聘请相关专家开展讲座等，让企业的员工和管理者对大数据有更深入的认识，获得开展
大数据应用的广泛认同，为后面大数据的应用的推动起到了巨大的作用。
5.1.2大数据人才的准备
一直以来，企业对数据的利用主要停留在“交易数据”，这些数据主要是一些结构化的数据。
大数据应用，对的数据除了这些交易数据外，还有大量的“交互”数据，这些数据主要以文本、图片、音频、视频等形式存在。
一方面企业IT人员掌握的传统的搜集、分析、挖掘技术已经不能适应大数据的需要；另外大数据的应用往往涉及到企业业务流程的变革，因此对于业务的理解也是大数据人才所必须具备的能力。
对于企业而言，必须有计划地引进人员或对现有人员进行相关的培训提升，以做好应对大数据的准备，M公司在IT部门招聘大数据技术人员，并加强了内部培训，做好了人才准备。
5.1.3搭建大数据技术架构
M公司通过和供应商的合作，并结合已经成形的内部数据分析系统（BI系统），形成了新的架构，引入了新的复杂的数据源的处理技术，包括微博、论坛、网站等数据源，最后集中到数据仓库中供各层级人员使用。
中高层使用管理驾驶舱和分析报告，基层人员主要为报表和分析工具。
5.1.4大数据应用实施规划
一方面，随着企业管理者及普通员工对大数据的理解，业务部门会根据自己的业务提出相应的需求，这个时候，IT部门与业务部门进行共同的探讨，以确定需求的可行性；另一方面，作为推动者的IT部门，需要进行详细深入的规划，了解大数据在企业可能的应用方面，从而去引导业务部门并最终确定需求及应用的方面。
确定哪些业务需要大数据，哪些相对容易见成效，可以率先进行。
如果率先进行的话，应该则样进行部署，并对可能出现的问题或产生的效果进行分析。
通过对企业大数据应用案例研究，结合M企业的实际情况，M公司主要从以下方面进行大数据的应用实施:
（1）即时预测供应链的供应或需求
（2）获取产品信息，改进产品质量或了解并强化热点功能并加以推广（3）把握市场趋势，快速推出相关产品（4）获取产品竞争信息，改善产品质量。
6大数据应用现状
麦肯锡在大数据的研究报告中指出，大数据的应用已经渗透到每一个行业和业务职能领域，逐渐成为了重要的生产因素。
按照专业领域的划分，信息技术、互联网行业、商业、遥感探测已经开始应用大数据技术来进行研究和生产效益；生物信息技术、科研情报所、图书情报领域已经对大数据展开了研究，并进行了规划；其他专业和行业对大数据可能仍处于了解阶段，但大数据的浪潮很快会波及大部分的行业领域。
6.1国外研究现状
早在2009年,联合国就启动了“全球脉动计划”，拟通过大数据推动落后地区的发展，而2012年1月的世界经济论坛年会也把“大数据,大影响”作为重要议题之一。
在美国,2009年至今,Data.gov（美国政府数据库）全面开放了40万政府原始数据集,大数据已成为美国国家创新战略、国家安全战略以及国家信息网络安全战略的交叉领域和核心领域。
2012年3月,美国政府提出“大数据研究和发展倡议”,发起全球开放政府数据运动,并投资2亿美元促进大数据核心技术研究和应用,涉及NSF，DARPA等6个政府部门和机构,把大数据放在重要的战略位置。
英国政府也将大数据作为重点发展的科技领域,在发展8类高新技术的6亿英镑投资中,大数据的注资占三成。
2014年7月,欧盟委员会也呼吁各成员国积极发展大数据,迎接“大数据”时代,并将采取具体措施发展大数据业务。
例如建立大数据领域的公私合作关系；依托“地平线2020”科研规划,创建开放式数据孵化器；成立多个超级计算中心；在成员国创建数据处理设施网络。
在学术界,美国麻省理工大学（MIT）计算机科学与人工智能实验室（CSAIL）建立了大数据科学技术中心（ISTC）。
ISTC主要致力于加速科学与医药发明、企业与行业计算,并着重推动在新的数据密集型应用领域的最终用户体验的设计创新。
大数据ISTC由MIT作为中心学校,研究专家们来自MIT、加州大学圣巴巴拉分校、波特兰州立大学、布朗大学、华盛顿大学和斯坦福大学等6所大学。
通过明确和资助领域带头人、提供合作研究中心的方式,目标是发掘共享、存储和操作大数据的解决方案,涉及Intel,Microsoft,EMC等多家国际产业巨头。
同时,英国牛津大学成立了首个综合运用大数据的医药卫生科研中心,该中心的成立有望给英国医学研究和医疗服务带来革命性变化,它将促进医疗数据分析方面的新进展,帮助科学家更好地理解人类疾病及其治疗方法。
该中心通过搜集、存储和分析大量医疗信息,确定新药物的研发方向,减少药物开发成本,同时为发现新的治疗手段提供线索。
而以英国为首的欧洲核子中心（CERN）也在匈牙利科学院魏格纳物理学研究中心建设了一座超宽带数据中心,该中心将成为连接CERN且具有欧洲最大传输能力的数据处理中心。
在产业界,国外许多著名企业和组织都将大数据作为主要业务,例如IBM,Microsoft，EMC，DELL,HP等国际知名厂商都提出了各自的大数据解决方案或应用。
IBM宣布了收购StarAnalytics（星分析公司）软件产品组合的消息.除了StarAnalytics,在IBM最新的收购计划中,Splunk和NetApp是最热门的收购目标。
据不完全统计,从2005年起,IBM花费超过160亿美元收购了35家与大数据分析相关的公司。
此外,IBM还和全球千所高校达成协议,就大数据的联合研究、教学、行业应用案例开发等方面开展全面的合作。
无疑,欧美等国家对大数据的探索和发展已走在世界前列,各国政府已将大数据发展提升至战略高度,大力促进大数据产业的发展。
6.2国内研究现状
我国政府、学术界和产业界也早已经开始高度重视大数据的研究和应用的工作,并纷纷启动了相应的研究计划。
在政府层面,科技部“十二五”部署了关于物联网、云计算的相关专项。
2012年,中国科学院院长白春礼院士呼吁中国应制定国家大数据战略。
同年3月,科技部发布的《“十二五”国家科技计划信息技术领域2013年度备选项目征集指南》中的“先进计算”板块己明确提出“面向大数据的先进存储结构及关键技术”,国家“973计划”、“863计划”、国家自然科学基金等也分别设立了针对大数据的研究计划和专项。
目前已立项“973计划”项目2项,“973计划”青年项目2项,国家自然科学
升级会员 