企业中数据预处理算法及其应用研究概要.docx
《企业中数据预处理算法及其应用研究概要.docx》由会员分享，可在线阅读，更多相关《企业中数据预处理算法及其应用研究概要.docx（11页珍藏版）》请在冰点文库上搜索。
企业中数据预处理算法及其应用研究概要
第9卷第1期计算机集成制造系统—CIMS
VOI.9NO.12003年1月
COmputerIntegratedManufacturingSystemsJ!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
an.2003
文章编号：
1006-5911（2003）01-0037-05
企业中数据预处理算法及其应用研究
李仁旺1，祁国宁2
收稿日期：
2002-07-18；修订日期：
2002-11-12。
基金项目：
国家自然科学基金资助项目（50005009）。
作者简介：
李仁旺（1971-），男，湖南人，浙江工程学院机械与自动控制学院博士/博士后，主要从事CIMS、MC、PDPM、DEM、GT等方面的研究。
E
-maiI：
rwIi@zist.edu.cn。
（1.浙江工程学院机械与自动控制学院，浙江
杭州
310033；2.浙江大学机械与能源学院，
浙江杭州
310027）
摘要：
介绍了当前商品化企业软件在进行企业中数据预处理方面的现状，提出了两种企业中数据预处理算
法。
以某汽轮机厂为工程背景，阐述了在应用这两种算法处理该厂近30年积累的数十兆原始数据时遇到的具体问题、困难和采取的措施，分析了这两种算法的优缺点，并对算法相关系统的运行与应用作了简要说明。
关键词：
大批量定制；算法；数据预处理中图分类号：
Th122
文献标识码：
A
!
引言
当前，随着全球化市场的逐步形成与深化，以及计算机技术在制造业中应用的普及，企业面对的是日益激烈的市场竞争挑战和客户越来越挑剔的需求考验。
然而，由于企业中零部件尚未全面实现标准化和规范化，缺少可变型产品基型和有效的产品数据管理工具等，设计人员无法充分利用以前的设计结果，合同型生产企业的设计部门经常处于超负荷运转状态。
为此，如何合理利用企业资源，成了当前多数企业迫切需要解决的问题。
从检索ABI（AmericanBusinessIndex）、EI
（Engi-neeringIndex）、EBSCO公司全文数据库，以及登录世界著名ERP、MRP!
或PDM企业的网站等方面来
看，目前，国内外研究或大型软件在处理企业历史资源方面，主要工作表现在：
"现有表格的计算机自动识别；#现有设计图纸的计算机自动识别与导入；$不同商品化软件系统之间的数据交换格式或接口等问题。
迄今，尚未见有专门针对以上所论述的企业产品历史数据处理算法的报道。
当前普遍存在的现象是：
新零部件不断被设计
出来，流入生产过程，造成零件和文档数量无限增长、制造过程忙乱、生产成本提高、交货周期延长等
严重后果［1~5］
。
为此，本文以某汽轮机厂为工程背
景，重点研究了如何处理企业所有产品历史数据的两种基本算法，以帮助设计人员从一开始就能够对企业中已经生产的各种产品，曾使用过的零部件，以及这些零部件的具体使用情况（如数量、材料和曾经用在哪些产品上等），有一个大致的了解。
"某汽轮机厂产品历史数据分析
这里，结合某汽轮机厂关于三个系列工业汽轮
机近三十年来的全部原始数据记录，其数据量很大，在转换成文本格式（".txt）后，ISAM1
（结构数据）约22兆、ISAM2（基本数据）约18兆［4］
。
其中，ISAM1包
含的主要信息有上物号、位号、下物号、数量、有无下
属项（“1”表示有下属项；“0”表示无下属项）以及处置代码；ISAM2包含的主要信息有物号名称、下料尺寸、材料牌号、供应代码、处置代码、有无工艺（“"”表示有工艺；“0”表示无工艺）、制造周期、操作员代码等。
在ISAM1中，下物号表示从属于与它在同一条
记录里的上物号的下属项，上物号则表示一个部件或产品，而且它的第一位是“6”，则表示这是一个产品；第一位是“3”，则表示这是一个部件；第一位是“4”，则表示这是一个叶片，等等。
显然，根据对
ISAM1的分析，
理论上处理数据有两种算法。
（1）从产品到零件（或称沿着产品树从上往下）
的算法———“直溯式”算法
这种算法初看起来比较简单，实现过程浅显易懂，而且在从产品找它的所有零部件过程中，不会出现“闭合回路”的情况，一次就可以将所有数据处理完。
所以，这是一种简便的方法，即：
!
数据量不是很大；"产品共有多少层“嵌套”比较清楚；#产品“嵌套”的层数较少；$产品本身的零部件数比较少。
但是，当产品的“嵌套”层数增加时，或者本身的零部件数增加时，这种算法的速度将成几何级数减慢，而在不知确切“嵌套”层数的情况下，给以一个很大的待定值，又会出现其他影响速度的情况。
在刚开始时，我们也采用了这种算法，并根据一个假想的例子进行了调试，但在实际处理数据时，发现一个产品的处理时间非常长，于是又尝试了第二种算法。
（2）从零件到产品（或称沿着产品树从下往上）的算法———“溯源式”算法
该算法具有不受产品“嵌套”层数的影响、可以指定一次统计的零部件个数等方面的优点。
图1中包含了算法中涉及到的所有数据表格。
下面，分别
就这两种算法进一步予以说明。
!
“直溯式”
算法该算法的主要步骤如下：
（1）将所有的文本格式（!
.tXt）的数据文件导入系统，并将它们纳入一个统一的数据表（t-totai）中。
（2）通过判别表（t-totai）中所有数据记录的第一
位是否为“6”，找出所有的产品，并将它们“移到”一个单独的文件或数据表（t-product）中。
此处，“移到”表示已经将产品记录从t-totai中删除，这样，可以减少每一次查找的次数，于是t-totai就变成了只有零件和部件的总表（t-ibj）。
同时统计出产品的数目，设它等于!
。
（3）设第一个循环（最外层循环）的循环次数记录变量为"，显然，该循环的最大循环次数即为!
。
由"=1，开始第一轮循环。
（4）寻找出第"个产品的所有下一层零部件，例如螺钉等，并将它们存入第一个临时动态数据表（t-temp-1）中。
为了提高速度，同时将查找过的记录作一个标记，这样，下一次就可以不再查找它。
（5）根据t-temp-1中每一条数据记录的S1BZ（有无下属项），判别该记录是否已经表示零件，如果是零件，将该记录“移到”临时结果表（t-temp-resuit）中。
如果t-temp-resuit中没有该零件的记录，就直接将该条记录全部插入到t-temp-resuit中；否则，将该条记录的零件数量，追加到表中该零件在该产品上所使用的数量中，完成一个小循环。
（6）对于t-temp-1中依然是部件的数据记录，可以此为条件，重新查询t-totai，并将该产品中所有的再下一层的部件或零件放入第二个临时结果表（t-temp-2）
中。
此时数量之间用乘法。
为了提高速度，将查找过的记录作一个标记，这样，下一次就可以不再查找它，完成一个小循环。
（7）将t-temp-2中的数据记录全部“移到”t-temp-1中。
（8）重复步骤（5），然后判别t-temp-1是否为空，若为空，则表示已经找到了该产品的最底一层，转到步骤（9）；否则，重复步骤（6）。
（9）将t-temp-resuit中的所有记录纳入一个统一结果表（t-resuit）中，并将该产品的编码作为零部件的上物号一同存入统一结果表中。
（10）判别"是否大于!
，如果">!
，则转到步骤（11）；否则，令"="+1，转到步骤（4）。
（11）结束。
计算机集成制造系统—CIMS第9卷
该算法的流程图如图
2
所示。
!
在每一个大循环中，
必须对此次循环中检索过的零部件记录予以标记，如上面列出的部分参数：
longpdbz，ljzs，ljs；//判断标志、零件总数、正在处理的零件数。
这样，就不用在每一次循环过程中都要对所有的零部件记录重新检索。
!
用游标代替上述算法说明中的循环，来对表而不是对数据窗口进行操作。
!
用drop表与create表来代替在两个临时动态数据表中进行的数据转移，即对于一个数据量很大的数据表，不用再一条条进行处理（在应用select与
delete函数操作数据窗口时，
计算机是按每次处理大约100条数据记录的速度进行的），而是一下子就全部清除整个表，然后再接着创建一个。
例如，在采用上述技巧之前，零部件编码为5756000100的
“抽心铆钉5"10”统计了3个多小时也未得到结果；而在采取改进措施后，仅仅用了253秒钟就得知其总数量为159398，使用了该零件的产品数为273。
该系统运行后，可以帮助设计人员方便地了解到下述一些情况：
（1）企业内所有零部件的使用数量和使用在多少个不同产品上，以及该零部件的上一层部件（可以直到产品）或图形等。
（2）各个零部件使用在哪些产品上，在各个产品上使用了多少。
（3）各个产品使用了哪些零部件，各个零部件的使用数量是多少。
（4）各个零部件总的使用数量和进行的排序情况，以及零部件总数量位于某一个区间（或等于某个值）的情况等。
（5）按零部件被用在多少个不同产品上进行排序的情况等。
（6）可随时方便地查找零部件的详细信息、上一层或下一层的零部件，乃至相应产品的基本情况，以及其中各个环节的基本图形、详细信息等。
（7）根据每一个评价指标的重要性给定的重要性系数，获得的各个零部件及所有产品的通用性评价指标值，等等。
!
结束语
人工智能技术的发展，给人们进行产品快速设
计带来了全新的思路；现代信息理论的发展和因特网技术的推广应用，则直接导致了数据挖掘技术的产生，并为全球制造业带来了前所未有的机遇和挑战。
当前，为了迎接机遇和挑战，所有制造企业都应当尽力做好应用人工智能技术、现代信息理论、数据挖掘技术等的预处理工作。
本文以此为背景，结合某汽轮机厂的具体情况，介绍了笔者在企业历史数据预处理方面的工作，开发了应用文中数据处理算法的相关系统，并在实际应用中，几乎考察了该汽轮机厂三个系列工业汽轮机中所有类型零部件频谱图、产品频谱图。
实践表明，基于本文算法对企业产品历史数据的处理，可大大减轻设计人员的设计负担，提高设计的可靠性。
参考文献：
［1］OIGuoning，GUXinjian，LIRenwang.Studyonmasscustomization
anditsmodels
［J］.ComputerIntegratedManufacturingSystem—CIMS，2000，6
（2）：
41-45（inChinese）.［祁国宁，顾新建，李仁旺.大批量定制及其模型的研究［J］.计算机集成制造系统—CIMS，2000，6
（2）：
41-45.］
［2］DAVIDM，ANDERSONPE.Implementingmasscustomization［J］.
Agility&GlobalCompetition，1998，2（
2）：
36-49.［3］MAFFIND，ALDERMANN，BRAIDENP，etal.Companyclassifi-cation：
anewperspectiveonmodelingtheengineeringdesignandprod-uctdevelopmentprocess［J］.JournalofEngineeringDesign，1995，6（4）：
275-289.
［4］LIRenwang.Studyonmanufacturingsysteminformationintegration
［R］.Wuhan：
PostdoctoralGraduationReport，HuazhongUniv.ofSci-enceandTechnology，2001（inChinese）.［李仁旺.制造系统信息集成研究［R］.武汉：
华中科技大学博士后出站报告，2001.］［5］LIRenwang，OIGuoning，ZHOUJi.Studyoncollaborativeproduct
commerceanditsimplementationstrategy［J］.ComputerIntegratedManufacturingSystem—CIMS，2001，7（6）：
35-38（inChinese）.［李仁旺，祁国宁，周
济.协同产品商务及其实施策略研究［J］.计
算机集成制造系统—CIMS，2001，7（6）：
35-38.］
［6］WENWeimin，LIYong，LIANGChunmei，etal.Applicationexam-plesofpowerbuilder7.0［M］.Beijing：
MechanicalIndustryPress，1999（inChinese）.［温为民，
李勇，梁春梅，等.PowerBuilder
7.0实例应用进阶［M］.北京：
机械工业出版社，1999.］
计算机集成制造系统—CIMS第9卷
StudyonDataPreprocessingArithmeticandItsApplicationsinEnterprise
LIRen-wangl，OIGuo-ning2
（l.SchooIofMechanics&AutomaticControI，ZhejiangInstituteofS&T，Hangzhou3l0033，
China；2.SchooIofMechanics&Energy，ZhejiangUniv.，Hangzhou3l0027，China）
Receivedl8JuI.2002；Revisedl2Nov.2002.
Foundationitem：
ProjectsupportedbytheNationaINaturaIScienceFoundation，China（GrantNo.50005009）.
Abstract：
ThecurrentstatusofcommerciaIsoftware，whichreaIizesdatapreprocessinginenterpriseispresentedfirst，andtwokindsofdatapreprocessingarithmetic，areputforth.Facedwithasteamturbinefactory，weexpoundtheactuaIprobIems，difficuItiesandadoptedcorrespondingmeasuresduringhandIingwithmiIIionsofdataaccumuIatedinthepast30yearsinthisfactory.AtIast，theadvantagesanddisadvantagesoftwokindsofarithmeticareanaIyzed，whoserunningandappIicationinthecorrespondingcomputersystemsareiIIustrated.Keywords：
masscustomization；arithmetic；!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
datapreprocessing
2001年CIMS期刊10~12期入选Ei论文及作者名单
2001年第10期
制造领域多智能体系统的技术研究
王云莉，肖田元，段广洪，王先逵基于多智能体系统的网络计划与控制模型姜思杰，徐晓飞从过程序列、过程链到过程流
祁国宁，Sch!
ttnerJ，顾新建，祁连，韩永生产品需求获取及其结构化建模方法张和明，熊光楞面向对象技术的资源建模方法
戴毅茹，严隽薇，张晓棠过程模型库管理系统的决策支持策略沈晖，李清，陈禹六，宁可基于链群的企业信息系统集成体系钱旭，柳莺，许世范基于Pro/E产品结构树的CAAPP
高磊，王君英，王挺昊，王静蕾制造领域中反向工程曲面推理的神经网络法邢渊，王玉，李真支持并行工程的夹具TOP-DOWN设计系统金天国，刘文剑
2001年第11期
供应链中车辆路径问题的研究进展及前景祝崇隽，刘民，吴澄基于ECA规则和多代理的敏捷供应链管理汪良主，付谦，刘建勋，张申生敏捷制造单元动态重构算法的研究石柯，李培根，阳富民制造系统虚拟环境计算模型研究赵骥，肖田元，韩向利面向协商的项目进度粗规划
苏志龙，毛宁，陈庆新，孙健概念设计自动化系统的演进过程建模赵刚，邓家禔并行设计及其支持环境
黄利平，彭继忠，许隆文DFM的关键技术与实现模式研究
何煜琛，张和明，刘成颖，苏海洋
2001年第12期
进化计算在生产线调度研究中的现状与展望
尹文君，刘民，吴澄基于HopfieId神经网络求解作业车间调度问题的新方法王万良，吴启迪面向个性化服务的虚拟设计系统韩伟力，陈刚，董金祥基于面向对象技术的网络计划系统李波，杨灿军，陈鹰，牛鸣岐多方案经营过程模型选择策略
周永华，陈禹六，赵天奇基于IDEF3的过程建模方法及其支持工具牛东，宁可，李清，陈禹六面向装配工艺规划与评价的装配特征建模常向青，宁汝新STEP模块化方法研究
杨占勇，邓家禔企业信息集成系统中的过程管理
耿建光，赵刚，章翔峰，邓家禔
第l期李仁旺等：
企业中数据预处理算法及其应用研究
企业中数据预处理算法及其应用研究作者：
作者单位：
刊名：
英文刊名：
年，卷（期：
被引用次数：
李仁旺，祁国宁李仁旺（浙江工程学院机械与自动控制学院,浙江,杭州,310033，祁国宁（浙江大学机械与能源学院,浙江,杭州,310027计算机集成制造系统COMPUTERINTEGRATEDMANUFACTURINGSYSTEMS2003,9（11次参考文献（6条1.李仁旺制造系统信息集成研究20012.MAFFIND;ALDERMANN;BRAIDENPCompanyclassification:
anewperspectiveonmodelingtheengineeringdesignandproductdevelopmentprocess1995（043.温为民;李勇;梁春梅PowerBuilder70实例应用进阶19994.李仁旺;祁国宁;周济协同产品商务及其实施策略研究[期刊论文]-计算机集成制造系统2001（065.DavidM;ANDERSONPEImplementingmasscustomization1998（026.祁国宁;顾新建;李仁旺大批量定制及其模型的研究[期刊论文]-计算机集成制造系统2000（02引证文献（1条1.万秀颖面向大批量定制的设计技术体系研究[学位论文]硕士2004本文链接：
升级会员 