数字孪生技术与工程实践第7章 数字孪生系统开发和应用案例优质PPT.pptx

数字孪生技术与工程实践第7章 数字孪生系统开发和应用案例优质PPT.pptx

《数字孪生技术与工程实践第7章 数字孪生系统开发和应用案例优质PPT.pptx》由会员分享，可在线阅读，更多相关《数字孪生技术与工程实践第7章 数字孪生系统开发和应用案例优质PPT.pptx（32页珍藏版）》请在冰点文库上搜索。

将插件导入到Unity中后，打开插件文件，最基础的是预制体组成。

预制体由一个父物体和三个子物体组成，而每个子物体又有自己的子物体。

父物体CameraRig主要挂了一个脚本StreamVR_ControllerManager，这个脚本根据左右手柄是否连接来控制左右手柄是否显示。

CameraRig下的三个子物体分别对应左手柄、右手柄以及头盔。

除了以上预制体，在开发时经常用到的扩展脚本主要是Assets/SteamVR/Extras下的SteamVR_TrackedController和SteamVR_Laser-Pointer。

这两个脚本主要对外提供手柄事件,数字孪生技术与工程实践,Unity中Webservice接口实现,Unity程序和其它程序或者后台服务通讯，一般采用WebService接口的形式。

在Unity中调用WebService有两种基本方式：

使用UnityWebRequest调用WebService利用VisualStudio自带的WSDL工具生成接口类（.cs文件）需要注意的是.NET的版本，如果Web服务器的.NET版本和Unity应用不匹配，可能会导致访问失败。

数字孪生技术与工程实践,Unity中Socket通信,Webservice通信开销比较大，在一些准实时的应用中数据不能及时传递会带来延迟问题。

部分轻量级通信中，采用Socket（套接字）通信是常用的方法。

Socket是TCP/IP中应用层对网络层和传输层的一个功能封装，它提供了一组接口，支持TCP/IP协议通信的基本操作单元。

可以将Socket看作不同主机间的进程进行双向通信的端点，它构成了单个主机内及整个网络间的编程界面。

为了满足不同程序对通信质量和性能的要求，一般的网络系统都提供了以下3种不同类型的套接字，以供用户在设计程序时根据不同需要来选择：

流式套接字（SOCK_STREAM）：

提供了一种可靠的、面向连接的双向数据传输服务。

实现了数据无差错，无重复的发送，内设流量控制，被传输的数据被看做无记录边界的字节流。

在TCP/IP协议簇中，使用TCP实现字节流的传输，当用户要发送大批量数据，或对数据传输的可靠性有较高要求时使用流式套接字。

数据报套接字（SOCK_DGRAM）：

提供了一种无连接、不可靠的双向数据传输服务。

数据以独立的包形式被发送，并且保留了记录边界，不提供可靠性保证。

数据在传输过程中可能会丢失或重复，并且不能保证在接收端数据按发送顺序接收。

在TCP/IP协议簇中，使用UDP实现数据报套接字。

原始套接字（SOCK_RAW）：

该套接字允许对较低层协议（如IP或ICMP）进行直接访问。

一般用于对TCP/IP核心协议的网络编程。

一般开发，涉及流式套接字（SOCK_STREAM）和数据报套接字（SOCK_DGRAM）,数字孪生技术与工程实践,7.2智能车间数字孪生系统实施案例,数字孪生技术与工程实践,应用背景,某智能制造单元包括上料区、加工单元、成品货架、机器人四类单元该生产单元的主要加工任务是用户定制产品生产,除了图中可见的设备外，智能制造单元还包括用于控制设备数据采集和通讯的边缘层接入设备iSESOLBOX，该设备由智能云科信息科技有限公司提供，可以实时收集机床设备的相关参数比如机械臂的实时关节角度等，收集参数内容以及频率等均可根据具体需求进行配置。

另外机械手与云端MES系统的信息交互也通过iSESOLBOX来实现。

本套系统关键参数比如机械手臂状态信息、雕刻机状态数据以及货仓状态信息等均可通过网络获取，是后续数字孪生单元实现的基础。

成品货架1,机械手,成品货架2,加工单元,加工完成区上料区,数字孪生技术与工程实践,智能车间数字孪生系统功能需求分析,一个智能车间的生命周期可分为规划与施工、运行与维护阶段。

而车间数字孪生系统在车间的全生命周期内都有着重要的作用。

从人机交互角度看系统的功能需求虚拟现实功能，用户可以佩戴VR头盔在虚拟车间现场漫游，及时了解车间设备运行情况及相关参数信息，并能够利用VR手柄在虚拟环境内进行交互；

增强现实功能，即把系统的指导或决策以增强现实的方式提供给用户，比如在AR眼镜中提供给工作人员实时的物流规划结果及配送路径。

或者通过扫描二维码的方式获取相关信息，比如设备实时参数、仓库库存情况等；

移动端虚拟车间功能，为了车间工作人员的便利性，系统最好能够实现移动端的虚拟车间，以便随时对车间的状态进行监控，实施移动场景下的车间管理操作。

数字孪生技术与工程实践,系统的总体功能需求,数字孪生技术与工程实践,智能制造单元数字孪生原型系统构建框架,整个数字孪生系统包括了物理单元层、数字孪生引擎和虚拟模型层三部分。

参考第2章的实现框架，因为是原型系统，所以数字孪生引擎部分包括了数字孪生系统的服务功能，实现孪生智能的对外服务接口。

物理单元层就是带数字接口的智能制造单元硬件设备。

虚拟模型层也就是虚拟制造单元，通过三维建模构建三维模型并且在Unity平台实现了制造单元的虚拟动作。

部分信息在通过虚拟模型展示，因此，虚拟模型也承担了部分人机交互功能。

外部软件包括了PlantSimulation生产仿真平台和iSESOLWIS提供的云MES，为数字孪生引擎提供仿真和生产过程信息。

数字孪生技术与工程实践,智能制造单元数字孪生原型系统构建框架（续）,数字孪生引擎数据层主要分为生产数据、仿真数据、设备层数据。

数据流转主要通过接入设备iSESOLBOX（图中为iBox）来实现。

设备层数据通过RESTful协议从iSESOLBOX中实时获取，生产数据比如工单信息等通过WebService的方式从云MES中获取。

仿真数据指的是来自于PlantSimulation所建模型的仿真信息。

计算引擎层的实施主要分为模型服务计算模块以及交互驱动模块中的各类交互接口。

交互驱动模块主要用于物理车间层和虚拟模型层的信息交互，比如利用实时设备数据来驱动虚拟模型，实现虚实同步，实时监控的目的。

而模型服务计算模块既可离线计算也可实时分析计算。

算法模型层主要分为设备健康评估预测模型和车间性能指标评估模型。

设备健康评估预测模型通过CBRM方法结合层次分析法来构建。

通过分析车间运行监控的关键性能指标体系特点构建了车间性能指标评估模型用来实时分析车间KPI，为车间管理人员服务。

数字孪生技术与工程实践,基于Unity的开发框架,从开发工具和技术来说，主要可分为外部建模软件工具、大数据软件/智能软件平台、Unity平台三大部分外部建模软件工具主要用于车间虚拟模型的构建，而成熟的大数据软件/智能软件平台如Hadoop、python等则用于数字孪生引擎部分的智能计算模块功能的构建，Unity能够支持虚拟车间模型的开发以及数字孪生引擎中交互驱动模块和部分智能计算模块功能的开发。

除了三部分需要开发的软件平台外，Unity开发部分需要和外部系统、物理单元连接的部分。

这部分交互驱动功能也是数字孪生引擎需要包括的。

数字孪生技术与工程实践,数字化模型的构建,基于Unity平台实现三维虚拟动作模型基于PlantSimulation的生产仿真优化模型构建虚拟动作模型与PlantSimulation的模型交互数字孪生系统的一个功能，就是能对生产系统进行虚拟展示。

由于虚拟动作模型本身没有动作逻辑，因此其动作需要外部数据驱动。

驱动虚拟展示动作的数据源有两种方式，一个是基于实际数据的展示，可以是实时动作跟随，也可以是根据历史数据的回放；

另外一个是用外部仿真软件进行驱动，也就是通过PlantSimulation模型进行生产过程的仿真，其产生的数据驱动Unity模型进行动作。

数字孪生技术与工程实践,数字孪生引擎的实现总体架构

（1）,本案例中数字孪生引擎架构可分为数据层、模型层以及计算交互层，根据系统功能模块的总体方案给出数字孪生引擎的部署方案如图7-36所示。

其中数字孪生引擎需要根据应用特点部署到不同服务器上。

数字孪生引擎数据层的部署主要是相关数据存储系统的部署，本案例中选取三种成熟且具有代表性的数据存储系统作为数字孪生引擎的数据层实现，关系型数据存储采用Mysql实现，非关系型数据存储采用HBase，文件系统采用HDFS系统。

而模型层则是一系列具体算法模型的集合，需要根据具体的需求来构建。

数字孪生引擎最重要的部署是计算交互层的部署，即智能计算模块和交互驱动模块的部署。

智能计算模块可以分为需要依赖大数据框架和无需依赖大数据框架两部分。

其中需要大数据软件框架的部分需要部署专门的服务器,数字孪生技术与工程实践,数字孪生引擎的实现总体架构

（2）,数字孪生引擎与虚拟动作模型交互方案由于虚拟动作模型基于C#和Unity构建，而数字孪生引擎中部分数据服务基于Java、Python等软件平台开发，所以需要虚拟动作模型和数字孪生引擎之间跨语言的交互，本案例考虑两种设计方案，分别是基于消息队列技术ActiveMQ和RPC框架Thrift。

数字孪生引擎与物理单元系统交互方案数字孪生引擎与实体工厂的交互主要通过交互驱动引擎基于工厂数据采集协议来实现。

目前工厂主流数据采集协议主要是OPC/OPCUA。

本案例中为了增加通用性，在OPCServer和Unity应用之间增加了一个OPC通信转换器，通过一个OPC通信转换器来来设计基于C#和Unity开发的交互驱动引擎。

数字孪生技术与工程实践,数字孪生引擎的实现总体架构（3）,数字孪生引擎与外部软件系统交互方案数字孪生引擎需要与外部软件进行集成，外部软件主要包括仿真软件系统（物流仿真软件等）、制造执行系统、产品研发系统（PLM）、自动化物流系统。

为了避免对数据库的直接操作可能引起的数据不一致问题，数字孪生引擎优先考虑通过WebService接口进行数据交互，如可以采用SOAP、RESTful等SOA接口。

智能计算模块实现方案设计智能计算模块是数字孪生车间系统的计算中台，承载着数据分析计算的重任。

据此设计了智能计算模块的流程图，如图7-40所示,数字孪生技术与工程实践,7.3数字孪生生产系统中VR/AR可视化应用,数字孪生技术与工程实践,VR/AR/MR是数字孪生必需的吗？

随着移动计算、图形处理等计算机技术的发展，虚拟现实（VR）、增强现实（AR）在游戏、展览、产品概念设计、教育等领域越来越普遍地得到应用。

VR/AR技术也推动了数字孪生技术的发展，并且为数字孪生中模型展示、人机交互提供了新的手段，甚至很多人认为，数字孪生就需要VR/AR，否则就不是一个真正的虚拟重现。

数字孪生重点在于虚拟空间对物理实体的真实映射，这个映射不一定要用VR/AR或者MR技术，甚至某些场合，不用三维模型，也能完成数字孪生系统的大部分功能。

但是，数字孪生要发挥真正的效果，一个拟实的三维场景是不可缺少的。

三维空间模型给用户的信息远远大于二维报表或者图纸，而VR/AR/MR的应用，能提高人机交互能力，改变人机交互方式，更加能发挥数字孪生的效果。

数字孪生技术与工程实践,生产系统中可视化应用需求分析,结合ISA-95标准中的制造运行管理（MOM）内容看，车间生产可视化系统需具备对数字化车间的生产运行、维护运行、质量运行和库存运行状态进行可视化指导

（1）生产任务与进度指导功能

（2）实时物流规划和配送指导功能（3）设备故障重放功能（4）远程诊断及维修指导功能（5）设备管理功能（6）库存运行管理（7）质量运行管理（8）装配作业指导功能（9）远程作业指导功能（10）操作员工培训功能,数字孪生技术与工程实践,数字孪生生产系统AR/VR应用架构,基于CPS思想，并参照第4章的制造数字孪生系统框架设计了基于数字孪生生产系统的AR/VR应用框架，如图7-47所示。

该框架基于增强现实技术与虚拟现实技术对车间的信息透明化并进行精准指导车间生产活动，并由3个部分组成，分别为物理层、数字孪生引擎层、基于AR/VR的数字孪生服务层。

数字孪生技术与工程实践,AR技术在生产管理功能中的应用,如图7-48所示为车间生产可视化系统在车间物流管理功能领域的应用框架。

基于AR的生产管理模块可实现对数字化车间的设备、物流、质量以及维护管理的可视化功能。

典型应用包括：

基于AR的设备管理功能基于AR的物流管理功能,数字孪生技术与工程实践,融合室内定位技术的AR应用方法,传统的增强现实技术多采用AR识图方式，AR识图方式实现三维注册的标记式（marker-based）增强现实技术，虽然易于实现，但形式固定，彼此之间还相互干扰。

也有利用计算机视觉实现的无标记式（markerless）增强现实技术，如SLAM（同步定义与建图，SimultaneousLocalizationAndMapping）和PTAM（并行跟踪和建图，ParallelTrackingAndMapping），但算法复杂，不容易实现。

除了利用传统的计算机视觉方式来实现增强现实，还可以利用LBS（基于位置的服务LocationBasedService）技术来确定虚拟物体的位置，利用传感器来确定方向常见的室内定位技术包括WLAN、蓝牙和超宽带（UWB）等UWB室内定位技术的显著特点之一是数据传输速率高，此外还具有较强的防干扰能力，传输速率快，系统内存大，穿透性能好，发送功率小等特点。

UWB技术在许多无线定位技术中脱颖而出，得到较广泛的应用。

通过UWB室内定位技术和增强现实技术，结合移动设备，实现“主动推送非接触式”的车间监控系统，可以根据人员的实时位置，触发相应的生产监控信息推送机制，将虚拟监控信息叠加在真实生产场景中，实现对车间产品生产流程的可视化管理与指导。

数字孪生技术与工程实践,基于AR的装配可视化指导,装配作业是产品生产过程中的重要一环，一般依靠人工完成操作。

复杂机械设备装配任务涉及大量的工艺知识和技术，操作者在使用传统的装配作业指导手册时，注意力需要在装配作业和手册之间频繁切换才能提取和理解装配作业信息，因此整个装配过程效率低，给工人的记忆和认知能力造成一定的负担。

虚拟装配技术将人“沉浸”在虚拟世界中去操作虚拟的产品模型，对产品开发前期的设计、装配仿真有重要作用，但对实际装配作业的支持有限。

因此，针对车间装配产线，需要在数字孪生生产系统中开发一种以人为中心，指导信息与装配作业同步的基于增强现实技术的诱导可视化功能，将显著提高装配作业效率、减少装配差错。

数字孪生技术与工程实践,基于增强现实的零件装配指导可视化过程,装配情境0,装配情境1,装配情境2,装配情境3,数字孪生技术与工程实践,基于VR的生产管理可视化指导,VR在生产系统中的应用没有AR那么广泛，因为VR是一种沉浸式、封闭式的体验，在工业现场的应用场景有限。

相比AR，VR的应用开发实施相对简单，而且能给人以震撼的、沉浸的效果。

一般在工业现场的应用有：

参观浏览。

这个是三维数字模型的一个基本应用。

通过数字孪生系统的构建会有生产系统的三维数字模型，也包括有产品、在制品的数字模型，通过这些数字模型的展示，可以直观地让参观者对生产系统有个整体了解；

生产系统监控和巡检。

这个是辅助应用，通过实时数据的采集和叠加，让管理者可以足不出办公室，了解生产现场的实际情况。

通过VR可以更加直观、方便地进行各类信息显示；

培训。

通过构建虚拟场景，实现对操作工人的各类培训，如装配、设备操作、安全防护、应急演练等。

利用VR可以在虚拟空间叠加电子操作文档和指导书，让培训操作更加直观和方便。

数字孪生技术与工程实践,31,本章思考题,数字孪生技术与工程实践,本章思考题,用Unity开发AR应用，采用高通公司提供的解决方案，需要进行哪些配置？

分析一下Unity和其它应用通信，采用webService和SOCKET通信，分别有什么优势和劣势。

基于Unity开发的三维系统，如何与仿真系统、大数据分析软件应用模块等进行互联？

VR/AR/MR在数字孪生系统中的作用是什么？

结合一个包含VR/AR/MR技术的数字孪生应用系统进行分析说明。

VR和AR在生产管理系统中的应用场景，有什么区别？

32,