机器视觉图像处理计算机视觉边缘计算实验室建设方案.docx

机器视觉图像处理计算机视觉边缘计算实验室建设方案.docx

《机器视觉图像处理计算机视觉边缘计算实验室建设方案.docx》由会员分享，可在线阅读，更多相关《机器视觉图像处理计算机视觉边缘计算实验室建设方案.docx（28页珍藏版）》请在冰点文库上搜索。

机器视觉图像处理计算机视觉边缘计算实验室建设方案

机器视觉-图像处理-计算机视觉-边缘计算实验室建设方案

1机器视觉-图像处理-计算机视觉-边缘计算实验室

1.1总体规划

机器视觉-图像处理-计算机视觉-边缘计算实验室主要用于对机器视觉与图像处理、计算机视觉、图像处理、边缘计算等核心课程的知识点学习，能够服务于相关课程的实验和实训需求。

核心课程主要针对学科基础技术的培养，掌握对机器视觉与图像处理、计算机视觉、图像处理、边缘计算的配置、维护和开发，接入等知识。

核心课程采用全模块化的教学产品进行实验，具备优良的教学实验特性：

全模块化的设计、开放式的硬件接口、开源的实验代码、完整的教学资源、贴心的售后服务。

1.2实验设备

1.2.1机器视觉教学平台

AI机器视觉教学平台（AI-HNP）是中智讯公司开发的一款面向人工智能相关专业的综合型实验设备，主要满足：

Python程序设计、机器视觉、嵌入式Linux系统、边缘计算、人工智能中间件、智能+产业实践等课程的实验和实训，是基于新工科和工程教育思维和专业改革而设计的实验平台。

AI机器视觉教学平台打破了传统以硬件平台来定义实验的困局，创新性的从专业学科建设角度来重新定义产品，从市场调研定制专业人才培养方案，从人培方案和技术架构来设计适合国情校情的教学大纲，让课程来定义实验，让实验来定义设备，能够配合专业教材完成人工智能相关专业核心课程实验。

AI机器视觉教学平台与中智讯开发的专业教材配套，可以满足人工智能相关专业的核心课程及专业方向课程的教学、实验和实训需求，包括：

《Python程序设计》、《嵌入式与传感器》、《机器视觉技术》、《智能边缘计算》、《Linux操作系统》、《Android应用技术》、《智联网无线技术》、《人工智能中间件》、《人工智能综合实训》等。

平台基本介绍

AI机器视觉教学平台提供完整的硬件、软件、课程等教学资源，能够满足人工智能专业相关课程教学、实验、实训需求，同时配套的软件让教学更轻松，项目开发更容易，售后服务更便捷。

●硬件资源：

AI机器视觉教学平台硬件主要由智能边缘计算网关、应用拓展模块、智能产业套件三部分构成，根据用户实际需求可进行定制。

边缘计算网关：

采用高性能ARMCPU&GPU架构嵌入式边缘计算处理器，集成Linux、Python、机器学习、深度学习、ROS系统等运行环境，满足人工智能视觉、、机器控制等算法、硬件、应用的开发和学习。

应用拓展模块：

实验平台可拓展工业级高清自聚焦摄像头、多维景深摄像头、麦克风阵列、AINPU协处理模块、智联网无线AP等硬件模块，满足人工智能相关应用的开发和学习。

智能产业套件：

实验平台可选智联网产业应用套件，包括：

智慧停车管理套件、智能人证闸机套件、智能语音家居套件、智能安防预警套件等，满足人工智能综合实训的实验实践需求。

●软件资源：

AI机器视觉教学平台内置丰富的软件资源，方便用户进行课程教学、项目开发、售后服务等，包括：

智联平台、应用引擎、网络融合、远程协助、内网穿透等。

智联平台：

实验平台内置AI智联中间件引擎，集成AI系统运行环境、图像/视频算法库、神经网络算法库、智能硬件资源库。

提供算法、模型、应用耦合的开发框架，实现算法、模型、硬件、应用的模块化统一接口，能够快速替换任意模块进行AI智联网应用开发。

应用引擎：

实验平台内置PythonDjangoWeb引擎，提供智联网Web应用服务。

同时为了解决web应用的部署和远程调用，为每个实验平台分配二级域名访问，实现实验平台web应用的远程访问和api调用。

网络融合：

实验平台内置智联网多网协议网关服务，支持ZigBee、LoRa、LoRaWAN、BLE、Wi-Fi、NB-IoT、LTE等传感网接入，为异构网络提供认证服务、数据接入、地址解析、数据推送和网络配置服务。

远程协助：

实验平台内置SSH服务和VNC服务，支持终端的调试和桌面的远程调用。

同时为远程访问提供二级域名及端口，提供多用户基于互联网远程登录实验平台，方便工程师异地远程进行软件调试、部署及故障跟踪。

内网穿透：

为了解决高校内网的网络中心和防火墙等限制，实现摄像头等局域网设备远程调用和编程，实验平台内置内网穿透服务，为USB摄像头和IP摄像头分配唯一的访问域名及编程接口，无需进行复杂的内网端口配置及网络权限申请即可远程调用。

●课程资源：

AI机器视觉教学平台提供企业级教材和相关教学资源，能够完成机器视觉、自然语言、嵌入式Linux、人工智能中间件、人工智能应用实训等课程的实验和实训需求。

平台主要特性

AI机器视觉教学平台基于新工科的教育理念，让教学更轻松，项目开发更容易，售后服务更便捷，更多的考虑实验的先进性、易用性、扩展性、包容性。

●先进性：

超强性能：

-AI最强嵌入式边缘计算处理器RK3399，4G+16G内存配置，10寸高清电容屏。

-选配NPU协处理器模块，直接运行神经网络模型，运算能力高达2.8TOPs@300mW。

-提供更丰富的扩展接口：

双路USB3.0，四路USB2.0，RS232，RS485，嵌入式拓展接口等各种外设接口。

智联平台

-实验平台内置AI智联网中间件引擎，集成AI系统运行环境、图像/视频算法库、神经网络算法库、智能硬件资源库。

-提供算法、模型、应用耦合的开发框架，实现算法、模型、硬件、应用的模块化统一接口，能够快速替换任意模块进行AI智联网应用开发。

应用引擎

-内置PythonDjangoWeb引擎，提供智联网Web应用服务。

-为每个实验平台分配唯一Web引擎二级域名，实现远程异地互联网Web应用访问。

●易用性：

安全防护

-工业级铝合金外壳防护，教学易管理，耐摔耐用散热快。

-智联套件磁力吸合并供电，无需复杂的螺丝固定，方便使用。

-外设通过RJ45标准接口进行连接，替换传统饿插针接口，不易损坏。

易学易用

-采用项目驱动式教学方法，提供企业级教学课程及资源。

-严格按照教学大纲设计课程、实验和实训，教学资源与实验设备完全匹配。

-提供教材、微课视频、实验、实验视频、拓展实验、课程实训等线上线下教学资源。

远程协助

-内置SSH服务，提供多用户远程登录网关平台，进行软件调试、部署及故障跟踪。

-为每个实验平台分配唯一SSH调试二级域名，实现远程异地互联网SSH登录访问。

●扩展性：

网络融合

-内置智联网多网协议网关服务，支持ZigBee、LoRa、LoRaWAN、BLE、Wi-Fi、NB-IoT、LTE等传感网接入。

-为异构网络提供认证服务、数据接入、地址解析、数据推送和网络配置服务。

按需定制

-所有硬件单元采用模块化设计，可根据需求进行弹性定制选型和搭配。

-提供可选的丰富的智能产业项目套件模块，可以完成各种AI应用场景的设计和创新。

-智能边缘计算网关平台提供嵌入式扩展接口，包含常用接口的拓展，包括GPIO、ADC、IIC、UART、PWM、SPI等。

●包容性：

一机多用

-根据教学用途，实验平台可作为人工智能、智联网、嵌入式、移动互联网、智能产品等学科实验教学，提供不同的教学资源。

-实验平台可完成丰富的课程及实验，包括：

Python程序设计、嵌入式Linux操作系统、机器视觉技术、自然语言处理、智联网网关、智联网无线通信、android应用技术、智联网中间件、智联网应用实训等。

边缘计算网关

智能边缘计算网关采用工业级铝合金一体屏设计，AI最强嵌入式边缘计算处理器RK3399，4G+16G内存配置，10寸高清电容屏，运行ubuntu、ROS、android多操作系统系统，能够完成人工智能视觉、语言、机器控制等课程的教学和实验实践。

智能边缘计算网关提供丰富的外设接口，易于功能扩展，方便开发调试。

●硬件资源：

1.核心单元：

1）网关内置高性能处理器，六个ARMCortex-A72&A53大小核CPU，四核Mali-T860GPU。

2）网关搭载4GBLPDDR4内存，16GBEMMC储存。

2.显示系统：

1）网关搭载10.1寸1280*800LVDS高清屏，10点触控电容屏。

3）工业级铝合金一体屏外壳，活动式支撑架。

3.无线单元：

1）内置2.4G&5G双频Wi-Fi模组，BLE4.1模组，支持Wi-Fi、BLE传感网设备接入。

2）内置全网通LTE模组，支持LTE传感网设备接入。

3）内置北斗、GPS双频卫星定位模组。

4）内置LoRa&LoRaWAN双传感网AP模组，支持LoRa&LoRaWAN传感网设备接入，提供JTAG调试接口。

5）内置ZigBee传感网AP模组，支持ZStack传感网设备接入，提供JTAG调试接口。

4.外设接口：

1）提供千兆以太网卡，RJ45接口。

2）提供Type-COTG，USB3.0Host*2，USB2.0Host*4。

3）提供USBDebugUART，RS232，RS485，HDMI。

4）提供TFCard接口。

5）提供MIC，喇叭。

6）提供14PIN嵌入式拓展接口，包含GPIO，ADC，IIC，UART，PWM，SPI等扩展。

●软件资源：

1.操作系统：

1）网关内置linux、ubuntu嵌入式操作系统，满足嵌入式操作系统教学。

2）网关内置android移动互联网操作系统，满足移动互联网应用教学。

3）网关内置DuerOS语音系统，支持语音识别、语义理解、语音合成、人机对话，集成技能开发平台，与智能硬件进行语音交互。

4）网关内置ROS系统，满足机器臂、机器车系统教学。

5）网关内置AiPython运行环境，满足Python教学。

2.智联平台：

1）网关内置AI智联网中间件引擎，集成AI系统运行环境、图像/视频算法库、神经网络算法库、智能硬件资源库。

2）提供算法、模型、应用耦合的开发框架，实现算法、模型、硬件、应用的模块化统一接口，能够快速替换任意模块进行AI智联网应用开发。

3）为每个网关平台分配唯一AI中间件二级域名，实现远程异地互联网AI中间件应用访问，远程创建AI智联网应用。

3.应用引擎：

1）网关内置PythonDjangoWeb引擎，提供智联网Web应用服务。

2）为每个网关平台分配唯一Web引擎二级域名，实现远程异地互联网Web应用访问。

4.网络融合：

1）内置智联网多网协议网关服务，支持ZigBee、LoRa、LoRaWAN、BLE、Wi-Fi、NB-IoT、LTE等传感网接入。

2）为异构网络提供认证服务、数据接入、地址解析、数据推送和网络配置服务。

3）提供跟网关硬件绑定的唯一账号密钥认证，可生成二维码方便智联网应用扫描访问。

5.远程协助：

1）内置SSH服务，提供多用户远程登录网关平台，进行软件调试、部署及故障跟踪。

2）为每个网关平台分配唯一SSH调试二级域名，实现远程异地互联网SSH登录访问。

6.内网穿透：

1）网关内置Web摄像头服务，为网关平台摄像头提供唯一二级域名进行远程异地互联网接口调用。

2）网关内置IP摄像头服务，无需进行摄像头端口映射，为每个摄像头分配唯一二级域名进行远程异地互联网接口调用。

应用拓展模块

AI机器视觉教学平台提供丰富的应用拓展模块，可完成视觉、语言、感觉、控制等AI知识点学习和项目开发，用户可以根据应用需求可以合理选型和搭配。

名称

图片

描述

4GLTE模块

1）网络：

FDD-LTE/TDD-LTE/WCDMA/TD-SCDMA/GSM/EDGE；

2）制式：

CMCC/CUCC（B1/B3/B8/B34/B38/B39/B40）；

3）工作频带：

HSPA1900/2100，GSM900/1800；

4）高速USB2.0接口、PCI-E接口；

5）支持短信、数据、电话本、PCM语音功能；

6）支持IPv4,IPv6协议；

7）支持LTE多频；

8）支持最大150M/50Mbps的理论上下行数据传输速率；

9）可安装到智能网关板载使用。

BDS&GPS模块

1）北斗/GPS双系统模块；

2）支持双频：

北斗B1、GPSL1；

3）定位精度（RMS）：

2.5mCEP；

4）速度精度（RMS）：

GPS/GNSS:

0.1m/s、北斗:

0.2m/s；

5）可安装到智能网关板载使用。

传感网AP模块

1）LoRa&LoRaWAN双传感网AP模组，支持LoRa&LoRaWAN传感网设备接入，提供JTAG调试接口。

2）ZigBee传感网AP模组，支持ZStack传感网设备接入，提供JTAG调试接口。

AI高清摄像头

1）1080P工业级AI宽动态摄像头。

2）125度广角镜头焦距，支持自动聚焦。

3）提供远程网络视频远程传输功能，AI视觉图像视频捕捉处理功能。

4）能够接入到AI机器视觉/语音教学平台使用。

5）提供基于AI机器视觉/语音教学平台的人脸识别系统案例。

多维景深摄像头

1）通过立体视觉感知完成图像处理，支持语音识别、背景移除、增加现实、3D扫描、目标跟踪、面部处理等。

2）深度视场（HxVD）:

91.2x65.5x100.6

3）RGB相机分辨率、帧率、视场：

1080p@30fps，69.4x42.5x77

4）深度输出分辨率和帧率：

1280x720&90fps

5）深度距离：

0.11m~10m

6）接口：

USB3.0

7）提供基于ROS系统的深度摄像SLAM导航和构图

智能产业套件

智能+产业应用套件结合人工智能与智联网技术，实现垂直行业场景的项目原型设计和开发。

●智能停车管理套件

停车信息展示模块（集成0.96寸oLED，4位数码管，五位开关），停车ETC管理模块（900MUHFRFID，ETC电机栏杆，集成USB串口），提供基于智能+互联网远程车牌识别智能停车场应用案例，基于AI中间件技术，提供包括算法、模型、硬件、应用全套源代码。

●智能人证闸机套件

设备控制模块（集成风扇、步进电机、蜂鸣器、RGB&LED、继电器），RFID识别模块（125K&13.56MRFID，0.91寸oLED屏，继电器，集成USB串口），提供基于智能+互联网远程人脸识别&射频识别人证开闸机应用案例，基于AI中间件技术，提供包括算法、模型、硬件、应用全套源代码。

●智能家居应用套件

环境感知模块（集成温湿度、光照度、大气压力、三轴姿态、红外测距、空气质量），设备控制模块（集成风扇、步进电机、蜂鸣器、RGB&LED、继电器），提供基于智能+互联网远程智能家居手势识别&语音交互应用案例，基于AI中间件技术，提供包括算法、模型、硬件、应用全套源代码。

●智能安防预警套件

安防预警模块（集成火焰、燃气、光栅、人体红外），控制模块（集成风扇、步进电机、蜂鸣器、RGB&LED、继电器），提供基于智能+互联网远程智能安防传感图像联动识别预警应用案例，基于AI中间件技术，提供包括算法、模型、硬件、应用全套源代码。

平台教学资源

AI机器视觉教学平台能够满足人工智能专业核心课程和部分专业课程的授课、实验、实训。

AI机器视觉教学平台可完成的主要课程如下：

课程名称

课程内容

《机器视觉技术》

机器视觉技术作为人工智能在感知领域的重要应用分支之一，是目前人工智能全面应用落地的成熟技术。

本课程主要介绍机器视觉的基本理论、图像处理方法、主流算法及框架、机器视觉云接口及服务、机器学习应用等，通过项目驱动式案例及实验进行教学，让学生掌握机器视觉的基础知识和常用开发技术，为后续深度学习/神经网络学习提供扎实的基础。

●《机器视觉技术》课程教学大纲：

机器视觉技术

总学时

64

理论课时

32

实践课时

32

实验室与实践要求

课程说明

机器视觉是用机器代替人眼来做测量和判断，属于人工智能认知领域的核心应用，本课程向学生介绍机器视觉的基本理论和方法，同时结合行业应用热点，通过大量的机器视觉应用案例，使学生了解人工智能在机器视觉领域的最新进展。

课程目标

本课程在学习机器视觉技术的基本理论和方法的基础上，通过丰富的应用实践案例，使学生掌握机器视觉在人工智能领域的应用技能，培养学生应用机器视觉技术的创新设计能力。

考核要求

推荐教材名

《OpenCV3机器视觉Python语言实现》第2版，刘波译，机械工业出版社

教材单价

购买网址

课程安排

理论课

考核要求

课时安排

实验课

章讲数

章名

讲名

课程内容（知识点）

了解

熟悉

掌握

理论

实践

上机实验

实验指标

第一章

机器视觉导论

模块一机器视觉介绍

1、机器视觉概念

■

2

2、机器视觉理论的发展

■

3、机器视觉的应用概述

■

第二章

图像与视觉系统

模块一图像与视觉系统硬件介绍

1、摄像机透视投影模型

■

2

2

三维透视投影实验

熟悉机器视觉相关的坐标系，以及摄像机透视投影和坐标变换相关原理

2、图像坐标变换

■

3、图像采样和色彩

■

4、数字图像格式

■

模块二图像与视觉系统软件介绍

1、OpenCV框架介绍

■

2

2

1、OpenCV框架安装

2、OpenCV打开摄像头拍照

熟悉机器视觉OpenCV框架和应用

2、OpenCV数据类型

■

3、OpenCV应用概述

■

第三章

机器视觉算法

模块一图像变换

1、图像色彩空间变换

■

2

2

图像水印去除实验

熟悉图像变换的基础算法，掌握图像修复技术

2、图像修复和去噪

■

3、傅里叶变换

■

模块二图像分割

1、图像阈值分割

■

2

2

图像的背景和前景区域分割

熟悉图像分割算法原理

2、提取联通区域

■

3、均值偏移分割

■

模块三图像特征提取

1、图像灰度特征提取

■

2

2

图像轮廓特征提取实验

熟悉图像特征提取算法原理

2、图像轮廓特征提取

■

模块四图像边缘检测

1、一维边缘提取

■

2

2

基于Canny算法的图像边缘检测

熟悉图像边缘检测算法原理

2、二维边缘提取

■

模块五数学形态学

1、区域形态学

■

2

2

基于数学形态学的空心字转换

熟悉数学形态学常用算法

2、灰度值形态学

■

模块六直方图和模板匹配

1、图像的直方图表示

■

2

2

人脸模板匹配实验

熟悉模板匹配常用算法

2、基于灰度值的模板匹配

■

第四章

机器视觉应用

模块一光学字符识别

1、光学字符识别OCR技术原理介绍

■

2

2

基于光学字符识别的银行卡号识别

熟悉光学字符识别技术

2、光学字符识别案例

■

模块二人脸识别

1、人脸识别技术综述

■

2

2

1、视频流人脸检测和人数统计

2、利用人脸识别实现系统登录

掌握人脸检测和人脸识别技术

2、人脸检测

■

3、人脸识别

■

模块三目标检测与识别

1、目标检测与识别技术综述

■

2

2

图像中人物和车辆等目标物体检测识别

掌握目标物体检测和识别技术

2、目标检测与识别案例

■

模块四目标跟踪

1、目标跟踪技术介绍

■

2

2

视频流实时检测和追踪车辆

掌握运动物体实时检测和跟踪技术

2、目标跟踪案例

■

第五章

机器视觉云服务

模块一XX图像识别

1、XX图像识别云服务介绍

■

2

2

基于XX图像识别云服务接口，实现车辆型号识别

掌握XX图像识别云接口调用方法

2、XX车辆识别案例

■

模块二XX人脸识别

1、XX人脸识别云服务介绍

■

2

2

基于XX人脸识别云服务接口，实现公众人物识别

掌握XX人脸识别云接口调用方法

2、XX人脸识别案例

■

第六章

深度学习应用

模块一手写字识别

1、神经网络基础介绍

■

2

2

基于神经网络实现手写字符识别

掌握神经网络图像分类识别的基本原理

2、手写字分类识别案例

■

模块二猫狗识别

1、深层神经网络介绍

■

2

2

基于深度神经网络的猫狗分类识别

掌握深度神经网络分类算法的基本原理

2、猫狗分类识别案例

■

模块三图像分类

1、卷积神经网络介绍

■

2

2

基于卷积神经网络的CIFAR-10图像分类

掌握卷积神经网络的基本原理

2、CIFAR-10图像分类案例

■

第七章

机器视觉案例

模块一人脸识别控制ETC闸机

1、机器视觉与智联网集成

■

2

2

人脸识别通过智联网控制ETC闸机开放

掌握机器视觉与智联网技术整合技术原理

2、人脸识别控制ETC闸机案例

■

模块二车牌识别控制小区门禁

1、车牌识别应用概述

■

2

2

车牌识别控制小区门禁，并显示车牌号和车辆数量统计

掌握机器视觉在智能交通中的应用技术原理

2、车牌识别控制小区门禁案例

■

模块三手势识别控制智能家居

1、手势识别原理介绍

■

2

2

手势控制智能家居设备，实现开关灯、窗帘和风扇

掌握机器视觉在智能家居中的应用技术原理

2、手势识别控制智能家居案例

■

1.2.2智能监控实训平台

智能监控实训平台是机器视觉技术在边缘计算设备上的典型应用，与传统云端智能服务不同，该摄像头内置神经网络芯片，可以本地运行卷积神经网络等模型，自动根据模型在实时视频流中检测人像并进行匹配识别，一旦匹配后可以自动进行目标跟踪。

智能监控实训平台产品特性如下：

⏹基于神经网络芯片实现边缘计算智能

⏹提供机器视觉人脸检测和识别模型功能

⏹提供实时视频流人像检测和人员统计功能

⏹提供目标人员检测匹配和跟踪功能

⏹全部源代码开放和详细的实验指导书

智能监控实训平台可以完成丰富的实训项目：

●实训项目一：

人脸识别

1）基本介绍

人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，通常采用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸。

相比其他生物特征识别方法，人脸识别具有其自身的优势：

非侵扰性

人脸识别无需干扰人们的正常行为就能较好地达到识别效果，无需担心被识别者是否愿意将手放在指纹采集设备上，他们的眼睛是否能够对准虹膜扫描装置等等。

只要在摄像机前自然地停留片刻，用户的身份就会被正确识别。

便捷性

采集设备简单，使用快捷。

一般来说，常见的摄像头就可以用来进行人脸图像的采集，不需特别复杂的专用设备。

图像采集在数秒内即可完成。

友好性

通过人脸识别身份的方法与人类的习惯一致，人和机器都可以使用人脸图片进行识别。

而指纹，虹膜等方法没有这个特点，一个没有经过特殊训练的人，无法利用指纹和虹膜图像对其他人进行身份识别