基于体感控制的智能家居系统决赛设计报告.docx

1、基于体感控制的智能家居系统决赛设计报告基于体感控制的智能家居系统 Base on the body feeling control of smart home system 设计报告目 录课题摘要 3第一章 绪论 31.1 研究意义 31.2 国内外现状 3第二章 系统方案 42.1 系统概述 4第三章 功能与指标 43.1 功能简述 43.2 主要技术指标: 5第四章 实施原理及过程 54.1 系统设计与实现 5第五章 硬件框图 65.1 项目总体框架 65.2 远程监控模块 65.3 体感控制模块 75.4 硬件设备 85.4.1 Kinect 85.4.2 STC89C52单片机主控芯片

2、 95.4.3 WIFI转串口模块HLK-RM04 95.4.4 USB摄像头 115.4.5 Cubieboard3 开发板 125.4.6 CBT-SURPERIOT平台 13第六章 软件流程图 136.1 远程监控软件 136.2 体感控制软件 15第七章 系统测试 167.1测试数据 167.1.1 远程监控模块（PC浏览器访问效果）： 167.1.2 远程监控模块（手机访问效果）： 177.1.3 远程监控模块（三维模型效果） 177.1.4 体感控制模块（单片机测试） 187.1.5 体感控制模块（系统测试） 197.2实现功能 23第八章 特色与创新点 238.1项目特色 238

3、.2项目创新点 23结 论 23参考文献 24课题摘要本项目主要分为两大模块：远程监控模块和体感控制模块。远程监控模块主要通过Cubieboard3开发板和UVC摄像头实现数据获取，并采用h.264视频输入与输出格式的转化与配置。体感控制模块主要是采用微软的Kinect实现体感控制家居设备。该模块主要通过Kinect摄像头捕获人体数据，彩色数据，深度数据和语音数据，对采集到的数据作处理，通过手势识别和语音识别，对家居设备进行控制。本课题的难点是把多个应用模块整合到一个系统，以及把整个系统用Wifi进行通讯。随着技术的发展，智能家居在可预见的将来会发展成为物联网的一个分支，社会生活也会倾向家庭的

4、智能化和自动化，所以智能家居的研究和发展在以后将会极大地影响人们地生活，使人们的生活更加舒适。关键词 远程监控；Wifi；Kinect；智能家居；体感控制；语音识别第一章 绪论1.1 研究意义就像智能家居厂家宣传的那样，一个遥控器可以控制所有家具的状态，空调和窗帘可以根据天气状态自动调节，开门需要指纹解锁等。但是随着人们生活质量的不断提高，人们的生活节奏也变得更快了，这就意味着人们需要更便捷、更高效的生活方式，体感控制、远程操控、智能家居等一系列智能化方式应运而生。数字化家居控制系统可以使得人们可以通过手机连接互联网，在任何时候、任意地点对家中的所有智能化的电器进行远程控制；也可以在下班途中，

5、预先将家中的电灯亮起、空调打开、让电视机打开，调到相应的频道；而这一切都可以通过手机客户端进行。舒适、时尚的家居生活是社会进步的标志，电器管家控制系统能让你只需在中控平台上操作，对家里的电器、电灯进行方便地控制，使人们尽享高科技带来的简便而时尚的现代生活。 正是因为通信技术、计算机技术、网络技术、控制技术的迅猛发展与提高，促使了家庭实现了生活现代化，居住环境舒适化、安全化。这些高科技已经影响到人们生活的方方面面，改变了人们生活习惯，提高了人们生活质量。日益增长的电器引伸出方方面面的问题，其中遥控器数量繁多不方便管理就是比较突出的一点，智能家居系统也正是在这种形势下应运而生的。若是在智能家居系统

6、中引入体感控制，那将会碰撞出怎样的火花?这正是我们项目研究的内容。1.2 国内外现状智能家居作为一个发展中产业，处于一个成长期与融合斯的临界点，但随着智能家居市场推广普及的进一步落实，培育起消费者的使用习惯，智能家居市场的消费潜力必然是巨大的，产业前景光明。国内国外都有不少公司在从事智能家居的研发工作。例如谷歌的十大科技里面就有家庭自动化，利用安卓手机控制家里的电器实现家庭的自动化。微软最近也对专注于家庭自动化解决方案的R2工作室进行了收购。而国内因为政策的支持和相关科技的影响，智能家居的研发正迈向飞速发展的阶段，例如逐渐有公司推出使用WiFi技术的智能插座、智能灯泡、智能灯控等产品。相信将来

7、，智能家居将会在物联网时代掀起巨大的浪潮。第二章 系统方案2.1 系统概述本项目主要分为两大模块：远程监控模块和体感控制模块。远程监控模块主要通过Cubieboard3开发板和UVC摄像头实现数据获取，并采用h.264视频输入与输出格式的转化与配置。同时通过嵌入式的动态域名服务器来实现远程监控。在远程监控的基础上，本系统还具备通过区域移动侦测来实现门户监控的效果和三维模型控制。监控到的数据和图像会传输到终端，若区域移动侦测有效，则传输指令到体感控制模块，再由体感控制模块判别后，发送指令到终端。而三维模型控制，则由网页显示家居三维图，通过空气鼠标选择地点，可以查看相应地方的监控视频，达到智能监控

8、的效果体感控制模块主要是采用微软的Kinect实现体感控制家居设备。该模块主要通过Kinect摄像头捕获人体数据，彩色数据，深度数据和语音数据，对采集到的数据作处理，通过手势识别和语音识别，对家居设备进行控制，例如：空调，电视，窗帘，灯具等家居设备。微软公司已经为Kinect封装好了检测人体骨骼的控件，可以通过Kinect检测到人体的20个骨骼节点，通过获取这些节点，可以构建人体骨骼模型，方便实现体感控制。体感控制，就是通过对人体作出的动作进行识别，将它转化成指令，发送到终端PC或者通过WIFI模块发送到传感器或单片机执行，从而实现控制家居的效果。第三章 功能与指标3.1 功能简述1可以实现视

9、频远程监控系统可以实现对家庭的视频监控，摄像头可以固定在家庭的某一个位置，通过控制摄像头或者手机APP来实现家庭内的视频监控。2可以通过用户的动作实现体感控制用户可以通过姿势或动作经过Kinect的捕捉和处理，转变为命令，利用WIFI模块发送到开发板实现家居设备的控制。3可以实现对灯、窗的控制用户可以做出人体动作通过Kinect转化为命令，利用WIFII发送指令到开发板实现的中控平台对灯、门、窗的控制。还可以实时查看家里面灯、门、窗的开关状态。4可以实现区域监测控制利用远程监控模块的区域移动侦测，检测是否有人靠近，结果反馈到Kinect控制模块，通过处理生成命令，利用WIFII发送到开发板实现

10、监控的效果。5. 可以使用语音模块对系统进行控制如果用户需要开关灯、门、窗、空调或者系统内的其他操作都可以通过语音模块进行操作，只需减减单单的说一句就可以实现对系统的控制。而免去手动操作的麻烦。6. 可以获取赛佰特实验箱的传感器数据 通过串口连接，获取赛佰特实验箱上的传感器信息，通过对获得的数据进行判断和计算，可以获得传感器的类型和结果，反馈到PC终端上，在主程序中显示。7. 可以实现空气鼠标 通过用户向前伸的手臂来模拟操控鼠标，通过另一个手臂的动作来实现鼠标的点击功能，从而让用户可以与机器轻松交互，也可以实现三维模型的控制。3.2 主要技术指标:1能实现远程视频监控视频传输速度基本流畅。2能

11、实现体感控制（骨骼追踪、手势识别、深度检测）。3能使用开发板对灯具、窗帘、门等家庭设备进行控制。4能实现空气鼠标。5实现简单声控功能。6实现对赛佰特实验箱的传感器应用。7实现网页三维模型及手势控制。第四章 实施原理及过程4.1 系统设计与实现1.灯光控制 系统的灯一共有三个。分别分布在客厅、房间、厨房。每个灯都是连接在51单片机的引脚上，通过控制单片机引脚的电平就可以控制灯的开关。2.视频监控系统通过一个摄像头和路由器实现远程监控，还能进行简单的图像识别。具体方法是摄像头获取数据，然后通过wifi或者网络传输到终端和其他智能移动端显示。3.声音控制用户需要把指令和语音的对应关系现在模块上设置好

12、。具体方法是定义声音识别的内容然后再输入一个指令，建立对应关系。识别时如果模块进行语音匹配，如果匹配成功则发送对应的指令。开发板收到后则进行相应的操作。4 手势识别 用户需要通过肢体动作使Kinect捕获和识别后，转换为对应的指令，从而执行相应的函数或者指令，可以发送到PC终端或者通过WIFI发送到开发板执行。5.传感器的应用赛佰特实验箱的传感器，可能通过烧录相应的程序后，通过串口连接PC终端，从而读取传感器的数据报，然后对传感器的数据报作相应判断或者计算，获得传感器的类型和结果，通过主程序显示。6.三维模型的控制 根据用户家居模拟三维模型，载入到网页接口中，通过Kinect实现手势控制；用户

13、只需要通过手势选定地点，就可以获取到相关的视频监控数据。第五章 硬件框图5.1 项目总体框架本项目分为两个大模块。远程监控模块主要用到USB摄像头，WIFI模块，开发板和终端PC，数据的储存首先是放置在终端PC，实时显示图像和区域移动侦测，区域移动侦测的结果会反馈到体感控制模块，如果到达一定容量时，会将图像数据上传到云盘进行储存，删除本地存储。 体感控制模块主要用到Kinect，WIFI模块，开发板和终端PC，由Kinect采集数据和处理数据，再形成指令传输到开发板，由开发板做二次处理，然后控制相应传感器控制对应的家居设备。 图5.1 系统总体框图5.2 远程监控模块视频存取本地，通过空闲时间

14、同步云盘，清除本地存储。移动侦测，检测区域内有移动物体进行抓拍利用邮件服务器发送主人邮箱，把侦测结果传给kinect,kinect对STM发送控制指令对门禁，安防之类的设备进一步控制。 图5.2 远程监控模块框架图5.3 体感控制模块体感控制模块主要由Kinect采集数据和处理数据，然后识别语音信息或者是选择空气鼠标，再通过手势识别，把人体姿势转化为指令，传输到开发板，通过开发板控制设备。因为Kinect是微软公司开发的，开发环境需要是Windows环境下运行，所以需要有Windows系统的终端启动运行。图5.3 体感控制模块框架图5.4 硬件设备5.4.1 Kinect图1 Kinect的组

15、成结构图描述：Kinect一共有3个摄像头，中间一个是RGB摄像头，用来获取640480的彩色图像，每秒钟最多获取30帧图像；两边的是两个深度传感器，左侧的是红外线发射器，右侧的是红外线接收器，用来检测玩家的相对位置。Kinect的两侧是一组四元麦克风阵列，用于声源定位和语音识别；下方还有一个带内置马达的底座，可以调整俯仰角。14中关键芯:其中PS1080 SoC芯片堪称Kinect的“心脏”，其拥有超强的并行计算逻辑。可控制近红外光源，进行图像编码并主动投射到红外光谱。同时通过一个标准的CMOS图像传感器接收投影的Light Coding红外光谱并且将编码后的反射斑点图像传输给PS1080，

16、PS1080对此进行处理并生成深度图像。传感器特性规格范围可视角度43垂直方向和57水平方向有效视野范围机械化倾斜范围（垂直）28帧率（深度和彩色图像）30帧每秒（FPS）深度图像（默认）QVGA(320240)彩色图像（默认）VGA(640480)音频格式16kHz,16bit单声道（PCM）音频输入特性4个带有24bit的数字模拟信号（ADC）和清除和处理噪声的麦克风阵列Kinect景深数据是骨骼节点数据是最重要的数据。也许说到景深数据就会想到Time of Flight原理（通过测量光脉冲之间的传输延迟时间来计算深度信息）。但这种技术价格不菲，用在消费电子产品来说明显不合适。而Kinec

17、t用到的技术是基于光编码的结构光测量（投射已知的红外模式到场景中，通过另外一个红外CMOS成像器所捕获到的该模式的变形，从而最终哦你过来确定深度信息）。骨骼节点数据是Kinect提供根据“骨骼跟踪”的20个关节点来生成一副骨架系统。骨架系统是Kinect深度“机器学习”的结果(深度图像的每一个像素会被进行评估，其特征变量都会被分类，在一个称为“随即决策库”里进行搜索，这是一个概率推测的过程。随着像素的不断扫描修正，像素的评估将会越来越准确）。5.4.2 STC89C52单片机主控芯片图5.4.2 STC89C52RC引脚图描述：STC89C52是STC公司生产的一种低功耗、高性能CMOS8位微

18、控制器，具有 8K 在系统可编程Flash存储器。具有以下标准功能： 8k字节Flash，512字节RAM， 32 位I/O 口线，看门狗定时器，内置4KB EEPROM，MAX810复位电路，3个16 位定时器/计数器，4个外部中断，一个7向量4级中断结构（兼容传统51的5向量2级中断结构），全双工串行口。空闲模式下，CPU 停止工作，允许RAM、定时器/计数器、串口、中断继续工作。在掉电保护方式下，RAM的内容被保存，振荡器被冻结，单片机一切工作停止，直到下一个中断或硬件复位为止。最高运作频率35MHz，6T/12T可选。5.4.3 WIFI转串口模块HLK-RM04图5.4.3 1 HL

19、K-RM04描述：HLK-RM04是海凌科电子新推出的低成本嵌入式UART-ETH-WIFI(串口-以太网-无线网) 模块。 本产品是基于通用串行接口的符合网络标准的嵌入式模块，内置 TCP/IP协议栈，能够实 现用户串口、以太网、无线网（WIFI）3 个接口之间的转换。 通过 HLK-RM04 模块，传统的串口设备在不需要更改任何配置的情况下，即可通过 Internet 网络传输自己的数据。配置详情：1、 PC做热点，模块通过无线网卡模式连接PC热点。并设置与PC热点在同一网段；2、 网络协议选择TCP服务器，PC程序作为TCP客户端；3、 设置端口与串口参数。图5.4.3 2 HLK-RM

20、04配置界面5.4.4 USB摄像头图5.4.4 FaceTime HD 高清摄像头描述：Apple iMac一体机内置拆机摄像头 720P，支持UVC免驱输出。该摄像头支持:YUY2，16位/像素。Bits per pixel MJPG, 32位/像素。Bits per pixel 最高支持分辨率：1280x1024 30fps5.4.5 Cubieboard3 开发板图 5.4.5 Cubieboard3 开发板描述： Cubieboard是由一支中国珠海的技术团队Cubietech开发的一个开源MiniPC和开发板，团队在国际上被认可，但国内却默默无闻，Cubieboard有些类似于英国

21、人开发的树莓派，但是在硬件的性能上，接口丰富性上和扩展性上均优于后者，同时本次创客马拉松深圳的开发板也得到了Cubieboard的赞助。Cubieboard一经推出就在全球范围内Geek人群中引起了很大的反响。Cubieboard采用DDR3 512Mb/1024Mb内存，市场上多见的是1024Mb内存的版本，其自带有一个5v电源插口、1个SATA5v电源插口、1个SATA 2.0硬盘接口、HDMI视频接口、Micro-SD卡卡槽、耳机插口、线路输入插口、96Pin GPIO接口以及100M以太网插口和Mini-USB接口。5.4.6 CBT-SURPERIOT平台描述：平台介绍：全功能物联网

22、教学科研平台（标准版）是北京赛佰特科技有限公司基于物联网多功能、全方位教学科研需求，推出的一款集无线ZigBee、IPv6、Bluetooth、Wifi、RFID和智能传感器等通信模块于一体的全功能物联网教学科研平台，以强大的Cortex-A8（可支持Linux/Android/WinCE操作系统）嵌入式处理器作为核心智能终端，结合自主开发的通用型IPv6物联网网关，支持多种无线传感器通讯模块组网方式。主流的嵌入式操作系统，为物联网定制行业应用服务提供丰富的案例资源，该系统可以让你快速搭建起物联网的应用原型。由浅入深，提供丰富的实验例程和文档资料，便于物联网无线网络、传感器网络、RFID技术、

23、嵌入式系统及下一代互联网等多种物联网课程的教学和实践。第六章 软件流程图本项目软件主要包括远程监控软件和体感控制软件远程监控软件：主要是开发板编程和手机APP编程体感控制软件：主要是Kinect编程和单片机编程6.1 远程监控软件 在开发板启动中，初始化接口数据，运行远程监控程序。该远程监控程序主要是获取USB摄像头的数据，并采用h.264视频输入与输出格式的转化与配置。同时通过嵌入式的动态域名服务器来实现远程监控。图6.1 （1）远程监控整体流程图图6.1 （2）网络拓朴结构 通过修改/etc/config/network，增加nwan宽带接口，修改防火墙/etc/config/firewa

24、ll，然后利用pppoe-relay -S eth0.2 -C br-lan实现nwan到wan上的宽带穿透，配置/etc/config/ddns（动态域名服务器配置）和配置/etc/config/firewall（端口转发配置），最终实现网络拓朴。6.2 体感控制软件在软件启动上，首先要考虑Kinect和WIFI模块的连接情况。用线程的额方式启动。加载界面。在界面的设计上首先得考虑作为智能家居的控制软件，文字和按钮必须足够大方便手势操控。其次考虑Kinect语音或手势识别后，如何与播放器交互，如何调用TCP类。最后考虑Kinect手势和语音该怎么识别。单片机软件方面，用串口中断接收数据，并判

25、断数据内容，改变LED灯状态，改变步进电机的状态变量。步进电机用中断的方式，采用双相绕组通电，根据状态变量确定转动状态。 图6.2 （1）Kinect软件设计图6.2 （2）单片机程序设计第七章 系统测试7.1测试数据7.1.1 远程监控模块（PC浏览器访问效果）：图7.1.1.1 PC访问效果图7.1.1.2 系统测试远程监控模块7.1.2 远程监控模块（手机访问效果）： (a) (b)图7.1.2.1 手机浏览器访问效果图7.1.3 远程监控模块（三维模型效果）视频传输用RSTP协议传输，后台视频用x264编码器编码存储。 图7.1.3.1 图7.1.3.27.1.4 体感控制模块（单片机

26、测试）单片机从串口接收数据，然后比对数据，最后根据判断控制模块的状态。单片机的接线如图：图7.1.4.1 将步进电机连接好，P3.0,P3.1通过串口转USB模块连上PC的USB口。当向串口发送1，发送5之后，步进机逆时针转动，LED5灯亮，如下图 图7.1.4.2 7.1.5 体感控制模块（系统测试）体感控制模块的系统测试将分为主程序与Kinect测试，PC终端与WIFI转串口模块通讯测试，PC终端与传感器测试，体感控制与远程监控的交互测试4个方面进行测试。图7.1.5.1 系统测试 主程序与Kinect测试只需要连接上Kinect打开主程序即可开始测试。测试步骤：1.站在Kinect一米以

27、外一米半以内，抬起右手，主程序左上角的数字会不断增加；抬起左手，主程序左上角的数字不断减少。2.将左手或者右手往前推，即可开启空气鼠标。如果左手当鼠标，那么抬起右手触发鼠标左键点击功能。右手同理。3.语音控制测试对Kinect说:”captain shutdown please”，主程序将会最小化；对Kinect说:”captain misson please”，主程序将会最大化；对Kinect说:”captain lightfive please”,主程序将会通过Tcp发送字符5，开发板接收到后控制灯具5点亮；对Kinect说:”captain lightsix please”,主程序将会通

28、过Tcp发送字符6 ，开发板接收到后控制灯具6点亮；对Kinect说:”captain lightseven please”,主程序将会通过Tcp发送字符7 ，开发板接收到后控制灯具7点亮；对Kinect说:”captain everylight please”,主程序将会通过Tcp发送字符5、字符6、字符7 ，开发板接收到后控制灯具5、灯具6、灯具7点亮；对Kinect说:”captain window please”,主程序将会打开窗帘控制交互界面；此时左手向左抬起（手掌高于肩部），主程序将会通过Tcp发送字符1 ，开发板接收到后控制步进电机逆时针旋转；右手向右抬起（手掌高于肩部），主程序

29、将会通过Tcp发送字符2 ，开发板接收到后控制步进电机顺时针旋转；两手合并放在头上，主程序将会通过Tcp发送字符3 ，开发板接收到后控制步进电机停止旋转；对Kinect说:”captain sing please”,主程序将会打开音乐播放器。接下来可以全用手势控制播放器状态：两手往前推为播放或暂停；右手向右抬起与肩平行为下一首；左手向左抬起与肩平行为上一首；左手放在右肩为快进；右手放在左键为倒退；右手向上举起为加大音量；左手向上举起为减小音量；左右手交叉并往下放低于腰部为关闭播放器。对Kinect说:”captain show please”,主程序将会打开与传感器交互界面；对Kinect说:

30、”captain watch please”,主程序将会打开远程监控模块。 PC终端与WIFI转串口模块通讯测试打开PC WIFI热点，模块接上电源。设置好串口参数和网络参数。从串口发送的数据TCP_CLIENT能够接收到，从TCP_CLIENT发送的数据串口能够接收到。图7.1.5.2 PC终端与传感器测试传感器是采用于赛佰特实验箱的，烧录好对应的程序后，通过PC终端的串口获得相应的数据报；传感器交互界面通过对数据报进行判断和计算，得到传感器的类型和结果，反馈到主程序中，显示到状态栏。 图 7.1.5.3 图7.1.5.4 体感控制与远程监控的交互测试通过Cubieboard3开发板和路由器

31、，搭建好局域网，连接上WIFI和Kinect就可以进行两模块之间的交互了。首先通过局域网，查看摄像头状态，如下图：图7.1.5.5远程监控模块的后台：图7.1.5.6远程监控模块的区域监控： 设置监控区域：图7.1.5.7 监察监控区域：图7.1.5.8 触发监控事件：图7.1.5.97.2实现功能1.实现了对家庭内的灯光、门、窗帘的控制。2.制作了体感控制模型用于展示。3.实现了通过路由作为中继，远程操控和图像识别。4.实现了语音对系统的控制。5.实现了视频远程监控。6.实现对传感器的简单应用。第八章 特色与创新点8.1项目特色1.使用Kinect对各种电子产品进行体感操控。2.使用Kinect的语音控制，使用户操作更便捷。3.使用无线技术，构建局域