学士学位论文基于计算机视觉的教室节能系统.docx
《学士学位论文基于计算机视觉的教室节能系统.docx》由会员分享，可在线阅读，更多相关《学士学位论文基于计算机视觉的教室节能系统.docx（25页珍藏版）》请在冰点文库上搜索。
学士学位论文基于计算机视觉的教室节能系统
基于计算机视觉的教室灯节能装置
一、设计背景
当今社会资源短缺，但是电能的浪费仍然很严重，尤其是在高校等一些公共场所。
据内蒙古工业大学调查分析发现，许多学生白天在天气情况良好的情况下，将教室内的灯打开，而走的时候却不关闭。
两三个人上自习时，却把教室的灯全打开，造成了很大程度的浪费。
经过最后统计，5个教学区一个月浪费电能15416.4度，折合人民币18512.6元。
学校1学年（10个月）仅电费就要花掉300多万元，而1年仅教学楼就浪费18万元之多。
所以及时有效的解决人走灯亮，人少灯多的问题为当务之急【1】。
二、方案设计
2.1方案分析与论证
针对教室等一些公共场所照明灯电能的大量浪费的现象，目前的解决方法主要有2种：
（Ⅰ）、利用远红外智能控制开关技术，将人体的温度作为检测目标，当人进入其探测区域时，红外传感器将人体与空间温度的差值传递给信号处理系统，从而实施对控制电路的驱动与否，实现对控制对象的具体控制。
优点是实现了室内无人灯自灭的效果；其缺点是，1.当环境温度接近人体温度时，灵敏度急剧下降；2.对静止物不能探测，因此，在高要求的学习、办公场合，如人员相对静止时间，超过开关延时计数时间，智能开关则会自动关闭，引起照明器具频闪，影响学生学习【2】。
（Ⅱ）、利用光优先技术，根据光照调节，其功能表现在教室自然光或空间照度达标时，不管室内有无人员，必须5秒钟内强制性地关闭照明，不支持强迫开启，以达到节能效果。
这种技术的缺点就在于：
1.它没有考虑教室节能的主体因素——人的作用，没有人的时候它也可能开灯；2.测试空间范围太大，如果室内一部分（例如：
向阳面）光照达标，却无法自动关灯，未能做到最大程度上的节能【2】。
正是针对上述两种技术的缺陷，我们确定一套节能方案，利用计算机视觉技术根据教室内人数和位置对亮灯的区域及时做出调整，同时配备可以支持人工控制的按键装置，达到了在相当大的程度上节省电能的实际效果。
2．2．系统方案设计
图2.1整体方案设计流图
本装置在物理组成上包括四部分，主控处理器、信息采集器、键盘输入器、模式选择器。
首先我们对此装置进行数据信息的初始化，根据此装置所应用的场所的实际情况将其分成四个控制区域（A区、B区、C区、D区）。
然后应由用户（老师或管理员）通过模式选择器自行选择人工开灯和自动开灯两种模式中的一种。
在人工控制模式下，由用户利用键盘输入器自行控制灯具的亮灭状态。
系统设定人为模式会持续一段合理时间（此时间数据由用户自行输入，例如大学上课时间一般应启用人工开灯模式，此数据设为110分钟较为合理）。
在自动控制模式下，我们先根据光照传感器采集的信息来判定当前光照情况，如果此照度已经达到国家标准，我们不支持灯具开启；若未达到国家标准，我们便采用数字摄像头OV9650对教室内的信息进行图像采集。
然后我们使用ARM9芯片S3c2440在基于嵌入式Linux操作系统上移植的OpenCV视觉识别技术对采集到的图像进行人体目标识别，当系统显示发现人体目标时，将通过Zigbee无线数据传输技术控制继电器自动开启A区的灯具，然后系统将每隔一段时间对室内信息进行采集分析，返回目标个数及其所在位置，直到系统检测到A区目标个数达到设定值时我们将开启B区，以同样过程依次开启C区和D区，在此过程中如果检测到某区域的目标个数为零，将自动关闭此区域灯具，做到灯因人而开，最终达到节能的目的。
三、硬件系统设计与介绍
本系统选用三星公司的ARM9芯片S3c2440作为处理器，图像采集部分采用数字摄像头OV9650，数据传输部分及终端控制部分选取支持ZiGbee协议同时内嵌8051内核的CC2430。
图3.1系统硬件结构
3.1基于S3c2440的硬件平台
为了确定人体目标在教室的相对位置，需要对采集的图像进行快速准确的分析，这要求系统有较快的处理速度，同时需要一些支持图像处理的算法。
这里选用三星公司的ARM920T内核的芯片S3c2440，其包含MMU内存管理单元，可以运行嵌入式Linux操作系统，还有专用的CAMERA接口。
由于运行嵌入式Linux操作系统时，Linux内核与其文件系统需要大量的存储空间，所以这里需要外扩大量的外部存储空间。
这里同时选取NANDFlash和NORFlash，因为程序不可能在NANDFlash运行，这里再选择SDRAM与之相配【3】。
图3.2SDRAM与S3C2440接口电路
NANDFlash具有体积小，存储单元密度高，写入和擦除速度快且最高可达一百万次，制造过程简单，价格较低等优点。
NORFLASH的特点是可以再片内运行程序，但其写入和擦除速度慢，价格相对较高。
故这里选择NORFLASH存储系统启动代码，NANDFLASH作为主要存储器件。
图3.3NANDFLASH与s3c2440接口电路
图3.4NORFLASH与S3C24440接口电路
SDRAM与FLASH相比具有掉电不保存数据的缺点，但其读写速度远高于FLASH存储器件。
当系统启动后将FLASH中的程序代码及相关数据映射到SDRAM中，提高运行速度。
3.2图像采集模块
本系统基于计算机视觉技术，需要根据室内图像信息，得到室内人数及位置以做出正确的分析和处理，最终控制灯的亮灭。
这里选择OV9650COMS型影像传感器的数字摄像头模组，通过S3C2440的CAMERA接口实现教室内图像信息的采集。
CMOS型摄像头模组是先进、节能、小巧的高精度相机的内置式组件，该数字摄像头模组把实现优质VGA影像的CMOS影像传感器与高度集成的影像处理器、嵌入式电源和高质量的透镜组结合在一起，输出JPEG图像或视频图像。
同时支持8/10位数字传输JPEG图像和YCbCr接口。
由于具有高度集成的特点，该数字摄像模组不再需要配备任何外部器件，实现起来电路简单【4】。
图3.5OV9650数字摄像头接口电路
3.3Zigbee无线数据传输
当对室内信息处理完毕后要将控制命令发给控制终端，实现灯的开启与熄灭。
这里采用TI公司支持Zigbee协议的CC2430芯片，实现控制命令的无线传输，避免了在室内布线的繁琐。
ZigBee模块中RF（射频）收发器采用射频收发模块采用UZ2400芯片，微处理器采用8051芯片。
RF收发器是ZigBee设备的核心，任何ZigBee设备都要有RF收发器。
它与用于广播的普通无线收发器的不同之处在于体积小，功耗低，支持电池供电的设备。
它主要进行信号的调制与解调、发送和接收等。
微处理器通过SPI总线与RF收发器相连，主要用于处理射频信号、控制和协调各部分器件的工作，通过串口与外部设备之间进行通信。
ZigBee模块还包括存储器、晶振、天线、串口等器件【5】，如图3.6所示。
图3.6Zigbee无线通信模块
图3.7CC2430最小系统图
3.4执行控制模块
由于这里需要用5V弱电来控制220V强电开启或熄灭日光灯，所以这里采用控制继电器的方式，控制日光灯。
由于CC2430芯片中集成了8051核，可以利用它来控制继电器实现。
这样既节省了成本又提高了使用率。
具体实现方式如下：
1、正常工作模式
在正常模式下终端控制系统，接收上位机发送过来的控制命令，控制相应的继电器导通或关闭，实现灯的开启与熄灭。
2、非正常模式
当上位机出现异常时，例如：
没有控制命令发送。
则通过矩阵键盘可以人为地控制此终端，实现灯的开启与熄灭。
图3.8继电器控制电路
图3.9按键及光照检测电路
四、软件设计
我们需要对采集的图像进行快速准确的分析，但是在裸机条件下实现的难度较大而且开发周期长，所以在这里我们选用在Linux系统下调用OpenCV开源计算机视觉库中相应的算法的方案来实现。
为了保证应用软件的正常运行，首先要构建软件的运行环境即移植嵌入式Linux操作系统和OpenCV开源计算机视觉库。
这里Linux内核选择2.6.12版本，OpenCV选择1.0.0版本。
4.1移植嵌入式Linux系统介绍
Linux是一款高性能、源代码开放且应用成熟的操作系统。
其体积小、可裁减等特点使其可以作为嵌入式操作系统使用。
在这里使用的是Linux2.6.12内核，通过对其源代码的修改及重新修改，使其能够工作在这里使用的硬件平台上。
当代码修改完成后，编译Linux2.6.12内核源码，使其生成压缩的内核映像zImage。
然后构建文件系统，当文件系统制作完成后，利用mkyaffsimage工具生成文件系统生成系统镜像文件。
最后利用JTAG将bootloader到FLASH中，再利用DNW软件工具将压缩的内核映像文件zImage和文件系统的镜像文件分别下载到FLASH相应的分区中。
完全下载完毕后重新上电，系统开始运行【6】。
如下图所示：
图4.1Linux系统移植流程图
4.2软件设计介绍
在主控部分使用嵌入式Linux操作系统，并移植OpenCV开源计算机视觉库，通过机器学习使系统自动识别摄像头采集到的图像信息中的人体对象目标，并返回当前图像中的目标个数及其相对的位置。
图4.2主控端软件设计框图
图4.3主控端应用程序设计流程图
4.2.1系统信息初始化
由于教室有上课和自习两方面功能，一般上课时应该由人工控制相应灯具的启闭状态，自习时需要系统根据光照程度和室内人数自动控制灯具启闭。
人工控制模式要求我们为用户（老师或者是管理员）配备一个模式选择器，他们应该根据自身教室的要求通过键盘输入器控制相应的灯区，系统设定人为模式会持续一段合理时间（此时间数据由用户自行输入，例如大学上课时间一般应启用人工开灯模式，此数据设为110分钟较为合理）。
自动控制模式要求在初始化时给定区域坐标以便系统自动分区。
由于用户应用此设备的场所以及摄像头的摆放位置不同会导致相对坐标不同，这将直接影响到实际确定人体位置的效果，所以在初次启用此设备前，用户需要对其做简单的测试工作，以确定实际区域位置与图像中像素点对应的坐标值，以供此设备获取相对坐标，对控制区域进行自动分区工作。
相对坐标的确定方法如下：
（1）、测试工作：
支配三名人员分别坐在教室的第一排、中间一排和最后一排，启动摄像头，拍摄图片。
（2）、获取相对坐标：
处理器获取图片信息，根据测试人员所在的位置进行记录，获得其像素坐标（设为：
（x1,y1）（x2,y2）（x3,y3））。
（3）、自动分区：
本图像大小为800×600，分区时以四条直线：
x=400;y=y1;y=y2;y=y3为分界线，以中间分成的四区域为检测控制区域。
如图4.6所示：
（）
图4.4自动分区效果图
4.2.2室内信息采集
在由用户选定人工控制模式和自动控制模式中的一种后，如果是人工控制模式则应由用户利用键盘输入器自行控制灯具的亮灭状况，如果是自动控制模式，我们将根据光照传感器采集的信息来判定当前光照情况，如果此照度已经达到国家标准，我们关闭灯具开关，否则我们便采用数字摄像头OV9650对教室内的信息进行图像采集。
（1）照度数据采集
根据国家建筑物照明标准（图4.7），多媒体教室的照度标准值是300lx。
将光照传感器采集回来的信息通过AD转换，来判断当前教室的各个区域是否达到国家标准，如果达标将关闭此区域灯具控制开关。
如果不达标则对此区域进行图像的采集。
图4.5国家建筑物照度标准
（2）图像采集
在光照强度不达标的情况下我们将来气图像采集模块，在此模块我们将摄像头驱动程序同内核源码一起编译，编写应用程序通过系统调用加载摄像头驱动，对摄像头进行初始化，之后开始图像信息的采集，取得多帧或单帧图像信息，为识别教室中的人体目标提供原始图像。
图4.6图像采集流程图
fd=open（"/dev/v4l/video0",O_RDONLY）;//rd&wr
if（fd<0）……;
if（ioctl（fd,VIDIOCGCAP,&vc）<0）……;
vc.maxwidth,vc.maxheight,vc.minwidth,vc.minheight）;
vw.width=FIXED_SOURCE_WIDTH;//fixedinthisapplication
vw.height=FIXED_SOURCE_HEIGHT;//fixedinthisapplication
if（ioctl（fd,VIDIOCSWIN,&vw）<0）……;
if（ioctl（fd,VIDIOCGWIN,&vw）<0）……;
if（!
image_width||!
image_height）……;
……;
if（ioctl（fd,VIDIOCSCAPTURE,&vcp）<0）……;
if（ioctl（fd,VIDIOCSPICT,&vp）<0）……;
if（ioctl（fd,VIDIOCGPICT,&vp）<0）……;
if（mmap_camera）……;
if（!
mmap_camera）……;
if（tcgetattr（0,&tio）<0）……;
……
if（ioctl（fd,VIDIOCCAPTURE,VIDEO_START）<0）……;
4.2.3图像预处理与人体目标识别
在获取室内图像信息中的有效数据，得到室内人员分布的参数后，需要对得到的图片进行预处理进而再对人体目标进行识别。
当系统显示发现人体目标时，将自动开启A区的灯具，然后系统将每隔一段时间对室内信息进行采集分析返回人数和人所在的位置，直到系统检测到A区人满时我们才会开启B区，以同样过程依次开启C区和D区，在此过程中如果检测到某区域的目标个数为零，将自动关闭此区域灯具。
如果检测到的人员位置相对坐标值恰处于区域临界处，我们则首先根据所处区域的人数多少开启人多的区域，如果人数相当，则根据A、B、C、D由高到低的优先级来判断开启的区域。
软件设计流程图如下：
图4.7信息处理程序设计流程图
在识别人体时需要特定的人体特征，因为在教室中人体头部特征比较明显，这里选择人体头部特征来进行识别。
在人体目标识别中，依靠OpenCV提供的Viola-Jones分类算法【10】来实现。
OpenCV是一个开源的计算机视觉库，它提供了MLL（MachineLearningLibrary）机器学习库，该机器学习库侧重于统计方面的模式识别和聚类（clustering）。
在本设计中，使用OpenCV1.0.0版本，将其移植到ARM嵌入式Linux系统中，借助OpenCV计算机视觉库及其提供的训练好的人体模型，实现机器学习，做到机器自动识别人体目标【7】。
Viola-Jones分类算法将每个boosting分类器组合成筛选式级联的一个节点。
节点有简单到复杂，这样可以最大化减小计算量。
同时每个节点具有高通过率及低拒绝率，如：
在检测人体目标时，几乎所有的目标99.9%都被检测出并通过，但是50%的非人体目标也被检测出来。
然而当通过20个节点时总识别率为
，错误率为
。
图4.8Viola-Jones分类器中的筛选式级联
由于不同场景中训练的分类器，在相应的场景中检测效果最佳，换了场景可能效果并不是较好的。
所以这里需要训练一个适合这个场景中的分类器，首先采集教室内的大量的图片信息，并利用OpenCV提供的haartraining及creatsamples程序创建样本，并训练得到在这里使用合适的分类器。
在识别人体时通过OpenCV中的cvLoad（）函数加载训练的合适的分类器【7】。
将采集到的图像经行滤波及直方图均衡等预处理后，通过这个分类器。
如果检测到有人存在则判断有人在室内，同时返回这时的坐标，通过相对坐标，大概确定这个让人体对象在图像中的什么位置。
图4.9图像处理流程图
实验检测效果如下：
图4.10实验检测人正脸效果图
图4.11实验检测人侧脸效果图
图4.12实验检测人重叠效果图
以上实验效果表明在实现时对图像识别的算法要求较高，这一点还有待提高。
实现对人体对象识别的误差最小化。
4.2.4基于Zigbee的数据传输
在对采集的室内信息进行分析处理后，我们需要对终端的继电器发送相对应的执行命令，这里采用Zigbee进行无线数据传输，软件部分包括操作系统软件（OS）和应用程序。
负责控制系统的运行，并对各种事件进行响应。
实现设备中操作系统正常运行，外接器件正常运行。
Zigbee集成模块通过串口驱动接收处理器处理过的信号，并对接收的信号进行处理，判断是否发送给终端并选择发送给哪一个终端接收数据。
大致流程如图4.9所示:
图4.13串口接收及发送大致流程
串口接收及数据发送部分程序如下
voidrxCB（uint8port,uint8event）
{
uint8rxlen=0;
uint8*uart_buf;
rxlen=Hal_UART_RxBufLen（0x00）;//数据长度
if（!
（uart_buf=osal_mem_alloc（rxlen）））//分配内存是否成功
return0;
if（HalUARTRead（0x00,uart_buf,rxlen）>0）//读串口数据到buf
｛
P1_0=~P1_0;
#ifdefined（ZAPP_P1）//ZTOOL_P1
SPIMgr_AppFlowControl（SPI_MGR_ZAPP_RX_READY）;//恢复流，不然不能接收新数据
#endif
addr=*uart_buf*256+*（uart_buf+1）;
zb_SendDataRequest（addr,SENSOR_REPORT_CMD_ID,0,（uint8*）NULL,0,AF_ACK_REQUEST,0）;//无线发出去
）
HalUARTWrite（0,uart_buf,rxlen）;//返送到串口，调试用
osal_mem_free（uart_buf）;//释放
}
4.2.5终端控制
在执行控制部分利用CC2430内部嵌套的MCS51内核进行相应的控制，在上课时间进入人工模式，学生可以通过按键打开相应的日光灯；在非上课时间进入自动控制模式，根据当前情况判断是否告知主控部分开启自动检测，开启检测后根据接收到的数据打开相应区域的日光灯，给学生提供照明。
。
图4.14终端控制程序设计流程图
五功能演示及效果分析
5.1功能演示
在进行实验检测后，我们将此装置运用到实际自习室进行效果分析，下面是实际自习环境下处理的图片。
5.1.1白天检测实况
白天有日光入射情况下，当白日日光达标时，我们将关闭此装置，当日光强度不足时开启此装置，我们拍摄了一组相片，通过系统检测，得到的效果图如下：
图5.1近距离拍摄实测效果图
图5.2稍远距离实测效果图
图5.3光线稍暗实测效果图
由以上三张不同拍摄角度与距离图片的实际检测效果来分析，我们发现在近距离拍摄时检测效果最好，并且效果和角度以及光线关系不明显。
5.1.2晚上检测实况
由于晚上室内初始没有光照，我们在门处安装红外检测装置，检测是否有人进入，当检测到有人进入时，我们自动开启靠近门的一区灯，此装置会每隔一段时间自动检测区域人数，当检测到此区域人员已满时，我们自动开启相邻区域，当检测到此区域无人时，我们便关闭相应灯，已达到在最大限度上节能的目的。
5.2效果分析
六、作品特点
1、本作品充分考虑了决定室内灯具启闭的主体因素——人的作用，真正实现了灯因人而开的目的，在很大程度上避免了浪费。
2、本作品采用的是计算机视觉技术，其运用效果不受外界环境的影响，比远红外智能开关技术有很高的优越性，检测效果更准确。
3、本作品提供两种模式供用户选择：
人为开灯模式和自动开灯模式。
既可以让此装置自动根据室内信息（光照和人数）自动启闭灯具，也可以由用户通过键盘装置人工控制灯具的启闭。
方便了用户对本装置的使用。
4、数据传输方面使用无线传输方式，避免了布线的繁琐。
七、前景展望
现阶段各高校均面临着教室电能浪费的这一问题，虽然随着科技的发展，各大高校均采用LED灯来代替普通荧光灯或者利用光敏、声敏电阻等控制灯强或利用红外技术或者是光优先技术来节能，但是这些方法在一定程度上都存在很大的改进空间。
本系统在综合地考虑上述技术优点和缺陷的基础上运用嵌入式Linux操作系统设计的一种高效方便的节能系统。
本作品以大学教室为实验对象，为方便用户使用，我们设定由用户（老师或者是管理员）来选择自动开灯模式和人为开灯模式中的一种。
人为开灯模式，在此模式下用键盘输入器上的相应按键来控制相应位置灯区的亮灭状态，系统设定人为模式会持续一段合理时间（此时间数据由用户自行输入，例如大学上课时间一般应启用人工开灯模式，此数据设为110分钟较为合理）；在非上课时间时切换到自动开灯模式，在此模式下装置自动根据室内光照强度、人数的多少和位置及时有效地控制室内灯的亮灭个数和亮灯的位置。
在很大程度上节省了电能（具体数据）。
将来此装置也可以推广到其它需要节能的公共场所，根据人的个数和位置控制灯具的亮灭，空调、暖气等的开启与关闭。
有一点不足就是在S3C2440芯片内部没有FPU浮点运算单元，使得主控器运算起来有些慢，但由于我们应用此技术的场所（教室）人员流动频率也较低，所以在实际应用时也没有太大的影响，当然这也有待提高的一点。
我们正生活在以节能环保为主题的社会里，随着整个社会经济的不断加强，本系统将会被大力推广。
参考文献：
【1】李玉波，“内蒙古工业大学青年志愿者调查：
‘白耗’电能1年掏走学校18万”，《中国青年报》，2006年6月14日
【2】北京宇通盛世照明安装工程有限公司博客，
【3】《OK2440-III用户手册V4.0》，，2010年4月
【4】《OV9650ColorCMOSSXGACameraChip》，OmniVisionTechnology，2004年12月
【5】《ZigBee技术实践教程》，北京航空航天大学出版社，2009年6月
【6】韦东山，《嵌入式Linux应用开发完全手册》，人民邮电出版社，2008年08月
【7】于仕琪，刘瑞祯译，《学习OpenCV》，清华大学出版社，2010年1月
【8】RafaelC.Gonzalez，RichardE.Woods著，阮秋奇，阮宇智等译，《数字信号处理（第二版）》，电子工业出版社，2009年6月
【9】谭学科，《基于ARM和OpenCV的增强现实平台研究》（硕士论文），大连理工大学，2008年12月
【10】P.ViloaandM.J.Jones,“RapidObjectDetectUsingaBoostedCascadeofSimpleFeature”,IEEECVPR（2001）
【11】建筑照明设计标准GB-50034-2004，2004年
升级会员 