人脸识别项目的方案设计.docx

1、人脸识别项目的方案设计人脸识别项目立项报告2013-8-23一、系统总述人脸识别技术是基于人的脸部特征信息进展身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进展脸部的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、记忆存储和比对辨识，达到识别不同人身份的目的。安全性、非接触、直观性、识别速度快不易被发觉 。人脸识别模块以组件形式接入驾培终端，监控机动车驾驶员身份和培训过程中，记录其培训开始时间、培训完毕时间、培训时长、培训里程、最高时速、培训阶段等信息，并可通过无线传输方式、USB数据采集方式将培训记录上传到

2、后台管理软件中。人脸识别模块以组件形式接入行车记录仪，通过卫星定位和无线数据传输对学员、教练员、教练车辆进展实时定位、轨迹回放、定时抓拍、指定抓拍、电子围栏、车辆报警等，保证培训学时的性。二、技术验证1.测试内容1)人脸识别误识率2)人脸识别拒识率3)人脸识别距离，镜头焦距4)红外灯光强度对识别率影响5)车载环境人脸识别安装角度对识别率的影响6)车载环境阳光对识别率的影响7)车载环境路面振动对识别率的影响2.测试环境8)实验室环境测试时间：2013年5-6月测试地点：实验室和华蓝盾模拟车载环境测试车辆：实验室和模拟车载环境测试环境：实验室和室内模拟车辆振动，光线，距离等场景测试目的：确定焦距，

3、红外补偿强度，运算速度等参数。9)室外车载环境测试时间：2013年7月测试地点：公交驾校测试车辆：金龙大客车测试环境：客车训练车道，包括直行车道、弯行车道、坡行车 道以与高速、遂道、云雾、对光背光等场景测试条件：30秒中进展一次人脸识别。在30秒钟内识别成功，认为人脸识别成功，否如此认为人脸识别失败。3.测试数据10)室内环境测试数据：编号项目类型平均识别率说明1焦距长度短焦距镜头99.3%东风平台卡车驾驶台与司机眼睛距离大概60cm左右。当使用长焦距时，得到的图像为脸部大头像，无法得到侧面特征码，影响识别率。2中焦距镜头97.1%3长焦距镜头84.3%4光线与LED灯个数28个LED灯99.

4、9%LED灯越多，抗阳光能力越强。但是超过24个后，灯板照射区域大于面部X围，识别效果增加不明显。524个LED灯99.1%616个LED灯96.1%712个LED灯83.1%8光线与LED灯强度80mA小电流99.3%电流越大，灯越亮，识别效果越好。但是增加功耗，温度太高，影响产品满足工业级指标。950mA中电流89.1%1030mA大电流84.6%11振动与识别速度车速50km/h98.1%人脸识别采用高速DSP处理器，镜头采样为CMOS数字模式，速度远远高于车子振动。在不考虑结构情况下，车子振动对人脸识别无影响。12车速80km/h99.3%13车速30km/h99.0%11)室外环境测

5、试数据：编号项目安装位置平均识别率说明1角度驾驶台正前方99.1%人脸摄像头的安装位置最好是在操作台正前方。左边效果比右边好。如果把30秒中进展一次人脸识别的时间加长，效果会更好。2驾驶台右前方3085.2%3驾驶台左前方3092.8%4环境阴天98.4%阳光对人脸识别影响比拟大，跟理论推测一致。5雨天99.5%6太阳背光94.7%7太阳对光84.1%8路面隧道98.7%路面对人脸识别根本没有影响。但是如果弯道与安装摄像头夹角一样，测试通过率100%，否如此测试和通过率明显下降。9高速92.5%10坡道96.3%11直道95.6%12弯道100%/80.1%4.测试结论1)影响人脸识别角度主要

6、因素为：夹角和阳光。其它条件对识别效果影响不大。2)建议首选人脸识别摄像头安装在司机驾驶台正前方，其次安装在操作台左侧。3)人脸识别模块还需要增加红外灯的亮度或者增加灯个数，提高在阳光对射下识别效果。4)优化人脸识别曝光强度与红外灯亮度算法，提高光线干扰。5)实际产品中，可以延长人脸识别间隔时间，镜头捕获人脸概率更大，识别效果更好。三、应用场景人脸识别模块配合不同终端使用，实现不同的功能。场景终端功能特点驾培计时计程1.通过RFID和人脸识别双重方式识别教练车和学员身份，并且通过RFID记录学员培训全过程信息。2.采用高精度人脸识别技术，全程监控培训学员，防止中途换人。3.采用高清摄像头，实时

7、记录车内学员和教练情况。4.采用北斗/GPS定位和计时技术，准确记录行驶路线和学习时间。5.2.8寸TFT显示屏，显示人脸照片，校准人脸镜头。6.大容量TF存储卡，可记录200X脸谱和30天的学员学习信息。1、唯一性:每个人都有一X脸，且无法被复制，仿冒，有效杜绝代打卡现象，因而可以提供更准确的管理。2、人脸识别成功不采样图片，只有失败才采样图片，监控图片量小，减少海量图片。3、具备环境适应力较强，支持在室外、户外使用；设备自带补光，支持夜晚或无灯光条件下使用，特别适用于教练车光线背景复杂变化的场景。车辆监控行车记录仪1.人脸识别验证司机身份，监控司机驾驶过程。控制司机疲劳驾驶。确保客1危行车

8、安全。2.行车记录记录车辆行驶轨迹，设置电子围栏。1、判定司机疲劳驾驶。更换司机，疲劳驾驶时间从新计算。2、实时监控司机行车过程。3、结合行车记录仪使用，设计本钱低。安全监管平板电脑1.行业安全监管。电梯安全监管，公共交通逃犯追踪1、隐蔽，无接触，不招人反感。2、便携终端，携带或安装方便。四、设计方案1.设计目标人脸识别模块作为独立组件与公司现有的产品驾培终端或行车记录仪配合使用，实现对驾驶人员的实时监控。公司现有驾培终端和行车记录仪的CPU都是单片机，没有大显示屏，只能提供串口与外接模块通信，因此无法完成人脸识别算法，脸谱特征码存储，图像显示等功能。人脸模块必须独立自动红外灯补偿，实现脸谱保

9、存，摄像头校准，人脸识别算法和结果保存，数据传输。人脸识别模块必须包含以下几个局部：高性能的CPU配合linux操作系统，实现人脸算法运行；红外灯补偿技术，实现对光线补偿；大容量存储器，存储脸谱和识别结果，异常图片；显示屏，校准人脸识别镜头；串口通信与驾培终端或行车记录仪通信。1)驾培终端人脸识别框图驾培终端机作为主机，通过串口控制人脸识别终端。在教练学员上车刷卡后，启动人脸识别，如果识别成功，把识别结果结果返回给驾培终端，如果识别失败，如此抓拍图片返回给驾培终端。驾培终端原来接摄像头的串口，改接人脸识别终端。驾培终端功能跟原来一样，记录学员培训时长和培训里程、位置信息，并保存人脸监控识别结果

10、，并上传到服务器上。2)行车记录仪人脸识别框图行车记录仪作为主机，通过串口控制人脸识别模块。用在2客1危上，可以对司机实时监控，判断司机身份，驾驶时间，驾驶状态。完全杜绝非法司机，2个司机轮换不能确定身份等问题，导致疲劳驾驶必须停车休息等问题，增加长途运输时间，影响工作效率。2.技术规格1)人脸识别速度：识别时间小于1秒。2)识别角度：水平20，垂直20角内。3)识别距离30100cm之间可镜头调节。4)识别率满足摄像头角度条件下，在非阳光直射条件下识别率：拒识率95%,误识率 0.1%。夜晚无灯光识别90%。5)采用彩色和黑白双摄像头，提高人脸识别效率。6)电源：车载电瓶9V-12V/24V

11、/2A7)通信接口 三线RS232标配。RJ4510M/100M自适应选配。协议另外定。8)标配 TFT, 2.8英寸 LCD 320*240，显示人脸识别照片，校准人脸识别镜头。9)温度：工业级 -10 - 7010)湿度：95%无结露11)振动：车载路面标准3.外形尺寸人脸识别模块外形设计为长方形，带2.8寸TFT显示屏，人脸识别双摄像头。1个电源开关键，1个隐蔽复位键。对外接口包括1个电源4针2.54mmDIP插座，1个miniUSB接口，1串口DB9插座，1个网口RJ45插座，DB9和RJ45根据客户需要对外表现。MiniUSB为人脸终端升级程序，配置参数使用。4.安装位置从前期的实验

12、验证结果上看，人脸识别模块安装在司机正前方，识别效果最好，其次是A立柱上，最差的是后视镜上。把人脸识别终端放在司机正前方，影响司机视线，特别是小车子。车辆型号安装位置说明大型货车或客车首选A立柱司机拉手上方，其次A立柱下方，司机驾驶台上终端需安装在A立柱上，所以对终端的宽度将作严格要求，终端尺寸以不能挡住司机看后视镜为准。驾校小车A立柱下方，司机驾驶台上5.驾培终端改造方案驾培终端原来采用RFID射频卡和指纹识别学员身份。本方案中RFID射频卡继续保存，把指纹识别器升级为人脸识别终端。上车刷卡，人脸识别验证身份，开始计时计程，监控驾驶员身份，学员完成学时，退出培训，记录培训时间和里程，拔卡完毕

13、培训。硬件：人脸识别模块有黑白和彩色摄像头可以做监控摄像头使用，代替原来驾培终端的监控摄像头。把驾培终端原来与监控摄像头连接串口，改成与人脸识别模块连接，其它的硬件不做改动。软件：需要增加人脸识别模块通信模块，识别结果和异常图片存储空间。原来的驾培终端带有TF卡，通过串口接收到的异常图片和注册脸谱特征码，全部存放在驾培终端TF卡中。注册系统把注册好的特征码，通过3G/WIFI发送到驾培终端，驾培终端再把特征码文件用串口发送到人脸识别终端。每X特征码文件3KB*16*200 = 10MB,串口下发完所有数据需要的时间 10MB/11Kb=700秒钟，估计时间15分钟。 每X照片(320*160

14、)*8/115200，大约需要4秒钟。 6.行车记录仪改造方案把人脸识别终端接到行车记录仪备用串口上，行车记录仪硬件和结构保持不变。同样把数据保持在TF卡中。行车记录仪通过软件控制人脸识别启动或关闭，接收识别结果。7.兼容方案方案需要把人脸识别、驾培终端和行车记录仪合成一体。系统硬件连接如下：驾培终端与人脸识别模块采用串口通信，实现功能与驾培计时计程。形成记录仪与驾培终端采用串口通信，驾培终端定时把培训信息发送给行车记录仪。行车记录仪在检测到wifi信号时，把驾培数据和行车记录仪数据发送给管理系统，由管理系统分类处理。8.通信协议通信都是由主机驾培终端或行车记录仪发起的，人脸识别模块被动接收数

15、据，作出相关应答。1)数据包格式：帧头包序号包类型子类型数据长度数据内容校验帧尾2)格式说明名称长度说明帧头1固定7E，数据包中7E作转义处理，见说明1包序号2从0x0000 - 0xffff ; 请求方每发完一个请求后顺序递增，发起建连请求命令规定为0，但响应包必须与对应的请求包。包类型1见下表子类型1见表类型对应的说明数据长度4不包括本字段与前面各字段单位：字节，无数据内容时此字段填0数据内容请求或响应数据的内容当数据长度为0时本字段不存在，具体格式依不同包类型不同，详见各种包类型描述。校验2CRC-16，见说明2帧尾17E说明1：7E转义处理将信息字段中出现的每一个 0x7E 字节转变成

16、为 2 字节序列(0x7D, 0x5E)。假如信息字段中出现一个 0x7D 的字节, 如此将其转变成为 2 字节序列(0x7D, 0x5D)。说明2：CRC16校验算法：CRC16多项式：CCITT CRC16：多项式是X16+X12+X5+1。CRC16余数表和算法，双方再约定。3)包类型说明：名称编码说明应答0x01对请求的响应设置参数0x11配置人脸识别参数相识度、识别间隔时间，人脸识别失败是否带照片查询参数0x12查询人脸识别参数下发特征码0x13下发注册用脸谱特征码启动识别0x14主机下发启动识别命令4)包子类型说明：包名称子类型编码说明应答成功0x00请求成功失败0x11请求失败设

17、置参数查询参数相识度0x10人脸相识度门限间隔时间0x11人脸识别间隔时间异常带照片0x12人脸失败是否带异常照片下发特征码特征码0x10下发注册用特征码。应答返回成功或失败启动用户识别用户识别0x10下发开始启动人脸识别命令。说明1：用户识别数据结构：主机发送用户识别请求：数据长度：用户编号长度4字节+超时时间长度2字节数据：用户编号4字节二进制数，为0表示一对多识别，否如此表示一对一识别+超时时间有效值：10-1800，单位：秒终端收到有效的用户识别请求后响应：长度：用户编号4字节+ 用户识别结果1字节+ 抓拍照片文件长度数据：用户编号4字节二进制整数+ 用户识别结果1：通过，0-失败+抓

18、拍照片文件数据请求的用户编号或特征码无效时返回NAK五、项目实施本系统涉与到3个终端开发，人脸识别终端，驾培终端。人脸识别终端需要新开发，驾培终端和行车记录仪硬件不需要改动，软件需要增加人脸识别功能。硬件软件结构厂家形式周期人脸识别模块整机需要新开发某某科葩外包60天不带模具驾培终端保持不变增加人脸模块保持不变有源代码，自研。否如此外协不确定，预计小于60天行车记录仪保持不变增加人脸模块保持不变管理系统增加人脸识别协议解析，数据库保存。人脸识别注册系统。依迅自研六、核心风险内容问题解决措施风险人脸算法科葩提供成品模块已经试验过，可以满足要求无行车记录仪STM32单片机，CPU速度，RAM/FLASH空间不够用。原设备使用STM32单片机256Kflash，可以升级同型号512K，flash。管教兼容。驾培终端同上同上无人脸识别安装因长时间车辆抖动，引起镜头偏离中心位置建议直接把设备固定在车上，不采用吸盘附在玻璃上大串口通信速度人脸注册特征码数据量很大，全部传完200X脸谱文件估计20分钟。注册在服务器上脸谱文件比拟大，采用3G/WIFI传输，速度很快，根本无影响。从终端上用串口把脸谱文件传到人脸终端大约需要20分钟。但是脸谱存放在终端TF卡内，可以每天晚上定时启动数据通信，不影响客户使用。无