视频信息处理与传输课程学习综合报告Word文件下载.doc
《视频信息处理与传输课程学习综合报告Word文件下载.doc》由会员分享，可在线阅读，更多相关《视频信息处理与传输课程学习综合报告Word文件下载.doc（20页珍藏版）》请在冰点文库上搜索。
视频信息处理与传输的研究领域有：
1、采集
2、压缩编码
3、视频信息处理技术
4、视频质量评价
5、视频信息检索
6、视频信息传输
7、视频传输协议
8、视频传输质量评价
9、应用系统
研究热点：
1、视频信息检索
2、信息安全与信息垃圾
3、视频转码
2.1.1视频压缩编码：
视频压缩的目标是尽可能保证视觉效果的前提下检索视频数据率。
视频压缩比一般指压缩后的数据量与压缩前的数据量之比。
由于视频是连续的静态图像，因此其压缩编码算法与静态图像的压缩编码算法有些共同之处，但是运动的视频还有其自身的特性，因此在压缩时还应考虑其运动特性才能达到高压缩的目的。
在视频压缩中常用到以下一些基本概念：
一、有损和无损压缩：
在视频压缩中有损（Lossy）和无损（Lossless）的概念与静态图像中基本类似。
无损压缩也即压缩前和解压缩后的数据完全一致。
多数的无损压缩都采用RLE行程编码算法。
有损压缩意味着解压缩后的数据与压缩前的数据不一致。
在压缩的过程中要丢失一些人眼和人耳所不敏感的图像或音频信息，而且丢失的信息不可恢复。
几乎所有高压缩的算法都采用有损压缩，这样才能达到低数据率的目标。
丢失的数据率与压缩比有关，压缩比越大，丢失的数据越多，解压缩后的效果一般越差。
此外，某些有损压缩算法采用多次重复压缩的方式，这样还会引起额外的数据丢失。
二、帧内和帧间压缩：
帧内压缩也称为空间压缩。
当压缩一帧图形时，仅考虑本帧的数据而不考虑其相邻帧之间的冗余信息，这实际上与静态图像压缩类似。
帧内一般采用有损压缩，由于帧内压缩时各个帧之间没有相互关系，所以压缩后的视频信息数据仍可以以帧为单位进行编码。
帧内压缩一般达不到很高的压缩。
2.1.2视频质量评价：
视频质量评价分为两个方面：
主观和客观评价。
主观评价：
视频质量主观评价凭感知者主观感受评价视频对象的质量，包括视觉信息的录入系统，即人眼成像系统；
视频信息处理系统，即人脑对视觉信息的加工。
成像系统与信息处理系统两部分互相结合，对视频评价的结果产生显著的影响，目前尚没有合适的数学模型对其进行精确的刻画。
客观评价：
目前，视频客观质量评价一般是通过模拟HVS的生理特征建立视觉感知模型，并将模型的输出值作为质量的评价或失真的度量，研究集中在如何提高模型输出与主观评价结果的相关性。
目前已有多种基于HVS生理特征的质量客观评价方法：
感知模拟器模拟人眼时域的平滑效应和掩蔽效应，分析了人眼的不对称评价方式，即相对图像质量从差到好的变化；
快效应检测联合掩蔽效应模型进行质量评价能给出质量客观评价，它也可以用于衡量视频块效应的严重程度。
2.1.3信息安全与信息垃圾：
信息安全是指信息网络硬件、软件及其系统中的数据受到保护，不受偶然或者恶意的原因而遭到破坏、更改、泄露。
系统连续可靠正常地运行，信息服务不中断。
信息安全主要包括以下五方面：
保证信息的保密性、真实性、完整性、未受权拷贝和所寄生系统的安全性。
信息安全的根本目的就是使内部信息不受外部威胁，因此信息通常要加密。
为保障信息安全，要求有信息源认证、访问控制，不能有非法软件驻留，不能有非法操作。
信息垃圾就是那些混在大量有用信息中的无用信息、有害信息，以及对人类社会的各个方面带来危害的信息。
它对信息安全应用和转播构成了威胁。
比如计算机病毒；
通过网络传播的黄色淫秽、背离社会道德、国家法律的信息。
2.2第二章视频信息采集技术
2.2.1视频信息基础：
n静态图像+时间->
视频信息
n优点:
l储存便利
l便于编辑
l便于提供新业务
l图像质量好（数字视频）
时变图像构成模型
时变图像：
图像由三维空间投影到二维平面形成，并随着时间的变化，其场景中的实体也将发生变化的过程形成的。
数学表达式:
模拟视频
模拟视频:
l视频的记录、存储和传输以模拟的形式进行。
全电视信号考虑要索：
l清晰度、闪烁性、彩色黑白兼容性、占用带宽等权衡。
电视扫描:
l将二维图像变成一维的像素串，或者将一维像素串变换为原图像的过程，称为扫描。
行扫描和场扫描。
l逐行扫描和隔行扫描。
数字视频
n电视图像数字化方法：
数字视频结构
l它由多幅连续的图像序列构成。
具有时间和空间二维结构。
典型格式：
l音频：
uWAV,MP3,WMA,AAC,M4A,OGG,APE,AC3,RMA
l视频：
uAVI,VCD,SVCD,DVD,MPG,WMV,ASF,RM,RMVB,FLV,
uF4V,MOV,QT,MP4,MPEG4,3GP,3G2,MKV,TS,TP,
uMTS,M2TS,MOD,TOD,SDP,YUV
l图像：
uJPG、PNG、ICO、BMP、GIF、TIF、PCX、TGA
数字视频格式
AVI视频格式
ASF视频格式
RM视频格式
2.2.2视频信息采样理论
n连续图像需要用空间和时间两种变量对其采样。
形成时空图像视频信号。
图像的视觉基础
图像概念
图像是当光辐射能量照在物体上，经过它的反射或者投射，或由发光物体本身发过来的光的能量，在人的视觉器官中所重现出来的物体的视觉信息。
n图像分类:
l按其亮度可以分为
u二值图像
u灰度图像
l按色调不同可以分为:
u无色调的灰度图像
u有色调的彩色图像
图像分辨率：
在位图图像处理时必须区分的三种分辨率描述：
①屏幕分辨率是指在某一特定显示模式下，计算机屏幕上以水平和垂直的像素表示的最大显示区域。
②图像分辨率是指数字化图像的大小，以水平的喝垂直的像素表示。
③像素分辨率是指一个像素的宽和长的比例，有时候也称像素的长宽比。
人眼的视觉特征：
①在亮度大的区域，对灰度误差不敏感。
②对亮度信号的空间分辨率大于对色度信号的空间分辨率。
③容易感觉到边缘位置的变化。
对于边缘的灰度误差不敏感，对灰度变化平缓区域的灰度变化敏感。
④画面切换后约100ms时间内，分辨率较低。
⑤对不同频率的信号有不同的灵敏度，对高频分量不敏感，允许较粗的量化。
视频的采样结构
n采样：
就是把一副连续图像在空间上分割成MxN的网格，每个网格用一亮度值来表示。
n正交采样点阵:
其中，每一个圆圈表示一个像素位置，数字表示采样的次数。
二维结构采样:
å
静态图像：
二维采样函数：
三维结构采样:
一个任意周期几何图形的二维采样的概念推广到三维采样结构上对时变图像sc（x,t）=sc（x1,x2,t）的采样。
矩阵表示法定义的一个点阵：
采样图像的量化
n图像的空间取样：
1、指图像空间位置的数字化，即指图像的空间取样，通过采样把一副完整的图像分割成无数众多的离散像素的阵列。
2、指图像灰度的数字化，即指从图像灰度的连续变化进行离散的采样。
在数字图像处理技术上，亮度信号的取样频率为13.5MHz，理由如下：
①按照奈奎斯特取样定理，取样频率至少应为信号上限频率的2倍，为获得满意的图像质量，在PAL制中亮度信号要求5.8--6MHz的带宽。
因此，取样频率应大于12MHz。
②为了取样后保证产生足够小的混叠噪声，要求取样频率是信号宽带的2.2-2.7倍。
因此对PAL制信号，取样频率应大于13.2MHz。
③为了获得正交取样结构，取样频率必须是行频的整数倍。
④为了实现两种扫描制度式PAL和NTSC兼容，应采用同一种取样频率，625行制的行频为15.265Hz，525行制的行频为15.734Hz，两者的最小公倍数为2.25MHz。
2.2.3CCD图像传感器与视频采集卡
CCD图像传感器-工作原理:
lCCD是一种光电转换半导体器件，在N型或P型硅衬底上生长一薄层的二氧化硅，再在二氧化硅层上依次沉积金属电极，这种规则排列的MOS电容阵列再加上两端的输入、输出二极管就构成CCD芯片。
CCD的基本功能是电荷的存储和电荷的转移。
工作时，需要在金属栅极上加一定的偏压，形成势阱以容纳电荷，电荷的多少与光强成线性关系。
电荷读出时，在一定相位关系的移位脉冲作用下，从一个位置移动到下一个位置，直到移出CCD，经过电荷-电压变换，转换为模拟信号。
CCD图像传感器-优点:
lCCD是一种固体化器件，体积小、重量轻、功耗低、抗震性和抗冲激性好、不受电磁干扰和可靠性高、寿命长。
l图像畸变小、尺寸重现性好。
l具有较高的空间分辨率，光谱响应范围宽。
l光敏元间距的几何尺寸精度高，可获得较高的定位精度和测量精度。
l具有较高的光电灵敏度和较大的动态范围。
视频采集卡-概述
l视频采集卡（VideoCapturecard）也叫视频卡，是将模拟摄像机、录像机、LD视盘机、电视机输出的视频信号等输出的视频数据或者视频音频的混合数据输入电脑，并转换成电脑可辨别的数字数据，存储在电脑中，成为可编辑处理的视频数据文件。
视频采集卡的分类:
l广播级视频采集卡。
l专业级视频采集卡。
l民用级视频采集卡。
视频采集卡-工作原理：
2.3第三章视频信息压缩编码及标准
2.3.1视频信息压缩的必要性与可行性
n
必要性：
以较少的数据来表示图像，示例节约储存器空间。
节省传输信道带宽。
加快处理速度。
可行性：
冗余越大，可压缩的程度就越高。
l①由于相邻像素之间存在关联而产生大量的空间冗余。
l②由于彩色元素间存在相互关联而产生大量频谱冗余。
l③由于人类视觉系统特点而引起的大量心理视觉冗余。
2.3.2视频信息压缩的组成与分类
组成：
l①变换器（T）：
把输入的图像数据加上一对一的变换，所形成的图像数据比原始图像数据更利于压缩。
l②量化器（Q）：
生成一组有限个符号用来表示压缩的图像。
l③编码器（C）：
给量化器的每个符号指定一个码字，即二进制位流。
2.3.3视频信息压缩的评价指标
n衡量一种数据压缩技术的重要性能指标有压缩比、压缩速度、压缩质量和计算量。
（1）压缩比。
（2）压缩速度。
（3）压缩质量：
有无失真。
u无失真：
熵编码
u有失真，具有一定误差：
保真度
n客观保真度
n主观保真度
（4）计算量。
香农第一定理（Shannon，信息论之父“thefatherofinformation
theory”），可变长无失真信源编码定理：
l无论规定的码字符如何编排，其平均的码字符表达的比特数不可能小于原符号的图像的熵值。
n信息源的熵H（S）：
设信息源S的符号集为{S1，S2，…，SN}，Si出现的概率为p（S），则：
H（S）的单位为：
比特数/字符，bit/sign
2.3.4典型的视频信息压缩编码方法
uK-L变换编码
DCT变换编码
u子带编码
u预测编码
u小波变换编码
u模型基编码
u分形编码
基于对象的视频编码
变换编码的基本思想：
l先将空间域图像通过某种正交变换，获得一系列变换系数，在变换过程中，使图像变换系数能量相对集中，再对其变换系数进行区域量化等，按其所含能量大小，分配以不同的数据量去描述，从而达到压缩的目的。
2.3.5视频信息压缩编码标准
1、视频压缩标准对比
2、MPEG-1视频压缩标准
u3、H.261
u4、MPEG-2
5、H.262
u6、H.263/H.263+/H.264
u7、MPEG-4
2.4第四章视频信息传输网络及协议
2.4.1协议体系结构
n
（1）OSI/RM7层模型标准
n
（2）TCP/IP模型
n（3）Internet网络
n（4）网络标准化
OSI7层模型标准（ISO7498）
数据通信理论
①傅立叶分析
l任何正常的周期为T的函数g（t）都可以由无限个正弦和余弦函数合成；
l注意：
基频（f=1/T）和N次谐波的振幅。
②有限带宽信号
l信号非等量衰减——信号畸变；
l截断频率——滤波器，高次谐波损失；
l波特率、比特率——信号编码（电平级）
u采用0、1（二进制码）编码时，波特率=比特率。
③截断频率f（Hz），比特率为b（bps），一个周期发送n比特的数据
最大谐波数=f/（b/n）=nf/b。
l数据位数（n）与谐波数
④限制带宽（f）就是限制数据传输速率（b）
l波数一定；
信号识别精度一定；
ln一定；
负载一定。
网络通信系统
n特点
l基础通信平台，提供计算机网络的数据传输信道，但又独立于计算机通信；
l逐步吸收融合计算机网络的许多思想，越来越复杂。
实际应用：
l电话系统
lN-ISDN
lB-ISDN和ATM
l移动电话系统
l有线电视系统
l通信卫星
l无线网络
2.4.2视频信息传输协议
IP协议
具体物理网络有多种实现形式，甚至几种网络技术应用于某个物理网络上，使得网络接口有较大变化。
IP采取的对应措施（前2种为主）
l1.采用以太网接口，（物理网转换，提供以太网服务）
l2.采用PPP（物理网上叠加PPP）
l3.直接使用物理网的服务
TCP、UDP协议
n目的主机
lIP通信的端点，但不是通信的最终端点。
n通信的最终端点
l应用进程－局限性；
l提供服务的SAP－通用性，称为port（端口）
2.4.3网络协议
网络传输协议或简称为传送协议（Communications
Protocol），是指计算机通信的共同语言。
现在最普及的计算机通信为网络通信，所以“传送协议”一般都指计算机通信的传送协议，如：
TCP/IP、NetBEUI等。
然而，传送协议也存在于计算机的其他形式通信，例如：
面相对象编程里面对象之间的通信；
操作系统内不同程序之间的消息，都需要有一个传送协议，以确保传信双方能够沟通无间。
以下为各种网络传输协议列表（后面数字表示应用层协议默认服务端口）：
A
ARP
（ARP
Address
Resolution
Protocol）
B
BGP
（边缘网关协议
Border
Gateway
蓝牙（Blue
Tooth）
BOOTP
（Bootstrap
D
DHCP（动态主机配置协议Dynamic
Host
Configuration
DNS（域名服务
Domain
Name
Service）
DVMRP
（Distance-Vector
Multicast
Routing
Protoco
E
EGP
（Exterior
F
FTP
（文件传输协议
File
Transfer
H
HDLC
（高级数据链路控制协议
High-level
Data
Link
Control）
HELLO（routing
protocol）
HTTP
超文本传输协议
HTTPS
安全超级文本传输协议
I
ICMP（互联网控制报文协议
Internet
Control
Message
Pr
otocol）
IDRP
（InterDomain
IEEE
IGMP
（Internet
Group
Management
IGP
（内部网关协议
Interior
Protocol
）
IMAP
IP
（互联网协议
IPX
IS-IS（Intermediate
System
to
Intermediate
Pro
tocol）
L
LCP
（链路控制协议
LLC
（逻辑链路控制协议
Logical
M
MLD
（多播监听发现协议
Listener
Discovery）
N
NCP
（网络控制协议
Network
NNTP
（网络新闻传输协议
News
NTP
（Network
Time
P
PPP
（点对点协议
Point-to-Point
POP
（邮局协议
Post
Office
R
RARP
（逆向地址解析协议
Reverse
RIP
（路由信息协议
Information
l）
S
SLIP
（串行链路连接协议Serial
SNMP
（简单网络管理协议
Simple
SMTP
（简单邮件传输协议
Mail
Transport
T
TCP
（传输控制协议
Transmission
TFTP
（Trivial
Telnet
（远程终端协议
remote
terminal
U
UDP
（用户数据报协议
User
Datagram
以太网协议：
以太网是目前使用最广泛的局域网技术。
由于其简单、成本低、可扩展性强、与IP网能够很好地结合等特点，以太网技术的应用正从企业内部网络向公用电信网领域迈进。
以太网接入是指将以太网技术与综合布线相结合，作为公用电信网的接入网，直接向用户提供基于IP的多种业务的传送通道。
以太网技术的实质是一种二层的媒质访问控制技术，可以在五类线上传送，也可以与其它接入媒质相结合，形成多种宽带接入技术。
以太网与电话铜缆上的VDSL相结合，形成EoVDSL技术；
与无源光网络相结合，产生EPON技术；
在无线环境中，发展为WLAN技术。
作为广泛应用的局域网技术，以太网近年来在很多方面得到了发展。
从10M／100M到1G以及目前正在走向成熟的10G，以
升级会员 