各种音视频编解码学习详解 h264Word格式.docx

1、 32,000 Hz - miniDV 数码视频 camcorder、DAT （LP mode）所用采样率 44,100 Hz - 音频 CD, 也常用于 MPEG-1 音频（VCD, SVCD, MP3）所用采样率 47,250 Hz - Nippon Columbia （Denon）开发的世界上第一个商用 PCM 录音机所用采样率 48,000 Hz - miniDV、数字电视、DVD、DAT、电影和专业音频所用的数字声音所用采样率 50,000 Hz - 二十世纪七十年代后期出现的 3M 和 Soundstream 开发的第一款商用数字录音机所用采样率 50,400 Hz - 三菱 X-

2、80 数字录音机所用所用采样率 96,000 或者 192,000 Hz - DVD-Audio、一些 LPCM DVD 音轨、Blu-ray Disc（蓝光盘）音轨、和 HD-DVD （高清晰度 DVD）音轨所用所用采样率 2.8224 MHz - SACD、 索尼 和 飞利浦 联合开发的称为 Direct Stream Digital 的 1 位 sigma-delta modulation 过程所用采样率。在模拟视频中，采样率定义为帧频和场频，而不是概念上的像素时钟。图像采样频率是传感器积分周期的循环速度。由于积分周期远远小于重复所需时间，采样频率可能与采样时间的倒数不同。 50 Hz

3、- PAL 视频 60 / 1.001 Hz - NTSC 视频当模拟视频转换为数字视频的时候，出现另外一种不同的采样过程，这次是使用像素频率。一些常见的像素采样率有： 13.5 MHz - CCIR 601、D1 video分辨率分辨率，泛指量测或显示系统对细节的分辨能力。此概念可以用时间、空间等领域的量测。日常用语中之分辨率多用于图像 的清晰度。分辨率越高代表图像品质越好，越能表现出更多的细节。但相对的，因为纪录的信息越多，文件也就会越大。目前个人电脑里的图像，可以使用图像 处理软件，调整图像的大小、编修照片等。例如 photoshop，或是photoimpact等软件。图像分辨率：用以描

4、述图像细节分辨能力，同样适用于数字图像、胶卷图像、及其他类型图像。常用线每毫米、 线每英吋等来衡量。通常，“分辨率”被表示成每一个方向上的像素数量，比如640x480等。而在某些情况下，它也可以同时表示成“每英吋像素” （pixels per inch，ppi）以及图形的长度和宽度。比如72ppi，和8x6英吋。视频分辨率各种电视规格分辨率比较视 频的画面大小称为“分辨率”。数位视频以像素为度量单位，而类比视频以水平扫瞄线数量为度量单位。标清电视频号分辨率为 720/704/640x480i60（NTSC）或768/720x576i50（PAL/SECAM）。新的高清电视（HDTV）分辨率可达

5、 1920x1080p60，即每条水平扫瞄线有1920个像素，每个画面有1080条扫瞄线，以每秒钟60张画面的速度播放。画面更新率fpsFrame rate中文常译为“画面更新率”或“帧率”，是指视频格式每秒钟播放的静态画面数量。典型的画面更新率由早期的每秒6或8张（frame persecond，简称fps），至现今的每秒120张不等。PAL （欧洲，亚洲，澳洲等地的电视广播格式） 与 SECAM （法国，俄国，部分非洲等地的电视广播格式） 规定其更新率为25fps，而NTSC （美国，加拿大，日本等地的电视广播格式） 则规定其更新率为29.97 fps。电影胶卷则是以稍慢的24fps在拍摄

6、，这使得各国电视广播在播映电影时需要一些复杂的转换手续（参考Telecine转换）。要达成最基本的视 觉暂留效果大约需要10fps的速度。压缩方法有损压缩和无损压缩在视频压缩中有损（Lossy ）和无损（Lossless）的概念与静态图像中基本类似。无损压缩也即压缩前和解压缩后的数据完全一致。多数的无损压缩都采用RLE行程编码算法。有损 压缩意味着解压缩后的数据与压缩前的数据不一致。在压缩的过程中要丢失一些人眼和人耳所不敏感的图像或音频信息，而且丢失的信息不可恢复。几乎所有高压缩 的算法都采用有损压缩，这样才能达到低数据率的目标。丢失的数据率与压缩比有关，压缩比越小，丢失的数据越多，解压缩后的

7、效果一般越差。此外，某些有损压 缩算法采用多次重复压缩的方式，这样还会引起额外的数据丢失。 无损格式，例如WAV，PCM，TTA，FLAC，AU，APE，TAK，WavPack（WV） 有损格式，例如MP3，Windows Media Audio（WMA），Ogg Vorbis（OGG），AAC帧内压缩和帧间压缩帧内（Intraframe）压缩也称为空间压缩 （Spatial compression）。当压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息，这实际上与静态图像压缩类似。帧内一般采用有损压缩算法， 由于帧内压缩时各个帧之间没有相互关系，所以压缩后的视频数据仍可以以帧为单位

8、进行编辑。帧内压缩一般达不到很高的压缩。采用帧间（Interframe）压缩是基于许多视频或 动画的连续前后两帧具有很大的相关性，或者说前后两帧信息变化很小的特点。也即连续的视频其相邻帧之间具有冗余信息，根据这一特性，压缩相邻帧之间的冗余 量就可以进一步提高压缩量，减小压缩比。帧间压缩也称为时间压缩（Temporalcompression），它通过比较时间轴上不同帧之间的数据进行压 缩。帧间压缩一般是无损的。帧差值（Frame differencing）算法是一种典型的时间压缩法，它通过比较本帧与相邻帧之间的差异，仅记录本帧与其相邻帧的差值，这样可以大大减少数据量。对称编码和不对称编码对称性（

9、symmetric）是压缩编码的一个关键特 征。对称意味着压缩和解压缩占用相同的计算处理能力和时间，对称算法适合于实时压缩和传送视频，如视频会议应用就以采用对称的压缩编码算法为好。而在电子 出版和其它多媒体应用中，一般是把视频预先压缩处理好，尔后再播放，因此可以采用不对称（asymmetric）编码。不对称或非对称意味着压缩时需要花 费大量的处理能力和时间，而解压缩时则能较好地实时回放，也即以不同的速度进行压缩和解压缩。一般地说，压缩一段视频的时间比回放（解压缩）该视频的时间 要多得多。例如，压缩一段三分钟的视频片断可能需要10多分钟的时间，而该片断实时回放时间只有三分钟。除wiki外的资料来

10、源：编解码学习笔记（二）：codec类型资料（港台将information翻译为资料）压缩是透过去除资料中的冗余资讯而达成。就视讯资料而言，资料中的冗余资讯可以分成四类：时间上的冗余资讯（temporal redundancy）在视讯资料中，相邻的帧（frame）与帧之间通常有很强的关连性，这样的关连性即为时间上的冗余资讯。这即是上一次学习中的帧间压缩。空间上的冗余资讯（spatial redundancy）在同一张帧之中，相邻的像素之 间通常有很强的关连性，这样的关连性即为空间上的冗余资讯。这即是上一次学习中的帧内压缩。统计上的冗余资讯（statistical redundancy）统计上的

11、冗余资讯指的是欲编码的符号（symbol）的机率分布是不均匀（non-uniform）的。感知上的冗余资讯（perceptual redundancy）感知上的冗余资讯是指在人在观看视讯时，人眼无法察觉的资讯。视讯压缩（英文：Video compression）是指运用资料压缩技术将数位视讯资料中的冗余资讯去除，降低表示原始视讯所需的资料量，以便视讯资料的传输与储存。实际上，原始 视讯资料的资料量往往过大，例如未经压缩的电视品质视讯资料的位元率高达216Mbps，绝大多数的应用无法处理如此庞大的资料量，因此视讯压缩是必要 的。目前最新的视讯编码标准为ITU-T视讯编码专家组（VCEG）和ISO

12、IEC动态图像专家组（MPEG）联合组成的联合视讯组 （JVT，Joint Video Team）所提出的H.264/AVC。一个典型的视讯编码器：在进行当前信号编码时，编码器首先会产生对当前信号做预测的信号，称作预测信号 （predicted signal），预测的方式可以是时间上的预测（interprediction），亦即使用先前帧的信号做预测，或是空间上的预测 （intra prediction），亦即使用同一张帧之中相邻像素的信号做预测。得到预测信号后，编码器会将当前信号与预测信号相减得到残余信号（residual signal），并只对残余信号进行编码，如此一来，可以去除一部份时间

13、上或是空间上的冗余资讯。接着，编码器并不会直接对残余信号进行编码，而是先将残 余信号经过变换（通常为离散余弦变换）然后量化以 进一步去除空间上和感知上的冗余资讯。量化后得到的量化系数会再透过熵编码，去除统计上的冗余资讯。视讯编码标准发展年份标准制定组织解除版权保护（DRM-free ）主要应用1984H.120ITU-T是1990H.261视讯会议、视讯通话1993MPEG-1 第二部份ISOIEC影音光碟（VCD）1995H.262/MPEG-2 第二部份IEC、ITU-T否DVD影碟（DVD-Video）、蓝光（Blu-Ray）影碟、数位视讯广播（DVB）、SVCD1996H.2636视讯

14、会议、视讯通话、3G手机视讯（3GP1999MPEG-4 第二部份2003H.264/MPEG-4 AVC1蓝光（Blu-Ray）、iPod视讯、高画质DVD（HD DVD常见的编解码见下表，在以后会分类论述：视频codec/IECMJPEGMotion JPEG 2000MPEG-1MPEG-2（Part 2）MPEG-4（Part 2/ASPPart 10/AVCHVCH.120H.261H.262H.264H.265其它AMVAVSBinkCineFormCinepakDiracDVIndeoMicrosoft Video 1OMS VideoPixletRealVideoRTVideo

15、SheerVideoSmackerSorenson Video & Sorenson SparkTheoraVC-1VP3VP6VP7VP8WMV音频 codec/IECMPEGMPEG-1 Layer III （MP3）MPEG-1 Layer IIMPEG-1 Layer IAACHE-AACMPEG-4 ALSMPEG-4 SLSMPEG-4 DSTG.711G.718G.719G.722G.722.1G.722.2G.723G.723.1G.726G.728G.729G.729.1AC-3AMRAMR-WBAMR-WB+Apple LosslessATRACDRADTSFLACGSM-

16、HRGSM-FRGSM-EFRiLBCMonkeys AudioTTA（True Audio）MT9-lawMusepackNellymoserOptimFROGOSQRealAudioRTAudioSD2SHNSILKSirenSpeexTwinVQVorbisWavPackWMA图像压缩/ITU-TJPEGJPEG 2000JPEG XRlossless JPEGJBIGJBIG2PNGWBMPOthersAPNGBMPDjVuEXRGIFICERILBMMNGPCXPGFTGATIFF媒体容器通用3GPASFAVIBXFDMFDPXEVOFLVGXFM2TSMatroskaMPEG-PS

17、MPEG-TSMP4MXFOggQuickTimeRealMediaRIFFVOB只用于音频AIFFAUWAV上面的表格，查看某个具体的codec，可以在中文的wiki中查找，但是英文的wiki咨询更为丰富，见下表MultimediacompressionformatsVideo compressionHEVCIndeoAudio compressionMPEG-4 DSTMPEG-4 HVXCMPEG-4 CELPImage compressionJBIG2PCXQTVRMedia containersISO/IECMPEG-4 Part 12/JPEG 2000 Part 12MPEG-4

18、 Part 14H.222.03GP and 3G2DivX Media FormatFlash VideoREDCODE RAWMOD and TODVOBWebMAudio onlyAU编解码学习笔记（三）：Mpeg系列Mpeg 1和Mpeg 2MPEG是Moving Picture Experts Group的简称。这个名字本来的含义是指一个研究视频和音频编码标准的小组。现在我们所说的MPEG泛指又该小组制定的一系列视频编码标准。该小组于 1988年组成，至今已经制定了MPEG-1、MPEG-2、MPEG-3、MPEG-4、MPEG-7等多个标准，MPEG-21正在制定中。MPEG到目前

19、为止已经制定并正在制定以下和视频相关的标准： MPEG-1： 第一个官方的视訊音訊压缩标准，随后在Video CD中被采用，其中的音訊压缩的第三级（MPEG-1 Layer 3）简称MP3， 成为比较流行的音訊压缩格式。 MPEG-2： 广播质量的视訊、音訊和传输协议。被用于無線數位電視-ATSC、DVB以及ISDB、数字卫星电视（例如DirecTV）、 数字有线电视信号，以及DVD视频光盘技术中。 MPEG-3： 原本目标是为高解析度电视（HDTV）设计，随后發現MPEG-2已足夠HDTV應用，故 MPEG-3的研發便中止。 MPEG- 4：2003 年发布的视訊压缩标准，主要是扩展MPEG

20、-1、MPEG-2等標準以支援視訊音訊物件（video/audio objects）的編碼、3D內容、低位元率編碼（low bitrate encoding）和數位版權管理（Digital Rights Management），其中第10部分由ISO/IEC和ITU-T联合发布，称为H.264/MPEG-4 Part 10。参见H.264。 MPEG-7：MPEG-7并不是一个视訊压缩标准，它是一个多媒体内容的描述标准。 MPEG-21：MPEG-21是一个正在制定中的标准，它的目标是为未来多媒体的应用提供一个完整的平台。媒体codec在于MPEG-1，MPEG-2，MPEG-4，如上图所示。图中名称解释：在图中DVD地球人都知道，何为DVB？DVB：数字视频广播（DVB, Digital VideoBroadcasting），是由“DVB Project”维护的一系列为国际所承认的数字电视公开标准。DVB系统传输方式有如下几种：卫星电视（DVB-S 及 DVB-S2）有线电视（DVB-C）无线电视（DVB-T）手持地面无线（DVB-H）这些标准定义了传输系统的物理层与数据链路层。设备通过同步并行接口（synchronous parallel inte