DirectShow.docx

DirectShow.docx

《DirectShow.docx》由会员分享，可在线阅读，更多相关《DirectShow.docx（30页珍藏版）》请在冰点文库上搜索。

DirectShow

本篇文档主要描述关于用Directshow进行视频开发的一些技术

主要包括下面内容:

∙1关于视频捕捉（AboutVideoCaptureinDshow）

∙2选择一个视频捕捉设备（Selectcapturedevice）

∙3预览视频（PreviewingVideo）

∙4如何捕捉视频流并保存到文件（CapturevideotoFile）

∙5将设备从系统中移走时的事件通知（DeviceremoveNotify）

∙6如何控制CaptureGraph（ControllingCaptureGraph）

∙7如何配置一个视频捕捉设备

∙8从静止图像pin中捕捉图片

1关于视频捕捉（AboutVideoCaptureinDshow）

1视频捕捉Graph的构建

一个能够捕捉音频或者视频的graph图都称之为捕捉graph图。

捕捉graph图比一般的文件回放graph图要复杂许多，dshow提供了一个CaptureGraphBuilderCOM组件使得捕捉graph图的生成更加简单。

CaptureGraphBuilder提供了一个ICaptureGraphBuilder2接口，这个接口提供了一些方法用来构建和控制捕捉graph。

首先创建一个CaptureGraphBuilder对象和一个graphmanger对象，然后用filtergraphmanager作参数，调用ICaptureGraphBuilder2:

:

SetFiltergraph来初始化CaptureGraphBuilder。

看下面的代码把

HRESULTInitCaptureGraphBuilder（

IGraphBuilder**ppGraph,//Receivesthepointer.

ICaptureGraphBuilder2**ppBuild//Receivesthepointer.

）

{

if（!

ppGraph||!

ppBuild）

{

returnE_POINTER;

}

IGraphBuilder*pGraph=NULL;

ICaptureGraphBuilder2*pBuild=NULL;

//CreatetheCaptureGraphBuilder.

HRESULThr=CoCreateInstance（CLSID_CaptureGraphBuilder2,NULL,

CLSCTX_INPROC_SERVER,IID_ICaptureGraphBuilder2,（void**）&pGraph）;

if（SUCCEEDED（hr））

{

//CreatetheFilterGraphManager.

hr=CoCreateInstance（CLSID_FilterGraph,0,CLSCTX_INPROC_SERVER,

IID_IGraphBuilder,（void**）&pGraph）;

if（SUCCEEDED（hr））

{

//InitializetheCaptureGraphBuilder.

pBuild->SetFiltergraph（pGraph）;

//Returnbothinterfacepointerstothecaller.

*ppBuild=pBuild;

*ppGraph=pGraph;//Thecallermustreleasebothinterfaces.

returnS_OK;

}

else

{

pBuild->Release（）;

}

}

returnhr;//Failed

}

2视频捕捉的设备

现在许多新的视频捕捉设备都采用的是WDM驱动方法，在WDM机制中，微软提供了一个独立于硬件设备的驱动，称为类驱动程序。

驱动程序的供应商提供的驱动程序称为minidrivers。

Minidrivers提供了直接和硬件打交道的函数，在这些函数中调用了类驱动。

在directshow的filter图表中，任何一个WDM捕捉设备都是做为一个WDMVideoCapture

过滤器（Filter）出现。

WDMVideoCapture过滤器根据驱动程序的特征构建自己的filter

下面是陆其明的一篇有关于dshow和硬件的文章，可以拿来参考一下

//陆文章开始

大家知道，为了提高系统的稳定性，Windows操作系统对硬件操作进行了隔离；应用程序一般不能直接访问硬件。

DirectShowFilter工作在用户模式（Usermode，操作系统特权级别为Ring3），而硬件工作在内核模式（Kernelmode，操作系统特权级别为Ring0），那么它们之间怎么协同工作呢？

DirectShow解决的方法是，为这些硬件设计包装Filter；这种Filter能够工作在用户模式下，外观、控制方法跟普通Filter一样，而包装Filter内部完成与硬件驱动程序的交互。

这样的设计，使得编写DirectShow应用程序的开发人员，从为支持硬件而需做出的特殊处理中解脱出来。

DirectShow已经集成的包装Filter，包括AudioCaptureFilter（qcap.dll）、VfWCaptureFilter（qcap.dll，Filter的ClassId为CLSID_VfwCapture）、TVTunerFilter（KSTVTune.ax，Filter的ClassId为CLSID_CTVTunerFilter）、AnalogVideoCrossbarFilter（ksxbar.ax）、TVAudioFilter（Filter的ClassId为CLSID_TVAudioFilter）等；另外，DirectShow为采用WDM驱动程序的硬件设计了KsProxyFilter（Ksproxy.ax,）。

我们来看一下结构图：

图1

从上图中，我们可以看出，Ksproxy.ax、Kstune.ax、Ksxbar.ax这些包装Filter跟其它普通的DirectShowFilter处于同一个级别，可以协同工作；用户模式下的Filter通过StreamClass控制硬件的驱动程序minidriver（由硬件厂商提供的实现对硬件控制功能的DLL）；StreamClass和minidriver一起向上层提供系统底层级别的服务。

值得注意的是，这里的StreamClass是一种驱动模型，它负责调用硬件的minidriver；另外，StreamClass的功能还在于协调minidriver之间的工作，使得一些数据可以直接在Kernelmode下从一个硬件传输到另一个硬件（或同一个硬件上的不同功能模块），提高了系统的工作效率。

（更多的关于底层驱动程序的细节，请读者参阅WindowsDDK。

）

下面，我们分别来看一下几种常见的硬件。

VfW视频采集卡。

这类硬件在市场上已经处于一种淘汰的趋势；新生产的视频采集卡一般采用WDM驱动模型。

但是，DirectShow为了保持向后兼容，还是专门提供了一个包装Filter支持这种硬件。

和其他硬件的包装Filter一样，这种包装Filter的创建不是像普通Filter一样使用CoCreateInstance，而要通过系统枚举，然后BindToObject。

音频采集卡（声卡）。

声卡的采集功能也是通过包装Filter来实现的；而且现在的声卡大部分都有混音的功能。

这个Filter一般有几个Inputpin，每个pin都代表一个输入，如LineIn、Microphone、CD、MIDI等。

值得注意的是，这些pin代表的是声卡上的物理输入端子，在FilterGraph中是永远不会连接到其他Filter上的。

声卡的输出功能，可以有两个Filter供选择：

DirectSoundRendererFilter和AudioRenderer（WaveOut）Filter。

注意，这两个Filter不是上述意义上的包装Filter，它们能够同硬件交互，是因为它们使用了API函数：

前者使用了DirectSoundAPI，后者使用了waveOutAPI。

这两个Filter的区别，还在于后者输出音频的同时不支持混音。

（顺便说明一下，VideoRendererFilter能够访问显卡，也是因为使用了GDI、DirectDraw或Direct3DAPI。

）如果你的机器上有声卡的话，你可以通过GraphEdit，在AudioCaptureSources目录下看到这个声卡的包装Filter。

WDM驱动的硬件（包括视频捕捉卡、硬件解压卡等）。

这类硬件都使用Ksproxy.ax这个包装Filter。

Ksproxy.ax实现了很多功能，所以有“瑞士军刀”的美誉；它还被称作为“变色龙Filter”，因为该Filter上定义了统一的接口，而接口的实现因具体的硬件驱动程序而异。

在FilterGraph中，KsproxyFilter显示的名字为硬件的Friendlyname（一般在驱动程序的.inf文件中定义）。

我们可以通过GraphEdit，在WDMStreaming开头的目录中找到本机系统中安装的WDM硬件。

因为KsProxy.ax能够代表各种WDM的音视频设备，所以这个包装Filter的工作流程有点复杂。

这个Filter不会预先知道要代表哪种类型的设备，它必须首先访问驱动程序的属性集，然后动态配置Filter上应该实现的接口。

当KsproxyFilter上的接口方法被应用程序或其他Filter调用时，它会将调用方法以及参数传递给驱动程序，由驱动程序最终完成指定功能。

除此以外，WDM硬件还支持内核流（KernelStreaming），即内核模式下的数据传输，而无需经过到用户模式的转换。

因为内核模式与用户模式之间的相互转换，需要花费很大的计算量。

如果使用内核流，不仅可以避免大量的计算，还避免了内核数据与主机内存之间的拷贝过程。

在这种情况下，用户模式的FilterGraph中，即使pin之间是连接的，也不会有实际的数据流动。

典型的情况，如带有VideoPortPin的视频捕捉卡，Preview时显示的图像就是在内核模式下直接传送到显卡的显存的。

所以，你也休想在VPPin后面截获数据流。

讲到这里，我想大家应该对DirectShow对硬件的支持问题有了一个总体的认识。

对于应用程序开发人员来说，这方面的内容不用研究得太透，而只需作为背景知识了解一下就好了。

其实，大量繁琐的工作DirectShow已经帮我们做好了。

//陆其明文章结束

Direcshow中视频捕捉的Filter

Pin的种类

捕捉Filter一般都有两个或多个输出pin，他们输出的媒体类型都一样，比如预览pin和捕捉pin，因此根据媒体类型就不能很好的区别这些pin。

此时就要根据pin的功能来区别每个pin了，每个pin都有一个GUID，称为pin的种类。

如果想仔细的了解pin的种类，请看后面的相关内容WorkingwithPinCategories。

对于大多数的应用来说，ICaptureGraphBuilder2提供了一些函数可以自动确定pin的种类。

预览pin和捕捉pin

视频捕捉Filter都提供了预览和捕捉的输出pin，预览pin用来将视频流在屏幕上显示，捕捉pin用来将视频流写入文件。

预览pin和输出pin有下面的区别：

1为了保证捕捉pin对视频桢流量，预览pin必要的时候可以停止。

2经过捕捉pin的视频桢都有时间戳，但是预览pin的视频流没有时间戳。

预览pin的视频流之所以没有时间戳的原因在于filter图表管理器在视频流里加一个很小的latency，如果捕捉时间被认为就是render时间的话，视频renderFilter就认为视频流有一个小小的延迟，如果此时renderfilter试图连续播放的时候，就会丢桢。

去掉时间戳就保证了视频桢来了就可以播放，不用等待，也不丢桢。

预览pin的种类GUID为PIN_CATEGORY_PREVIEW

捕捉pin的种类GUID为PIN_CATEGORY_CAPTURE

VideoPortpin

VideoPort是一个介于视频设备（TV）和视频卡之间的硬件设备。

同过VideoPort，视频数据可以直接发送到图像卡上，通过硬件的覆盖，视频可以直接在屏幕显示出来。

VideoPort就是连接两个设备的。

使用VideoPort的最大好处是，不用CPU的任何工作，视频流直接写入内存中。

当然它也有下面的缺点drawbacks：

略

如果捕捉设备使用了VideoPort，捕捉Filter就用一个videoportpin代替预览pin。

videoportpin的种类GUID为PIN_CATEGORY_VIDEOPORT

一个捕捉filter至少有一个Capturepin，另外，它可能有一个预览pin和一个videoportpin

，或者两者都没有，也许filter有很多的capturepin，和预览pin，每一个pin都代表一种媒体类型，因此一个filter可以有一个视频capturepin，视频预览pin，音频捕捉pin，音频预览pin。

UpstreamWDMFilters

在捕捉Filter之上，WDM设备可能需要额外的filters，下面就是这些filter

TVTunerFilter

TVAudioFilter.

AnalogVideoCrossbarFilter

尽管这些都是一些独立的filter，但是他们可能代表的是同一个硬件设备，每个filter都控制设备的不同函数，这些filter通过pin连接起来，但是在pin中没有数据流动。

因此，这些pin的连接和媒体类型无关。

他们使用一个GUID值来定义一个给定设备的minidriver，例如：

TVtunerFilter和videocapturefilter都支持同一种medium。

在实际应用中，如果你使用ICaptureGraphBuilder2来创建你的capturegraphs，这些filters就会自动被添加到你的graph中。

更多的详细资料，可以参考WDMClassDriverFilters

2选择一个视频捕捉设备（Selectcapturedevice）

如何选择一个视频捕捉设备，可以采用系统设备枚举，详细资料参见UsingtheSystemDeviceEnumerator。

enumerator可以根据filter的种类返回一个设备的monikers。

Moniker是一个com对象，可以参见IMoniker的SDK。

对于捕捉设备，下面两种类是相关的。

CLSID_AudioInputDeviceCategory音频设备

CLSID_VideoInputDeviceCategory视频设备

下面的代码演示了如何枚举一个视频捕捉设备

ICreateDevEnum*pDevEnum=NULL;

IEnumMoniker*pEnum=NULL;

//CreatetheSystemDeviceEnumerator.

HRESULThr=CoCreateInstance（CLSID_SystemDeviceEnum,NULL,

CLSCTX_INPROC_SERVER,IID_ICreateDevEnum,

reinterpret_cast（&pDevEnum））;

if（SUCCEEDED（hr））

{

//创ä¡ä建¡§一°?

个?

枚?

举¨´器¡Â，ê?

枚?

举¨´视º¨®频¦Ì设¦¨¨备À?

hr=pDevEnum->CreateClassEnumerator（CLSID_VideoInputDeviceCategory,

&pEnum,0）;

}

IEnumMoniker接口pEnum返回一个IMoniker接口的列表，代表一系列的moniker，你可以显示所有的设备，然后让用户选择一个。

采用IMoniker:

:

BindToStorage方法，返回一个IPropertyBag接口指针。

然后调用IPropertyBag:

:

Read读取moniker的属性。

下面看看都包含什么属性

1FriendlyName是设备的名字

2Description属性仅仅适用于DV和D-VHS/MPEG摄象机，如果这个属性可用，这个属性更详细的描述了设备的资料

3DevicePath这个属性是不可读的，但是每个设备都有一个独一无二的。

你可以用这个属性来区别同一个设备的不同实例

下面的代码演示了如何显示遍历设备的名称，接上面的代码

HWNDhList;//Handletothelistbox.

IMoniker*pMoniker=NULL;

while（pEnum->Next（1,&pMoniker,NULL）==S_OK）

{

IPropertyBag*pPropBag;

hr=pMoniker->BindToStorage（0,0,IID_IPropertyBag,

（void**）（&pPropBag））;

if（FAILED（hr））

{

pMoniker->Release（）;

continue;//Skipthisone,maybethenextonewillwork.

}

//Findthedescriptionorfriendlyname.

VARIANTvarName;

VariantInit（&varName）;

hr=pPropBag->Read（L"Description",&varName,0）;

if（FAILED（hr））

{

hr=pPropBag->Read（L"FriendlyName",&varName,0）;

}

if（SUCCEEDED（hr））

{

//Addittotheapplication'slistbox.

USES_CONVERSION;

（long）SendMessage（hList,LB_ADDSTRING,0,

（LPARAM）OLE2T（varName.bstrVal））;

VariantClear（&varName）;

}

pPropBag->Release（）;

pMoniker->Release（）;

}

如果用户选中了一个设备调用IMoniker:

:

BindToObject为设备生成filter，然后将filter加入到graph中。

IBaseFilter*pCap=NULL;

hr=pMoniker->BindToObject（0,0,IID_IBaseFilter,（void**）&pCap）;

if（SUCCEEDED（hr））

{

hr=m_pGraph->AddFilter（pCap,L"CaptureFilter"）;

}

3预览视频（PreviewingVideo）

为了创建可以预览视频的graph，可以调用下面的代码

ICaptureGraphBuilder2*pBuild;//CaptureGraphBuilder

//InitializepBuild（notshown）.

IBaseFilter*pCap;//Videocapturefilter.

/*InitializepCapandaddittothefiltergraph（notshown）.*/

hr=pBuild->RenderStream（&PIN_CATEGORY_PREVIEW,&MEDIATYPE_Video,pCap,NULL,NULL）;

4如何捕捉视频流并保存到文件（CapturevideotoFile）

1将视频流保存到AVI文件

下面的图表显示了graph图

图2

AVIMuxfilter接收从capturepin过来的视频流，然后将其打包成AVI流。

音频流也可以连接到AVIMuxFilter上，这样muxfilter就将视频流和视频流合成AVI流。

Filewriter将AVI流写入到文件中。

可以像下面这样构建graph图

IBaseFilter*pMux;

hr=pBuild->SetOutputFileName（

&MEDIASUBTYPE_Avi,//SpecifiesAVIforthetargetfile.

L"C:

\\Example.avi",//Filename.

&pMux,//Receivesapointertothemux.

NULL）;//（Optional）Receivesapointertothefilesink.

第一个参数表明文件的类型，这里表明是AVI，第二个参数是制定文件的名称。

对于AVI文件，SetOutputFileName函数会创建一个AVImuxFilter和一个FilewriterFilter，并且将两个filter添加到graph图中，在这个函数中，通过FileWriterFilter请求IFileSinkFilter接口，然后调用IFileSinkFilter:

:

SetFileName方法，设置文件的名称。

然后将两个filter连接起来。

第三个参数返回一个指向AVIMux的指针，同时，它也通过第四个参数返回一个IFileSinkFilter参数，如果你不需要这个参数，你可以将这个参数设置成NULL。

然后，你应该调用下面的函数将capturefilter和AVIMux连接起来。

hr=pBuild->RenderStream（

&PIN_CATEGORY_CAPTURE,//Pincategory.

&MEDIATYPE_Video,//Mediatype.

pCap,//Capturefilter.

NULL,//Intermediatefilter（optional）.

pMux）;//Muxorfilesinkfilter.

//Releasethemuxfilter.

pMux->Release（）;

第5个参数就是使用的上面函数返回的pMux指针。

当捕捉音频的时候，媒体类型要设置为MEDIATYPE_Audio，如果你从两个不同的设备捕捉视频和音频，你最好将音频设置成主流，这样可以防止两个数据流间drift，因为avimuxfilter为同步音频，会调整视频的播放速度的。

为了设置master流，调用IConfigAviMux:

:

SetMasterStream方法，可以采用如下的代码：

IConfigAviMux*pConfigMux=NULL;

hr=p