H．264流媒体播放器设计和实现

　　摘要：基于目前的视频压缩编解码标准H.264，采用Directshow应用框架，设计了网络流媒体播放器系统；Directshow是微软提供的基于windows平台的的流媒体应用架构，H.264标准具有高压缩比和优良的网络亲和性，基于Directshow和H.264设计的网络流媒体播放器不仅具有优良的系统架构，同时具有更好的灵活性和可扩展性，可以很方便地应用于视频点播系统（Video On Demand System）中和移植到嵌入式WINCE平台。基于Direotshow分析和设计了网络源Filter和H.264解码Filter，同时阐述了网络流媒体播放器系统的整体框架。

　　0 引言

　　Directshow应用框架完成了流媒体处理的底层工作，使得编程者无需关心数据如何输入，以及处理完后如何输出，而只需关心如何对输入数据进行处理。H.264视频编解码标准具有高压缩比和优良的网络亲和性，被普遍认为是有影响力的流媒体视频压缩标准。将Direct-show和H.264两种相结合的流媒体播放器无疑将具有非常的性能。

　　1 Directshow技术和H.264视频压缩标准简介

　　Directshow是微软公司提供的一套流媒体开发软件包，为在windows平台上处理各种格式的媒体文件的回放、音视频采集的高性能要求的多媒体应用，提供了完整的解决方案。

　　DirectShow是微软公司在ActiveMovie和Video for Windows的基础上推出的新一代基于COM（Component Object Model）的流媒体处理的开发包，与DirectX开发包一起发布。DirectShow使用一种叫Filter Graph的模型来管理整个数据流的处理过程，运用DirectShow，我们可以很方便地从支持WDM驱动模型的采集卡上捕获数据，它广泛地支持各种媒体格式，包括Asf、Mpeg、Avi、Dv、Mp3、Wave等，为多媒体流的捕捉和回放提供了强有力的支持。

　　DirectShow使用一种叫Filter Graph的模型来管理整个数据流的处理过程；参与数据处理的各个功能模块叫做Filter；各个Filter在Filter Graph中按一定的顺序连接成一条“流水线”协同工作。大家可以看到，按照功能来分，Filter大致分为三类：Source Filters、Transform Filters和Rendering Filters。Source Filters主要负责取得数据，数据源可以是文件、因特网、或者计算机里的采集卡、数字摄像机等，然后将数据往下传输；Transform Fitlers主要负责数据的格式转换、传输；Rendering Filtes主要负责数据的终去向，我们可以将数据送给声卡、显卡进行多媒体的演示，也可以输出到文件进行存储。值得注意的是，三个部分并不是都只有一个Filter去完成功能。恰恰相反，每个部分往往是有几个Fitler协同工作的。比如，Transform Filters可能包含了一个Mpeg的解码Filter、以及视频色彩空间的转换Filter、音频采样频率转换Filter等等。除了系统提供的大量Filter外，我们可以定制自己的Filter，以完成我们需要的功能。

　　Directshow是一套完全基于COM的应用系统，该系统位于应用层中，它使用Filter Graph的模型来管理整个数据流的处理过程；参与数据处理的各个功能模块叫Filter；各个Filter在Filter Graph中按照一定的顺序连接成一条“流水线”协同工作。Filter是一个COM组件，其功能可以由用户自行实现，DirectShow SDK也为用户提供了一些标准的Filter供用户使用。各个Filter在Filter Graph中按一定顺序通过Pin互相连接起来，Pin也是一个COM对象。

　　H.264，同时也是MPEG-4第十部分，是由ITU-T视频编码组（VCEG）和ISO/IEC动态图像组（MPEG）联合组成的联合视频组（JVT，Joint Video Team）提出的高度压缩数字视频编解码器标准。

　　H.264是由ITU-T和ISO／IEC的联合开发组共同开发的国际视频编码标准。H.264／AVC视频编码标准在编码质量和压缩比上比原有的视频编码标准都有了明显的提高。在相同的视觉感知质量上，编码效率比H.263，MPEG-2和MPEG-4提高了50％左右。H.264不仅具有优异的压缩性能，而且具有良好的网络亲和性。因此，H.264被普遍认为是有影响力的流媒体视频压缩标准。

　　H.264是一种高性能的视频编解码技术。目前国际上制定视频编解码技术的组织有两个，一个是“国际电联（ITU-T）”，它制定的标准有H.261、H.263、H.263+等，另一个是“国际标准化组织（ISO）”它制定的标准有MPEG-1、MPEG-2、MPEG-4等。而H.264则是由两个组织联合组建的联合视频组（JVT）共同制定的新数字视频编码标准，所以它既是ITU-T的H.264，又是ISO/IEC的MPEG-4视频编码（Advanced Video Coding，AVC），而且它将成为MPEG-4标准的第10部分。因此，不论是MPEG-4 AVC、MPEG-4 Part 10，还是ISO/IEC 14496-10，都是指H.264。

　　H.264的优势是具有很高的数据压缩比率，在同等图像质量的条件下，H.264的压缩比是MPEG-2的2倍以上，是MPEG-4的1.5～2倍。举个例子，原始文件的大小如果为88GB，采用MPEG-2压缩标准压缩后变成3.5GB，压缩比为25∶1，而采用H.264压缩标准压缩后变为879MB，从88GB到879MB，H.264的压缩比达到惊人的102∶1！H.264为什么有那么高的压缩比？低码率（Low Bit Rate）起了重要的作用，和MPEG-2和MPEG-4 ASP等压缩技术相比，H.264压缩技术将大大节省用户的时间和数据流量收费。尤其值得一提的是，H.264在具有高压缩比的同时还拥有高质量流畅的图像，正因为如此，经过H.264压缩的视频数据，在网络传输过程中所需要的带宽更少，也更加经济。

　　2 系统设计框架

　　本系统基于Direotshow应用框架和H.264视频压缩标准，实现了从网络接收流媒体数据，并在客户端实时播放的功能。流媒体文件是采用H.264编码的AVI文件，由于directshow提供了AVI Splitter Filter、Audio Decoder和标准的Video／Audio Renderer，因此，本系统只需设计自定义的网络源Filter、H.264解码Filter。

　　多媒体流式传输实际上牵涉到两个方面的技术。其一就是服务器与客户端的通信技术，包括多媒体数据的传输、命令控制等；其二就是客户端对接收到的多媒体流实时解码后播放的技术。显然，网络通信可以使用windows socket技术，多媒体流的解码播放可以使用direct-show技术。本文采用direetshow应用框架，设计了网络源filter和h.264解码filter，并通过Filter Graph构建了流媒体播放器。

     播放本地基于H．264编码的AVI文件的Filter Graph如图1。只需将本地File Source Filter替换为网络源Filter，将CoreAVC Video De-coder替换为h．264解码Filter，即可实现网络H．264视频播放器。

　　3 系统的设计与实现

　　3.1 Filter设计流程

    Filter 技术是servlet 2.3 新增加的功能。servlet2.3是sun公司于2000年10月发布的，它的开发者包括许多个人和公司团体，充分体现了sun公司所倡导的代码开放性原则。在众多参与者的共同努力下，servlet2.3比以往功能都强大了许多，而且性能也有了大幅提高。

　　首先，要对Filter所要完成的功能和它在Filter Graph中的位置进行分析，以确定filter模型，选择一个合适的基类；然后，再定义输入输出PIN以及自定义接口，注册Filter信息；实现基类的全部纯虚函数和自定义接口函数，并重写基类的相关函数以定制filter功能。

　　3.2 网络源Filter的设计

　　源Filter主要功能是接收服务器发来的流媒体数据，并提供给Filter Graph中其它Filter使用。

　　本源Filter采用双缓冲循环队列技术来实现数据的接收和向下Filter传递数据。采用该技术有如下理由：

　　（1）在Source Filter与SpliRer连接的过程中，会从Source Filter中读取一部分数据，以获得数据的格式描述，否则Filter Graph无法完成连接。源Filter与Splitter Filter进行连接前，应启动一个等待线程，当Source Filter的数据缓存预先接收到足够的数据后，再构建完整的Filter Graph。

　　（2）当完整的Filter Graph构建完成，并且处于运行状态后，Source Filter必须动态地接收数据，并持续地把新数据提供给Splitter Filter，双缓冲循环队列既充分利用内存空间，又能为Splitter Filter提供稳定的数据源。

　　（3）缓冲队列可以稳定码率，有效减小网络延时、阻塞和抖动的影响。

　　源Filter的工作过程如下：建立一个循环缓冲队列，队列尾指针用于缓冲从网络接收的数据，队列头指针供Splitter读取数据，进行音视频分离，并传给下Decoder处理；当Socket接收到网络数据后，将数据插入队列尾部，并使尾指针后移；当Splitter需要读取数据时，从队列头读取数据，并使头指针后移。

　　流媒体传输采用客户端／服务器的架构，服务器与客户端之间还有一个Socket通信协议问题，由于流媒体是连续的，它的同步点不能随意选择，因此，为了传送流媒体数据，必须使用面向连接的可靠的传输协议（TCP）。客户端与服务器端的控制与反馈消息，则可以使用（UDP）来传输。当客户端发出命令，服务器再根据命令的类型执行相应的操作，如数据发送、停止、断开连接等。

　　在服务器端首先将连续的H.264流分成一块一块小包的负载数据，并且加上一个信息头一起使用TCP协议发送；Socket数据传送结构为：负载类型（8 bit）、负载数据长度（16 bit）和负载数据包（2324Byte）。

　　客户端的实现可以参考SDK中的MEMFile Filter，直接从SDK例子将asyncrdr.cpp、asyncrdr.h、asyncio.cpp、asyneio.h四个文件拷贝过来，然后在MemFilter.h文件中从CAsyncStream派生流处理类CMemStream，定制数据源并进行数据的读取操作；从CAsyncReader派生滤波器类CMemReader，实现含1个输出PIN的Source Filter框架，完成与Splitter Filter的连接。

　　网络源滤波器类间数据流程如图2，下Filter“拉”线程数据流程如图3。其中：CAsyneStream用以标示数据流；CAsyneRequest标示输入与输出请求；CAsyncIo实现数据输入和输出的控制。编程主要实现CMemStream：Read（）函数以实现从特定的数据源读取数据到下Filter的Sample中。

　　3.3 H.264解码Filter的设计

    其中重要的就是filter功能.它使用户可以改变一个request和修改一个response. Filter 不是一个servlet,它不能产生一个response,它能够在一个request到达servlet之前预处理request,也可以在response离开servlet时处理response.换种说法,filter其实是一个“servlet chaining“(servlet 链).

　　该滤波器工作于Splitter和Renderer filter之间，包含一个输入和一个输出，且输入和输出pin上的媒体类型不一致，故选择CTrans-form Filter作为基类，派生子类CX264Decode。

　　子类CX264Decode必须要实现的纯虚函数有：CheckInputType（）实现输入Pin上的媒体类型检查；CheckTransform（）检查是否支持从该输入pin到输出pin的变换操作；DecideBufferSize（）决定Samlple内存的大小；GetMediaType（）：提供输出Pin上的媒体类型；Transform（）：实现解码变换。

　　子类CX264Decode可选的重写虚函数有：初始化和反初始化流：StartStreaming（）和StopStreaming（）；响应质量通告消息：AlterQuali-ty（）；获取媒体类型被实际设置的时间：SetMediaType（）；连接时获取额外的接口：CheckConnect（）、BreakConnect（）和CompleteConneet（）；定制变换过程：Receive（）；标准化设置输出Sample：InitializeOutputSample（）。

　　本Filter设计主要流程如下：

　　（1）Filter注册信息

　　定义类工厂模板，填写Filter的注册信息；同时实现DLL文件所必须实现的注册和反注册函数：DLLRegisterServer和DLLUnregisterSe-rver。

　　（2）框架函数的实现

　　实现函数CreateInstanee，用于创建Filter对象实例；实现函数CheeklnputType，用于对输入Pin上的媒体类型检查；实现函数Transfo-rm，用于H.264的解码操作；实现函数NonDelegafingQueryIntefface，用于暴露Filter支持的自定义接口，使应用程序可以设置解码器的参数；实现函数CompleteConnect，可以在输入Pin成功连接后取得媒体类型描述，并将输入数据的格式设置给应用逻辑控制对象；实现函数St-artStreaming和StopStreaming，可以分别调用应用控制逻辑对象的相应函数，进行流处理的初始化和反初始化操作。

　　（3）逻辑控制类的实现

　　利用ffmpeg库进行H.264解码时，需要自定义两个关键函数：open_net_file（）和read_buffer_frame（）。其中，open_net_file（）函数完成与流媒体服务器的连接，接收指定流媒体文件的流相关信息，并返回类型为AVFormatContext结构体的值。read_buffer_frame（）函数从bu-ffer缓冲中读取一帧数据，并交由库函数avcodec_decode_video（）解码。

　　（4）自定义接口的实现

　　将Filter类从自定义接口类派生，并声明自定义接口的所有接口方法；然后在Filter类的实现文件中实现这些接口法，其实大都是调用应用逻辑控制类的相应函数；在函数NonDelegatingQueryInterface中暴露我们的自定义接口。

　　3.4 播放器的设计

　　播放器采用Directshow应用框架，采取界面、控制逻辑和数据分离的三层程序设计方法。界面类直接从标准的对话框类CDialog派生，在界面类中定义两个自定义类：数据封装类和逻辑控制类。界面类表达一种用户操作逻辑；采取Directshow应用框架，不必关心数据如何输入和输出，这些问题都由Filter框架负责，只需更多的关注数据处理的算法实现、效率优化等问题。采取界面、控制逻辑和数据分离的设计结构，不仅使程序框架清晰、容易被人理解，而且具有良好的移植性和扩展性。

　　播放器基于Filter Graph Manager构建包含网络源Filter和H.264解码Filter的Filter Graph，即可实现网络流媒体的播放。界面类实现视频显示界面与用户的操作交互，控制逻辑可以控制视频的播放、暂停、停止、解码参数设置等，数据类实现对数据的操作管理。

　　4 结束语

　　本流媒体播放器系统采用了Directshow应用框架和H.264视频编解码标准，能很好的实现网络流媒体视频的播放，具有结构清晰、良好的可扩展性与可移植性。由于WINCE系统是微软提供的嵌入式实时操作系统，提供了对Directshow的应用支持，故本系统也可以很好的移植到win-ce的嵌入式应用平台，实现嵌入式端的流媒体视频播放。同时，本流媒体播放系统也可很好地移植到视频点播系统中，因其采用高压缩比、低码率的H.264视频编解码标准。能有效减少网络负载、减小带宽，从而减轻网络对流媒体传输中所存在的丢包、抖动、延时等影响。