ADSP系列处理器在网络多媒体中的应用

摘要：介绍ADI Blackfin系列ADSP处理器，双MAC处理器架构使其同时具有DSP的性能和MCU的功能，能够运行嵌入式操作系统；同时介绍在各种网络多媒体应用领域，如IP机顶盒，网络视频监控，可视VoIP电话等方面的设计，说明如何利用ADSP处理器BF533和BF561的架构优势，同时运行操作系统和进行数字信号处理，支持多种多媒体格式，灵活高效地实现软硬件设计。
    关键词：双MAC处理器架构，嵌入式Linux，多种多媒体格式, ADSP-BF561 双DSP架构，一核运行操作系统，一核进行数字信号处理
    Blackfin是ADI公司推出的一类新型的嵌入式处理器，专为满足目前音频、视频、通信应用等方面的计算需求和降低功耗而设计。而ADSP-BF533和ADSP-BF561是Blackfin系列中具有代表性的DSP处理器。本文将就BF533/BF561在网络多媒体中的应用作一定的介绍。
一．    Blackfin系列DSP的典型应用：

    汽车图像系统
    宽带无线系统 
    多媒体消费电子产品 
    数字视频录像机
    多声道VoIP 
    安防和监控 
    机顶盒 
    视频会议 
二．Blackfin系列DSP的应用趋势
    DSP在多媒体应用中的需求正在转变。目前，逐渐显露出对以下产品的市场需求：无线、多媒体产品应用、无线局域网、家庭网关和其他消费类产品；以及对于汽车和工业应用中要求高速信号处理的产品的需求也在不断增长。多媒体的应用，正逐渐走向网络化、多样化。目前的DSP需要满足快速增长的支持多种多媒体格式的产品的市场需求：
    视频: WMV ver.9, H.264, MPEG-4, MPEG-2, MJPEG
    音频: WMA Pro ver.9, MP3, MP3 PRO, AAC, Dolby Digital, DTS
    语音: G.711, G.728, G.729AB, G.723.1A, AMR
    无线通信: WLAN 802.11b, GSM/GPRS, EDGE & 3G
    传统的可编程体系结构已经无法满足目前有特殊要求的信号处理的需求。固化的ASIC芯片也无法满足目前多制式的产品应用所面临的成本、适应性以及快速推向市场的要求。而采用RISC/DSP相结合的架构现在已经拥有足够的处理能力，能够满足更广的音视频产品市场的需求。
三．    Blackfin系列DSP主要特性

    Blackfin系列dsp内核可达756MHz/1,512MMACs，可以支持多声道音频和VGA/D1视频的多媒体应用处理。加强了动态电源管理，采用0.8V的内核供电，以充分延长在手持设备应用中电池的使用时间。其中ADSP-BF533具有600MHz时钟频率和1.2GMACS（每秒十亿次乘法累加运算）运算速度；低价位的ADSP-BF531则具有300MHz/600MMACS（每秒百万次乘法运算）的性能。这两款Blackfin处理器兼具业界一流的数字信号处理（DSP）性能和微处理器(MCU)功能性并且支持嵌入式操作系统以满足当今嵌入式音频、视频和通信应用对高速运算和低功耗的要求。ADSP-BF533在达到600MHz性能水平时的功耗仅为280mW。为了充分发挥Blackfin体系结构的动态电源管理能力，该处理器集成了一个片内开关稳压器，它利用2.25 V ~ 3.6 V外接电源电压可产生0.7 V～1.2 V可设置的内核工作电压，从而降低了总体成本，并节省了外部电源元器件。
    这些新型Blackfin处理器还支持嵌入式操作系统，例如嵌入式Linux、ThreadX 和Nucleus操作系统。另外，Blackfin处理器内的视频优化功能能够实现完全可编程的D1/VGA实时视频和多通道音频处理而没有专门硬件或异构双内核解决方案的复杂性或不灵活性。使用这种可编程的Blackfin处理器，能使用户开发的产品快速投放市场，并且很容易支持新兴的多媒体格式，例如，MPEG-4，H.264和Windows Media。
四．    Blackfin系列DSP的内部结构

    BF533有较高的集成度，集成了较为丰富的外围接口，如图4-1所示：

图4-1 BF533外围模块图

•强劲的外围接口可支持ITU-R 656视频数据格式
•2个双通道全双工同步串行端口可支持8个立体I2S通道
•12 DMA通道支持一和二维的数据传输
•存储控制器可紧密连接多种外部存储器，如FLASH、SDRAM、SRAM和ROM
•3个可以支持PWM核脉冲宽度/时间计算模式的计时器
•可支持IrDA的UART
•SPI兼容端口
•实时钟
•看门狗计时器
•调试/JTAG接口
•支持1x到63x频率倍数的PLL
Blackfin处理器DSP内核结构，如图4-2所示：

    Blackfin DSP内核包括2个40位的算术逻辑单元（ALU）、2个乘法器/累加器（MAC）、4个视频ALU以及1个移位器。各个计算单元执行不同类型的操作：ALU执行算术和逻辑操作；乘法器执行乘法、乘法/加和乘法/减操作；移位器执行逻辑移位、算术移位、位的压缩和解压缩操作；视频ALU执行单指令处理多数据（SIMD）的逻辑运算，这种操作是基于8位数据的。

    计算单元通过数据寄存器组来输入/输出数据。数据寄存器组包含8个32位寄存器。每个32位的寄存器可以看成是2个独立的16位寄存器。例如寄存器R0可以看成由2个16位的寄存器R0.H和R0.L组成。另外寄存器组中还有2个40位的累加器Acc0和Acc1，他们是ALU操作的专用寄存器，主要用于乘法和加法操作。 

    程序控制器控制指令执行的流向，它包括指令的对齐和解码。程序控制器支持条件转移、条件子程序调用和零开销循环。循环缓冲器存储将要执行的指令。
    在目前的嵌入式多媒体应用中有一些采用了多处理技术的解决方案，一般的结构如图4-1所示，双内核引擎通过双口RAM无缝连接，形成了一个硬件/软件综合的平台，可以运行操作系统和使用标准API的应用：

    同样的多处理技术，也可以用在Blackfin系列DSP上。在这样的架构中DSP主要负责媒体处理、信号处理；而RISC则主要完成控制、包处理等等。

    但实际上Blackfin系列的处理器并不仅仅是一个单纯的DSP，它是一高性能的双MAC处理器，额外拥有其他类似微处理器所常见的一些特性，可以与普通RISC的MCU相媲美。如图4-2所示为OMAP架构的处理器和Blackfin系列处理器的对比：

    OMAP系列的处理器内部为ARM和DSP的双核结构，ARM内核负责运行嵌入式操作系统、应用软件等；C5X负责视频、图像处理。而Blackfin系列的处理器，可以同时运行嵌入式操作系统、上层应用和进行一般的信号处理。
    而Blackfin系列DSP处理器中BF561更是采用了对称多处理的架构，在一颗BF561芯片内部集成了2个BF533 DSP内核，如图4-3所示：

    BF561主频高达600M，并且支持并行处理，保证了其强大的数字信号处理能力，并且支持低电压低电流供电。能够满足多功能的数字消费类产品对于性能、功耗方面的要求。

    BF561灵活的多处理架构能够支持多种工作模式，如图4-6所示：

    种模式（DSP + RISC），BF561内部的2个核可以分为，一个可以用来进行信号处理；而另外一个则可以用来运行操作系统，进行以太网传输，以及其他控制相关的任务。

    第二种模式（PURE DSP），在信号处理过程中，可以将1个任务交给2个不同的核去处理，奇数帧由Core A完成，偶数帧由Core B完成；或者2个不同的任务也可以由Core A和Core B分别完成。处理器的性能得到了成倍的提高。

    基于Blackfin系列DSP的应用实例

    （1）IP机顶盒

    基于Blackfin+MCU/uClinux架构的嵌入式IP机顶盒的解决方案：

    其中，32位RISC MCU负责运行嵌入式linux，进行无线局域网/以太网传输、硬盘存储、音频编解码、文件管理以及控制等方面的处理。MCU从网络接收到的媒体流，可以作为存储到硬盘或者通过SPI接口（速率可达12Mbps）传给BF533，BF533专门负责H.264@D1格式的视频编解码。功能模块如图5-2所示：

    （2）可视VoIP电话

    随着多媒体技术和通信技术的快速发展，目前单一的语音通信方式已经不能够完全满足人们的通讯要求，人们迫切需要改善通讯方式。可视IP电话可以利用网络双向实时传输通话双方的图像和语音，达到面对面交流的效果。随着目前宽带接入的普及，为可视电话的推广和发展提供了一个很好的基础。

    下面给出了一个基于BF533和ARM9(400MHz) MCU的可视VoIP电话解决方案： 

硬件方面：
    SAMSUNG S3C2440 (400MHz)
    ADI BF533(600MHz)
    TFT LCD(3.5” 以上)
    FLASH
    SDRAＭ
    CCD摄像头
    视频 A/D
    音频A/D
    音频D/A
    以太网MAC+PHY芯片
软件方面：
    ARM9(400MHz)支持：
    操作系统（Linux）
    视频解码（H.264、MPEG4）
    音频解码（G.711、G.723.1、G.729、MP3）
    以太网通讯（TCP/IP协议栈等）
    H.323协议栈
    图形用户界面（GUI）
ADI BF533支持：
    视频采集编码（H.264、MPEG4）
    音频采集编码（G.711、G.723.1、G.729）
    回音消除
通过上面使用ARM9+BF533以及相关的软件支持，我们可以实现以下功能：

    在局域网和广域网内进行音视频的电话对讲
    多媒体娱乐功能：可以播放MPEG4视频和MP3、WMA音乐
    支持email服务
    支持SMS、MMS短信
    支持软件盘、手写输入
    可外接键盘和鼠标
可视电话的基本结构和技术：
1．    可视电话的基本结构包括：
    视频输入/输出模块，视频编解码器
    音频输入/输出模块，音频编解码器
    延时单元
    数据处理、存储单元
    系统控制单元
    网络界面单元
2．    可视电话的技术：
语音和视频压缩技术视可视电话的技术。可视电话作为通信终端产品，必须保证足够好的语音和视频质量，同时占用的带宽要尽量小。语音和视频压缩技术的发展目标就是：在保证压缩后的语音和图像质量的同时，尽量提高压缩率。 
    2.1语音编码技术

    语音通信视可视电话基本的功能。受网络条件的限制，可视电话不可能占用太大的带宽。为了适应低码率语音通信的要求，ITU-T推出了G.72X系列语音压缩标准。其中G.723.1、G.728、G.729和G.729A，在IP电话中得到了广泛应用。不同的语音压缩标准所采用的技术提供不同的码率、时延和语音质量。
    2.2视频编码技术

    原始的视频数据需要占用非常高的带宽,如果需要通过网络传输必须在保证在一定的图像质量的前提下通过压缩技术尽量降低视频资料的码率,以适应不同的网络条件.因此视频压缩算法的效率决定了可视电话的图像质量和应用前景。

    目前在网络监控、视频点播的应用中，MPEG4格式的视频压缩算法较为流行，其码率一般在数百Kbps到1Mbps左右。ITU-T推出的低码率视频压缩标准对推动可视电话的发展和实用化起到了重要的促进作用。H.261是ITU-T推出的个低码率视频压缩标准，码率为p×64kbit/s，其中p=1～30，图像格式为CIF（352*288）和QCIF（162*144）。目前H.264的算法能够将同样的视频压缩到更低的码率，但其计算复杂度也大大增加。相信随着DSP芯片处理能力的进一步提高，H.264网络视频传输方面的应用将越来越流行。 
     
    2.3通信协议

    为保证可视电话在网络上可靠的通信,不同的终端必須运行统一的通信控制协议來保证相互协同工作。

    ITU-T推出的H.320/323标准，面向不同的网络,不同的网络介面，不同的信令过程，以及为适应不同的网络而优化设计的包结构。复用协定规定了视频资料、语音资料等的打包标准，而控制协定的作用是在终端之间些商通信方式，如视频编码标准的协商，语音编码标准的协商，通道带宽的协商等。基于以太网的可视电话通常采用H.323控制协定。
    
3．    基于ARM9+BF533的解决方案
    目前ARM9系列的处理器在手持终端上的应用如PDA、Smart Phone、PMP产品上已经有了非常广泛的应用，在可视电话上也有非常明显的优势。
    3.1语音和视频编码

    语音和视频编码需要非常强的数学运算能力，通常采用ASIC芯片或通用DSP来实现。ADI BF533具有非常强的运算能力，完够满足视频压缩的要求，并且具有非常强的灵活性，通过软件可以灵活满足产品升级的要求和针对网络带宽调整压缩率。
BF533接受从CCD Sensor采集的视频码流，从Microphone采集的语音码流分别进行压缩，压缩后通过SPI接口传送给ARM9芯片。 
    3.2语音和视频解码

    ARM9在400MHz的主频下完够直接进行音视频的解码播放，而无需再传送给DSP做解码播放，大大降低了DSP的负担和系统的复杂程度。 
     
    3.3网络传输、通信协议

    ARM9通过嵌入式Linux能够很好的支持TCP/IP协议，可以通过local bus扩展以太网。

    基于Linux也可以实现H.323协议，并且占用很少的CPU处理能力。 
         
    3.4用户界面

    ARM9内置LCD控制器，可以支持较高分辨率的TFT LCD，用来显示本地和解压后的图像。并且基于Linux，华恒科技已经在ARM9的平台上普遍的实现了Microwindows、Minigui等嵌入式GUI的支持，可以实现较为完备的图形用户控制界面。

    另外，ARM9内置了1到2个USB接口，可以接U盘进行数据交换，或者扩展USB键盘以及通过USB接口与主机相连，配置可视电话的工作模式。并且可以支持RTC、Watchdog，以及通过GPIO扩展按键等。

    从上面应用中不难看出，ADSP系列处理器在嵌入式网络多媒体中的应用有着显著的优点： 性价比高，体积小，功耗低，外围接口电路设计简单。