视频会议问题排查分析方法

     在视频会议项目中，广域网部分都是由运营商来承建。一旦视频会议中出现因网络丢包造成的图像或者声音效果不理想，运营商方面除了ping包检查他们线路之外，基本没有其他解决办法。并且当此网络上其他的非实时业务还在比较正常运行的时候，大家很容易将问题归结到视频会议系统的设备上。事实上，这类问题的原因一般是出在网络这一层面。本文以一个典型来说明，出现因丢包而导致视频会议效果不理想时，对这种问题的排查分析方法。

　　背景

　　某烟草公司实施了视频会议项目。会议主场终端H3C MG6060和H3CMCU(ME8000)都位于市局，近40个区县的终端MG6050通过运营商的MSTP网络与市局相连。如图1所示。

图1 烟草公司视频会议系统结构图

　　在项目实施初期便发现有3个区县局点掉包严重，使得视讯会议MCU不断的发送异常报文，导致市局观看自己的图像有很严重的停顿，区县观看市局图像停顿现象也很严重。经察看入会终端的会议状态统计信息，发现网络丢包很严重。

　　项目实施结束后，原先掉包严重的3个局点中1个比较正常了，另外2个的问题现象稍有好转，能看到主流图像，但是图像停滞现象明显。在后续的系统联调中发现，近1/3局点的图像有不同程度的停顿和停滞。在市局和这些问题局点进行点对点测试，各个局点都有一些丢包，一般在1%-3%左右，严重的达到6%。

　　随着联调的进行，丢包局点数目还在不断增加，几乎达到3/4。这些丢包局点有一个相同特征：市局到区县下行不丢包，区县到市局上行丢包(音频和视频包都有被丢弃);。更加值得注意的是，各个局点的丢包程度不固定随时变化，没有规律可循，例如上午情况稍好点，下午就变差了。

　　在这种情况下，客户召开视频会议的效果很不理想，不仅图像冻结现象严重，声音也是断断续续的。

　　视频会议问题排查分析方法

　　1. 确认问题现象通过召开不同类型的会议，确认影响视频会议效果的因素是在视频会议设备侧还是网络侧。操作步骤如下：

　　a、 通过MCU召集纯转发会议，广播主会场，通过WEB登录到各区县局点终端上查看会议状态信息，发现无丢包，图像解码流畅，说明MCU到各区县的下行正常;

　　b、 在此会议中切换广播区县会场，在主会场终端观看图像效果，发现图像停顿，说明各区县到市局的上行存在丢包或者MCU转发丢包;

　　c、 结束MCU会议，市局与区县终端点对点呼叫，通过WEB登录双方终端来查看双方接收丢包情况，发现区县接收无丢包，而市局有明显丢包，这样排除MCU转发丢包的可能性，确认是由于网络丢包造成的(终端编码正常，因此终端发送不存在丢包)。

　　通过上述三步测试，确认传输网络存在丢包，且基本只有上行丢包，而下行正常。以下对丢包进行进一步分析：

　　Ø 分别统计1.5M、768K、256K带宽下的点对点呼叫下的丢包情况，发现随着带宽的降低，丢包无明显改善，只是丢包总数逐渐减少，这说明丢包不是由于线路传输带宽不足造成;

　　Ø 分别比较H.263和H.264、4CIF和CIF点对点呼叫下的丢包情况，发现基本相同，这说明丢包与视频协议格式无关;

　　Ø 配置终端MTU值(MTU可在800～1500之间调整)，再次呼叫进行对比，发现MTU较小时丢包情况无改善，这说明丢包与MTU值无关。

　　Ø 通过两端报文(分别在市局和区县交换机上抓取区县终端发送的报文，这样区县侧抓到的报文是完整的，而在市局侧抓到的存在丢包，是否丢包可通过RTP报文的sequence

　　number是否连续来判断)，发现丢包并不存在规律，丢包的报文大小与时机无规律。

　　通过上述分析得出以下结论：报文的丢弃无规律，与视频会议终端的系统配置无关，丢包由线路传输造成。

　　2. 排查内网及运营商接口网络确认问题原因是在网络侧之后，下一步工作就从企业内网开始，往外逐步排查问题。

　　判断内网是否存在丢包的方法是：分别在区县交换机出口、市局接入路由器入口、市局终端接入交换机入口抓取由区县发往市局的报文。如图2所示，具体方法是先不呼叫，在各抓包节点先启动抓包工具，然后两点建立呼叫，持续约1分钟后挂断呼叫，再通知各抓包节点停止抓包，这样可以保证各节点在不丢包情况下抓取的报文总数相同。通过分析，相同的呼叫中，区县出口无丢包;市局入口和终端接入交换机入口的丢包数相同。由此判断客户内网无丢包。

　图2 排查局域网丢包情况时的拓扑结构图

　　另外，烟草内网与运营商网络之间通过光电转换器连接，通过查看接入路由器/交换机端口信息，未发现半双工问题，确认光电转换器工作正常。

　　3. 排查运营商网络接入层此中，运营商的网络接入情况如图3所示，于是分别以接入节点1、节点2-1、节点2-2作为抓包节点，通过抓包确认，发现这几个接入层机房均不存在丢包。测试方法与排查客户内网方法相同，分别在三个节点处及市局入口抓取从渝中发往市局的报文，发现节点2-1和节点2-2的报文均无丢包，接入节点1入口和市局入口丢包报文情况相同，由此判断丢包点应该在承载网上。

图3 运营商网络层次结构图

　　4. 排查运营商承载网承载网的网拓扑如图4所示：

 

　图4 运营商承载网网络拓扑图

　　首先排查交换机和路由器，但由于抓包网上数据量太大，此前的抓包定位方法不方便使用，因此接入一台测试终端。先以接在交换机上测试为例，首先测试终端与区县点对点呼叫，结果是双向无丢包;再使用测试终端与市局点对点呼叫，结果存在单向丢包，这样就说明问题不在交换机上。按照此方法再次测试路由器，结果发现测试终端与区县互通时，区县终端接收正常(下行正常),而测试终端接收存在持续丢包(上行有丢包)。通过在路由器上做进出端口流量统计(通过ACL对源地址和目的地址进行匹配)时发现该路由器存在转发丢包，经过查看路由器的配置发现，其网络拥塞情况下的丢包策略使得其在网络流量过大时，将MG6060的报文被丢弃。终通过修改路由器上的拥塞避免配置后双向通信恢复正常。

　　5. 问题解决通过对一个局点的排查分析，找到问题根源并解决。其余局点的问题也进行同样的处理。至此，该烟草公司视频会议系统正常运行，图像冻结、马赛克现象全部消失，会议效果得到了大幅度提升。

　　总结

　　据统计，视讯会议系统出现的问题或者故障，60%是由网络/防火墙造成。只要理清思路，从系统配置开始，再逐步排查局域网、广域网，终一定能够准确得定位问题并找到解决问题的办法。