在遥操作机器人系统中视频融合的关键作用

　  伴随着21世纪个钟声敲响我们跨入了21世纪。科学技术就如听到了起跑令枪一样狂奔发展迅速，社会也在进步也非常明显。在科技发展、社会进步的带动下，在无穷的好奇心鼓动下，人类对未知领域的探索不断深入，能够代替人类进行危险、恶劣环境作业的遥操作机器人技术越来越成为研究的热点。19世纪40年代，美国阿尔贡国立实验室ANL（Argonne National Laboratory）制造的用于核环境的Model-M1型机械式主从操作手可作为遥操作机器人的发端。20世纪60年代早期，美国与法国的海军开始在潜水艇上安装遥操作手和摄像机进行深水作业，将遥操作技术应用于海洋；70年代以后，研制出登陆火星的遥操作机器人；80年代末90年代初，以加拿大SPAR公司建造的20 m长的遥操作臂RMS（Remote Manipulator System）为代表出现了几种非常着名的空间遥操作系统。21世纪以来信息网络化的发展，促使研究者将网络和遥操作机器人技术相结合，为遥操作机器人技术带来了巨大变革。人们获取信息的70%来自视觉系统，使当代数字图像信息作为重要的信息之一被越来越广泛地使用，也就是说在所有多媒体数据中，图像提供的信息量多，将机器人恶劣环境的作业情况以图像的形式实时反馈给控制室，控制者通过图像获得更多的现场信息，这种遥操作机器人中的视频监控技术获得广泛的应用和研究。采用进一步提高反馈视频预测的H.263压缩算法，目的就是以尽量少的bit数来表征图像，同时保持复原图像的质量，使图像在网络上传输延时在允许范围内，避免操作者因延时产生的误操作。虽然选择适当的压缩算法，能够满足图像传输要求，可以减轻图像存储和传输的负担，但是在工业生产中需要机器人的作业（如焊接机器人焊接时焊缝必须精准无误）。因此，控制命令如何在网络介质里实现快速传输、准确抵达、实时处理，检测机器人的作业度使机器人能对误操作及时做出调整的技术问题成为遥操作机器人领域新的挑战。日本在机器人领域上一直被认为是发展得不错的，经常能听到日本发明了能煎蛋，跳舞、跟随你从一个房间到另一个房间等的机器人。然而在2011年3月11日14时46分日本发生里氏9.0级地震引发福岛核电站发生泄漏事故后，东京电力公司展开抢救工作，从注水、排水到堵漏水，其技术之“老套”令人惊叹。人们难免会奇怪，日本以研究机器人出名，为何在这紧急时刻却无法让机器人出场？甚至于在关头，还要用纸尿片素材以及报纸来堵住辐射污水？就有很多人认为日本机器人研发"不对路" 。我就觉得首先要把实用的机器人研发了出来，再去研发那些生活上。毕竟生活大多数时候还是可以自己来的。

　　1 系统总体结构

　　本文提出采用建立标准坐标系使仿真机器人和反馈视频在同一界面融合的方法来解决前文出现的问题，仿真模型预演作业任务而反馈视频则跟踪其轨迹进行作业，通过两者对比及时发现机器人作业情况，一旦越界违规立刻停止。操作者也能根据两者的比较了解现场环境，如出现障碍物或机器人伤人事件时，立刻做出下一步命令以避免危险发生。系统总体结构如图1所示。具体工作流程：摄像头采集真实机器人的视频数据传送到服务器端图像采集卡的静态内存中对其进行H.263压缩，视频数据压缩后经网络传输送到客户机端。客户机对数据进行解压、还原、显示、在仿真模型界面显示视频使两者融合，同时客户机实现操作界面程序编写。操作界面包括视频融合模块、视频处理模块和控制模块。视频融合模块对视频进行相应的坐标变换后使其同仿真机器人在一个界面上重合显示。视频处理模块包括视频放大、视频缩小、视频保存、打开视频、视频截图、存位图、存JPEG图、打开位图、打开JPEG图等功能。仿真三维立体模型采用3DSMAX建立，在OPENGL编程环境下对其进行相应的绘制及控制。反馈视频数据经压缩、传输、解压、相应的坐标变换及比例缩放后在客户端显示。服务器完成视频采集、压缩、存储、传输。客户机完成仿真模型控制、解压、显示视频，以及对视频进行相应的放大、缩小、截图、保存。由于网络传输存在延时，而且这种延时除了传输指定距离所需的固定延时及指令执行延时外，还有一些随机扰动延时，如果这种延时不能够及时发现，操作者根据视频反馈会做出错误判断。根据这种情况在客户端绘制接收数据字节曲线，可形象直观地观察到网络状况对视频传输的影响，如图2所示。

　　控制模块如图3所示，包括每个关节的启动、停止按钮、速度输出及速度变量输出显示。

　　2 仿真模型建立及视频融合实现

　　2.1 通信建立与视频传输

　　网络通信可以分为同步方式和异步方式。同步方式是发送方不等接收方响应，便接着发下一个数据包的通信方式；异步方式则是发送方发出数据后，等收到接收方发回的响应，才发下一个数据包的通信方式。本系统开发的是客户端/服务器（C/S）结构的软件，该软件是异步非阻塞模式。此模式的优点是既可以同步执行，也可以重叠执行。图像在网络中传输时，不可避免地要牵涉到传输协议的问题。TCP/IP是一组协议，其中底层的协议TCP和UDP对于图像的传输起着至关重要的作用。TCP是面向连接的，即在端与端的通信中，TCP协议建立一条端与端之间的虚电路。UDP是一种面向无连接的，它取消了重传校验机制，能够达到很高的通信效率，很适合于可靠性要求不高的数据传输。由于本机器人系统对视频的丢帧情况要求不高，故采用客户/服务器模式的UDP协议方式。视频传输采用UDP传输，建立Socket类直接传输图像数据，客户端调用自写show函数在OPENGL编程环境下绘制反馈视频，实现视频再现。系统中，使用MFC来开发通信程序及操作界面。这是因为MFC主要是基于窗口和文档的应用软件编程，它集成了大量的数据和方法，将许多烦琐的任务，如应用程序初始化、文档处理和磁盘I/O封装起来，为使用者的编程带来了巨大的方便。

　　2.2 仿真机器人模型绘制

　　我们利用3DSMAX建立MOTOMAN机器人三维仿真机器人模型后，采用Deep Explortation转换软件转换成VC代码，在VC的工程设置中加入OPENGL的链接库，建立工程并调用转化的仿真机器人代码。在创建、装入、相乘模型变换和投影变换矩阵时都用到堆栈操作，一般来说，矩阵堆栈常用于构造具有继承性的模型，即由一些简单目标构成的复杂模型。MOTOMAN机器人仿真模型中，复杂的机械手臂是由多个简单的长方体依据继承关系构成的，而这种继承关系由矩阵堆栈顺序决定。机械手臂、关节、底座均按照实际机器人的比例进行相应缩放。规定好了底座的坐标系后，其他关节、手臂则根据自身的立体尺寸就能计算出坐标位置进行绘制。本机器人模型由3层支撑底座、4个旋转关节、1个横梁、1个竖柱、手爪及其他一些零部件构成，仿真机器人模型如图4（a）所示。它的继承性表现在当末端执行器手爪运动时（如垂直上升），首先是关节3向上启动，然后关节2向手爪方向转动，接着是关节1微转，整个机器人垂直平移，如此进行下去，整个机器人协调配合保持末端执行器（手爪）垂直上升。三维模型在OPENGL中的显示流程是：世界坐标系中的三维物体经三维几何变换后投影并进行三维裁剪及视口变换，在屏幕坐标系中显示图形。

　　2.3 视频融合及控制实现

　　在仿真机器人底座视点坐标系进行确定后，视频机器人就会根据仿真机器人的大小进行缩放绘制，使底座同仿真机器人底座在一个坐标位置。视频中机器人的其他部分同底座一样进行相应的映射，因此，初始时刻视频和仿真模型的关节、视角位置是基本重合的。视频融合界面通过VC控件SLIDER调节视频透明度，操作者根据实际情况选择清晰度，也可以将反馈视频设置成完全透明（此时只能看到模型而看不到视频）。本仿真机器人在OpenGL三维编程中实现3DSMAX数据模型的程序控制。3DSMAX是一种简便快捷的建模软件，比同类软件进一步完善了建模功能，更侧重于复杂模型的建模，可以很容易地用C＋＋和OpenGL结合实现图形学算法，再把本算法作为插件嵌入3DSMAX环境中，而不用考虑物体模型的生成和处理的复杂代码，利用3DSMAX的渲染计时器可以方便地检验所编算法的效率和效果。我们在仿真机器人制作时应遵循一个原则：在能够保证视觉效果的前提下，尽量采用比较简单的模型，而且若能够用参数化方法构建的对象尽量用参数化方法构建。同时，在模型创作过程中，对模型进行分割、独立建模，以利于进行操作和考察。仿真机器人视频融合前后对比如图4所示。我们的控制程序可以实现仿真模型控制。我们的控制过程简单来说就是：按下相应操作按钮，2个线程同时运行，1个线程将控制指令传送到仿真模型使虚拟机器人运动，另1个线程将控制命令通过网络传输送到服务器控制真实MOTOMAN机器人完成一致作业。在仿真模型和视频融合界面中，模型走过的轨迹在程序中用红线标定（为方便观察者，红色轨迹线采用10个像素的粗实线绘制），反馈视频随后跟踪此轨迹运行，操作者观察视频中机器人的运行情况并判断运行是否达标及决策下一步。这样就能地按照操控者的意图一步步去做，从而完成任务。

    3 结论

　　本文针对针对遥操作机器人系统（robot system）中视频传输数据量大，造成的时延严重影响操作者决策，使机器人现场作业透明度不高引起误操作的问题，提出采用3DSMAX建立三维机器人仿真模型，在OPENGL编程环境下对其进行绘制及仿真控制，采用H.263标准及相应压缩算法把获取视频压缩、传输、解压、远端显示与仿真模型融合。该视频融合方法应用于遥操作机器人系统中，能够使控制者准确判断机器人作业精准度，同时将传统的遥操作机器人视频监控及仿真预测相结合，提出将视频融合应用于遥操作机器人技术中。实验证明，该方法不仅能实现控制命令准确传输、机器人实时控制，而且视频机器人跟踪仿真模型轨迹作业避免了误操作。这种方法对于精准度要求高的机器人系统非常实用，将来可以将该视频融合方法拓展在抢险救灾、灾情调查、工程运行、水利监测、城市调查中，除了能对现场完成监测录像、图像传输等功能外，还可以比较预测与实际的差异。希望以后不会出现如日本书到用时方恨少，机器人用时方知还没研究。

　　机器人系统简介

　　由机器人和周边设备与工具组成的自动化作业系统。典型的机器人系统包括以下几个部分：

　　1、机器人本体和操作机，可以直接完成各种具体作业；

　　2、机器人控制器，用来控制机器人和完成数据存储，包括计算机系统和伺服系统两部分；

　　3、各种不同的作业工具，如焊枪和手爪等；

　　4、各种周边辅助设备；

　　5、为完成特殊任务而使用的传感器；

　　6、用于完成计算机管理、监控和计算机通信的通信系统。常见的机器人系统有弧焊机器人系统、喷涂机器人系统和切割机器人系统等。

参考文献
[1] 高永生.基于Internet多机器人遥操作系统安全机制的研究[D].哈尔滨:哈尔滨工业大学，2008:15-19.
[2] 黄继伟.遥操作机器人系统及其夹持器抓取算法研究[D].南京:东南大学，2008:12-15.
[3] 王学谦，梁斌，李成，等.自由飞行空间机器人遥操作三维预测仿真系统研究[J].宇航学报，2009(1):2-3.
[4] 蒋再男，刘宏，谢宗武，等.3D图形预测仿真及虚拟夹具的大时延遥操作技术[J].西安交通大学学报，2008(1)：2-3.
[5] 郑云辉，郑伟，席宁，等.基于无线网络的足球机器人遥操作系统[J].计算机应用，2008(1)：2-3.
[6] 谭明金.Visual C++图形编程技巧与实例[M].北京:人民邮电出版社，2002.
[7] 张海燕，王东木，宋克欧，等.图像压缩技术[J].系统仿真学报，2002，14(7):831-835.
[8] 沈洁，杜宇人，殷玲玲，等.基于DCT变换的图像压缩技术研究[J].信息技术，2006(10).
[9] 郭海静，葛万成.基于DCT与SPIHT的数字图像压缩技术研究[J].信息技术，2005(12)：2.
[10] ABEYTA A M， FRANKLIN J. The accuracy of vegetation stand boundaries derived from image segmentaion in a desert environment[J]. Photogrammetric Engineering and Remote Sensing， 1998，64(1):60-64.
[11] AFEK Y， BRAND A. Mosaicking of orthorectified aerial images[J]. Photogrammetric Engineering and Remote Sensing， 1998，64(2):116-120.
[12] 王爱民，许志峰.基于3DSMAX和OpenGL的遥操作机器人图形建模[J].工业仪表与自动化装置学报，2007(4)：2-3.