【学习笔记】模拟设计（8）：多视角分布式视频传输与处理系统的研究
摘要：针对目前市面上显示系统在分布式视频编解码方向上的不足，提出了一种基于物联网的多视角分布式视频传输与处理系统，使用多视角RPRISM编解码来实现分布式系统架构。主要介绍了该系统的总体结构以及主要功能，重点研究了多视角分布式的编码方法以及MDVC处理子系统的实现。
0引言
多视角分布式视频传输与处理系统是一种在物联网环境下，高带宽网络的分布式多角度视频监控与拼接视频墙显示系统。一般地，物联网视频墙系统也称为物联网大屏，主要适用于诸如环境监测、军事、公共安全和公共空间视频监控等相关领域。物联网视频墙系统主要由视频传感器构成的输入节点、网络交换机、控制台、集成了解码节点的综合服务器和液晶屏拼接单元组成。各个设备只通过网络连接、传递和交互信息流。
目前，国际上视频墙系统主流产品是美国Jupiter公司的Canvas产品、CineMassive公司的专利产品CineView液晶视频墙以及三星公司的视频墙产品。国内主要有研华科技的AVS系列电视墙产品和无锡思朗电子科技有限公司的VLAN 视频墙拼接系统。Jupiter公司的Canvas是采用面向企业的新型多点可视化和协作解决方案。三星公司视频墙产品主要应用于金融监控方面的显示系统［1］，其优势在于液晶视频墙。比较而言，以上产品各具优势，但它们在分布式视频编解码方面的优势不足，尤其多视角呈现尚未见提及。
1系统总体构架
针对上述情况，本文提出一种基于物联网的多视角分布式视频传输与处理系统，如图1所示。视频传感器终端（摄像机）采集到的视频经过多视角分布式视频编码器进行压缩编码处理，再将编码比特流通过无线视频传感网络传输给综合服务器解码。视频拼接控制器能在视频墙上显示单点或多点视频内容［2］。各输入终端分布式视频处理节点也可显示其他终端的多点视频内容。控制台则可以对整个系统进行实时的监控与管理。视频墙既可以对各监控终端单点内容进行视频拼接缩放或者叠加，也可以对多个摄像机终端融合后的多视角内容进行呈现。系统还能够提供用户远程视频查看与管理功能。远程视频显示终端可以在任意可上网的地方依据不同权限调用查看某些输入终端的内容。
多视角分布式视频编码（Multiview Distributed Video Codiry,MDVC）算法在FPGA平台上实现，建立专用的分布式多视角视频编码工具集，根据编码模型划分不同的功能模块，并采用不同的系统控制策略、优化算法、总线结构以及片上存储方法等，以实现MDVC处理子系统的高速高效性能［3］。每个分布式视频处理节点都具备独立的编解码和通信能力，能显示不多于2×2个子屏。
控制台作为系统中的主控单位，统筹控制视频数据在网络中的传输，并对视频墙上显示的视频内容进行全权调配，包括实时视频或者录像视频，显示单点内容或者多点图1系统结构图
内容，视频缩放或者叠加等。视频墙能显示不多于8×8个子屏。
服务器主要负责对多路MDVC处理子系统传输过来的数据进行多视角分布式解码，并且通过视频拼接控制器使其在视频墙上显示，用户还可以使用笔记本、PDA、智能手机、智能电视等通过Internet远程登录来观看任何一个MDVC子系统的视频。
系统能够实现的主要功能有：（1）视频墙显示终端能够同时对多路视频信号进行平铺显示与跨屏显示；（2）能够对播放的视频图像进行拖动、叠加以及缩放等操作，同时能对视频图像的技术参数如对比度、亮度以及饱和度等进行设置；（3）系统能够对当前已经设置好的环境进行保存，同时能调用之前已保存的环境设置；（4）能够支持同时输入多路视频信号、HDMI信号、VGA信号以及DVI信号等，最高可支持1 080 P信号采集输入，全图像处理无损传输，控制方式支持WiFi。
2MDVC处理子系统的研究
2.1分布式视频编解码
图2分布式编码体系结构图随着电子技术、通信技术以及计算机技术的飞速发展，大数据量的视频流信号在网络上进行实时传输已经成为一个非常重要的研究课题。分布式视频编码(Distributed Video Coding，DVC)为其提供了一个良好的新型解决方案。DVC主要是在SlepianWolf与WynerZiv理论的基础上提出的，其编码体系结构图如图2所示。分布式编码体系结构主要由分布式编码与分布式解码两部分组成，其中分布式编码可以看作是由一个量化器和一个SlepianWolf 编码器(SWC)构成的，也可称为WynerZiv 编码器(WZC) ［4］。分布式解码器主要是经过编码的信号再通过SlepianWolf 解码器和最小失真的视频重构，也可称为WynerZiv 解码器，最后输出视频流信号。目前，针对分布式编码的研究重点主要还是集中在WynerZiv解码器中边信息的产生、估计、量化以及变换等。
本文采用的分布式编码主要是基于由美国加州大学伯克利分校的RAMCHANDRAN K等研究人员提出的经典模型，是一种基于Syndrome编码技术［5］。它主要有两个分支体系：Powerefficient Robust Highcompression Syndromebased Multimedia Coding(PRISM)和Distributed Source Coding Using Syndromes(DISCUSS)， 其中PRISM结构由于其内在的信源与信道是联合在一起进行编码，因此具备传统的预测编码所不具有的鲁棒性，同时还具有低编码复杂度，并行的编码机制特点。因此，本文分布式编码采用PRISM结构实现。
PRISM结构主要是利用trellis码机来进行Syndrome编码，采集到的原始视频通过DCT变换与量化器，再通过Syndrome编码器得到编码比特流，然后在网络中进行传输，终端接收到的比特流再通过Syndrome解码器、CRC校验，最后经过估计、重构以及反DCT变换等处理最终得到已解码的视频数据，其编码和解码框图如图3所示。
2.2MDVC
多视角视频传感器系统会产生大量的视频流信号，因此必须采用高压缩率的算法。然而传统的视频编码的方式仅仅只是针对每一个摄像头设备进行单独的高级视频编码（Advanced Video Coding, AVC），如图4所示。显然，这种配置没有考虑利用不同视角间的相关性，而且，AVC在编码器端的复杂度很大，负担很重。
DUFAUX F等人针对传统视频编码的不足提出了一种MDVC结构。该结构共有3个摄像头，其左右两边的摄像头采用传统的AVC算法，中间的摄像头则使用DVC算法［6］。其系统结构图如图5所示。
图4传统的视频编码方案图5多视角分布式视频编解码方案综上所述，本文提出的多视角分布式编解码系统如图6所示。WynerZiv是一种使用独立编码与联合解码的方法来对视频流信号进行编解码的编码方式，即在编码过程中对各个视频流信号分别进行独立的编码，这时只需要考虑边信息和编码帧之间的一些相关性；在解码过程中则使用相关的边信息即可进行WynerZiv解码，得到视频流信号。使用WynerZiv编码能够避免一些由于预测编码所形成的如错误扩散等问题［7］。
使用这种结构进行编解码可以使摄像头端的编码复杂度降低，并且摄像头之前不需要相互通信。每个摄像头采集到得视频流信号均使用PRISM结构的WynerZiv编码器进行编码，然后通过网络交换机发送到服务器终端来进行解码，WynerZiv解码器接收到数据之后通过运动搜索以及边信息估计来进行融合解码。
2.3MDVC处理子系统
MDVC处理子系统是在Altera的DSP Development Kit Stratix III Edition开发平台上，采用硬件描述语言编程实现该多角度分布式视频编解码的硬件电路，能够达到技术指标要求的高速目标。Altera的FPGA产品Stratix III拥有硬DSP功能，适用于视频图像处理领域、无线通信和数字显示领域。
3系统测试
本系统在基于WiFi的局域网环境下进行测试，智能终端设备选用智能电视，摄像头采集图像的频率设置为704×576。经测试，在分辨率以及其他测试环境保持不变的情况下，同时满足视频实时传输保持在20 fps,未经过MDVC的延时为2~3 s，经过MDVC的延时可以保持1 s左右，系统总体还需进一步改善以满足更高的实时性的要图7系统测试图
求。测试图如图7所示。
4结论
本文提出了一种基于物联网的多视角分布式传输与处理系统，采用MDVC用于提高边信息的准确度，并使用FPGA实现分布式节点编解码器。该系统能够显示各监控点单点内容和多个摄像头综合后的多视角内容，在实际应用中间有重大意义，可以应用到如环境监测、军事指挥、公共安全和公共空间视频监控等相关领域。
参考文献
［1］ 翟晓辉.基于FPGA的嵌入式视频采集及网络传输系统的应用研究［D］.哈尔滨：哈尔滨工程大学,2013.
［2］ 张彤,吕东欢,欧阳宁.基于SOPC的双目视频采集及显示系统设计［J］.电视技术,2013,37（19）:8286.
［3］ 张威.分布式编码的关键技术研究［D］.合肥：中国科学技术大学,2011.
［4］ 檀会娟,唐加山.WynerZiv视频编码中的码率控制算法研究［J］.微型机与应用,2015,34(10):3840,47.
［5］ 蔡述庭,王钦若,谢云,等.视频传感网中鲁棒多视角分布式视频编码［J］.计算机工程,2009,35（24）:219221.
［6］ 蔡述庭,王钦若,尹明.使用对极几何的多视角分布式视频编码［J］.计算机工程与应用,2010,46（17）:121124.
［7］ 刘晓文,刘欢,张雷，等.基于分布式视频编码的井下传感器节点设计［J］.电子技术应用,2014,40(6):2022,26.