【金猿技术展】视频矫正技术——基于参数估计的自由几何变换算法
拍乐云技术
大数据产业创新服务媒体
——聚焦数据 · 改变商业
“基于参数估计的自由几何变换算法”的视频矫正技术，是基于实时音视频之上的技术优化，通过拍乐云独有的图像处理算法，对视频画面进行矫正的技术。举个例子，美术线上课堂中，学生远程在画纸上绘画，摄像头对着画纸。通常难以保证摄像头可以正对画纸中心进行拍摄，一旦偏离画纸中心，拍摄出的视频中，画纸会变形，本技术可以使老师将学生的视频进行失真矫正，也可以在视频上标注，实时指出绘画重点。一般拍摄出来的效果是梯形的，就需要去调整成为长方形。
用手机等设备拍摄图像时，如果摄像头无法正对被拍摄像对象（如画板），会产生一系列的几何失真，这是由于摄像头在拍摄时，真实世界是三维空间，展示在手机上时，已经变成了二维平面。物体与摄像头的真实空间关系，可以由被拍摄对象在空间内的几何位置关系，估算得到被拍摄对象的几何失真参数，然后重新计算拟进行矫正区域与真失被拍摄对象的映射关系。将得到的映射关系利用低复杂度高效的处理算法，对原始视频进行处理，得到矫正后的视频。
其中，关键的技术点包括：
1.独创的几何失真参数估计；
a.将拍摄的物体，例如画板，在拍摄空间进行数学建模，建立空间坐标系；
b.根据物体在空间内的位置关系，估算摄像头的采集参数，特别是平移、旋转、缩放和投影参数。
2.独创的映射关系计算，将摄像头的采集参数与假设的鸟瞰摄像采集参数进行映射，得到真实的视频渲染参数矩阵
3.高效快速的视频处理算法，在实时视频通信中，视频数据量巨大，该技术需要对视频中每个像素进行映射变换，运算量随像素点数的增加，急剧增加，为此，我们设计了高度并行的处理算法，使得每个像素点都可独立进行运算，从面可以利用GPU进行加速处理，即使超高清视频都可以在毫秒级别进行处理。
●带队负责人：章琦 首席科学家
浙大数学系硕士毕业，8年WebEx音视频引擎架构师工作经验，OpenH264作者，历任虹软、WebEx、网易等公司视频专家，精通视频算法，也精通音视频工程，主导了多家公司的音视频引擎架构设计，深入理解人工智能技术以及其在实时通信领域的应用。
●隶属机构：拍乐云Pano
拍乐云Pano，专业的实时通信云服务，由一群专注于音视频的技术极客倾力打造，获得红杉资本中国基金投资。拍乐云成立于2019年8月，目前团队60多人，核心团队来自思科WebEx，与视频会议领导者Zoom的团队基因完全相同，致力于帮助用户实现高清、稳定、易用、低时延的实时通信能力，客户通过集成Pano SDK即可轻松地在应用里实现实时音视频、互动白板、互动直播等能力。拍乐云拥有完全自主研发的音视频引擎，在音视频编解码、网络传输、弱网对抗、回声消除、高并发的流媒体分发等方面达到了国际顶尖水平。
●某在线教育公司
拍乐云的音视频团队非常专业，且产品功能也非常强大，为我们公司业务提供了非常好的底层保障。我们美术陪练的新项目，还用了拍乐云视频矫正功能。我们和拍乐云技术经常一起共创，提出的各种需求都得到了专业的支持和贴心的服务，帮助我们的业务创造更多的可能性和更好的用户体验。
●某一对一视频社交APP
拍乐云在音视频上的积累非常深厚，团队的技术人员都非常靠谱和资深，在项目对接中，为我们提供各种专业的技术咨询和产品服务。另外，拍乐云的音视频质量也是数一数二的，高清稳定低时延，是这个赛道PaaS云服务里最好的选择。
●某出海语音聊天室APP
对接速度很快，接口设计得比较好；音频的音质很好，能满足我们的需求，伴音混响美声各种功能很强大；另外，技术支持和商务支持的服务响应速度都很快，为拍乐云点个赞。