基于 FPGA 多光融合智能成像系统
一、概述
目前传统的工业视觉产品由于其成像光谱单一的缺点，导致在观察场景及目标的过程中仅仅能够获得单一光谱下有限的信息，对场景中的多维目标信息无法实现广泛覆盖。例如，传统安防过程中受限于可见光成像特性，对暗光环境表现较差；传统运维过程中受限于红外光成像特性，对异常发热目标形貌无法快速分辨；传统高压电弧检测过程中受限于紫外光成像特性，对发出电弧的高压电力设备的位置无法快速定位。目前行业内要实现对多种场景的不同光谱特征同时检测必须携带多种光谱设备，不仅操作繁琐，也不便于携带，更提高了使用成本，带来了诸多不便。因此，能够在一次成像过程中融入多种光谱特征并加以分辨的创新型设备的问世已经成为成像视觉领域的重中之重。
本作品首创性的设计并实现了一款多光谱融合智能成像设备，集合了结构、光学、系统设计三个方面，通过自研的像素级融合算法，以及片上操作系统及数据调度架构的高度配合，实现了成像谱段横跨可见光、红外光及紫外光共10400nm波段，在一次成像过程中的将多种光谱图像特征同时呈现在同一帧图像中，清晰完全的揭示被观察场景的可见及非可见信息，并提供同一视场的不同波段的特征点的准确的相对位置，从而从根本上克服了传统多设备工作方式的效率低下、使用繁杂、准确度差的缺陷。
本作品通过像素级融合效果测试、图像细节增强解析度测试、高精度黑体测温效果测试，证明了本作品在图像像素级融合能力，图像细节及特征解析能力以及温感探测的高灵敏度与高精度。本作品使用方便快捷，既减少了现场部署难度和成本，又提高了用户操作的灵活度，可以广泛用于安防预警、边检巡查、电力巡维、设备排障等多个领域。
本产品不仅攻克了如像素级多光谱图像融合、图像细节增强、自研片上操作系统及数据架构等多项技术难点，更实现了多项国内外领先的自主知识产权，具有重要的市场推广价值和意义。
二 、主要创新点
本作品采用光、电、算集成化技术（即实现了图像采集、电路设计和算法设计的高度集成），是行业内的新型产品实现了如结构、光学、系统设计等多种重大技术突破。目前已知的多波段图像融合的类似技术在国内以及国际上有学者进行了相关的研究，但是这些研究成果还都只停留在实验室仿真验证阶段，尚无实际能够直接转化为生产力的技术出现，这也是限制了多波段融合成像在产业化进程中推进的重要掣肘问题。在本作品的研发过程中，本团队已经解决了包括像素级多光谱图像配准融合技术、数字细节增强技术、大数据量高速高并发片上操作系统及数据管理架构技术等，从而一举为该作品产业化的实施提供了完整的理论和技术保障。
目前在本作品中已经实现的技术突破和技术创新点主要包括以下4个方面：
(1)像素级多光谱图像实时融合技术
本作品的核心技术突破为实现了一种新的像素级多光谱图像实时融合技术。该技术利用双边滤波器实现了一种金字塔图像层析结构来进行多光谱图像像素级融合，通过双边滤波器的细节及能量分离过程，将系统采集到的实时多光谱图像进行金字塔多层分层。将每种光谱的图像分别进行细节对齐融合以及能量加权融合后再进行金字塔逆运算得到最终的融合结果。该技术突破性的将传统的双边滤波器应用到金字塔计算中来，利用双边滤波器优异的细节提取能力结合金字塔分层操作，可以最大程度的得到图像中的完整细节领域，使得融合后的图像具有像素级对准能力以及优异的细节与能量均衡能力。
(2)数字图像细节实时增强技术
该技术开展基于模糊集的多尺度红外图像边缘增强算法研究,根据红外图像特点分别建立弱边缘、强边缘和噪声三种成分的隶属度函数。通过模糊特征平面计算加权系数。在处理过程中，减少对噪声的增强系数，对强边缘只需进行适当的增强，所以像素点的增强程度都由模糊特征平面得到。同时，该技术开展了基于灰度冗余的动态范围自适应扩展算法研究，在统计红外图像直方图的基础上，计算每个灰度的标记函数(所谓标记函数是指，当某个灰度级的像素个数大于设定的阈值时，该灰度级标记函数值为1，否则为0)，利用标记函数求取映射函数，并等间距排列，该方法解决探测器输出信号温度动态范围宽和显示系统动态范围不够这一矛盾，在提高图像对比度的同时极大改善直接均衡带来的断层现象，从根本上提高了图像的可分辨清晰度。
图2-2数字细节增强算法效果图
(3)高速并发数据传输RTOS及基于该操作系统的实时数据调度管理架构
由于本作品系统中要在小型化FPGA架构中实现多路高速实时多分辨率视频信号的采集以及像素级图像融合算法，同时需要对视频数据进行大量分析操作，为了确保最终视频60Hz的显示实时性、传输实时性等严格要求，本团队特别为本项目定制研发了高速高并发数据传输的片上操作系统以及基于该操作系统的实时数据调度管理架构来保证系统的工作在稳定、高效率的状态，目前基于该操作系统及管理架构下，已经稳定实现系统内常态数据处理速率为3Gbps，峰值速率高达20Gbps。
三、系统架构
3.1 硬件系统总体设计方案
图3-1上部分是本系统第一代原理样机的总体设计方案示意图。可见光、红外光、紫外光作为输入光源经可见光模组、非制冷型红外热像仪、紫外光相机模组进入ALTERA、ZYNQ系列芯片进行数据处理及融合（预处理、图像缓存、细节融合、彩色融合），之后送到显示器端输出显示（数据输出）。
（图3-1下部分本系统的第二代工程样机，经过先后两代的研发，在算法、技术架构不断优化、成熟的同时，还实现了体积、功耗的极大优化。目前，在保留一代系统所有既定功能和性能的前提下，将第一代系统中的两块FPGA芯片缩减至只需要一块FPGA芯片即可实现，同时删减了第一代系统中的大量外围芯片，大大降低了基础成本，同时使得整机体积从高复杂、体积大下降到集成度高、体积精简，功耗从12W下降到6W以下，便于本作品以各种形态出现在行业中）。
硬件系统主要负责接收各种不同摄像头的实时图像数据，在片上操作系统中进行算法计算和数据调度、传输，并最终向上位机中进行显示。下面我们对硬件系统进行详细叙述。
图像采集模块
可见光模组+红外热像仪+紫外光模组
三个独立摄像头分别采集不同波段的图像送至系统中进行后续的各种算法计算操作。由于三个摄像头在安装过程中需要进行预先的平行光轴校正工作，使得三个摄像头的光轴均互相平行并直视被测场景。表中的分辨率参数和焦距参数选择是根据计算得到，目的是为了使三个摄像头在观察同一目标时，该目标的不同光谱图像在各自的焦平面上均处在相似的大小，即同一目标在不同的焦平面上所占的像素数几乎一致，这样的参数设计大大降低了后续算法的处理压力。
硬件核心电路板
图3-3 贰代
本作品的研发经过了第一代原理样机和第二代工程样机的过程，已经实现了小型化的雏形，在第二代工程样机的基础上，可以方便的将本作品部署于各种图像监控设备上，如手持式仪表，工业巡检机器人，安防摄像头等。两代样机的硬件组成主要包括如下内容：
（1）中央处理单元
中央处理单元以FPGA为计算核心，其上运行包括所有算法移植过来的逻辑代码、自研片上实时操作系统、数据采集、数据传输和图像送显示等操作。第一代原理样机采用两块FPGA协同工作的方式，分别为ALtera和Xilinx ZYNQ各一块。这样选择是考虑到本作品研发初始阶段对部分关键算法的实际资源占用率无法预估的情况，而形成的稳妥解决方案。第二代工程样机研发时已经对所有的实际资源占用率有了清楚的核算，因此在优化了片上操作系统的效率和部分算法的硬件实现方式后，采用了以单Xilinx ZYNQ为计算核心的方案，大大缩减了体积、功耗和基础成本。
（2）计算资源及数据存储模块：DDR3内存颗粒，512M Flash芯片
图像处理算法、片上操作系统在FPGA中的正确执行和工作仅凭借FPGA的内部资源是远远不够的。因此，在充分考虑系统功耗，成本，体积等因素的情况下，我们采用了双DDR3内存颗粒形成了1Gb的系统运行内存，以及512Mb的Flash芯片作为系统的数据存储介质。
（3）供电模块：12V直流电源系统
如图3-3所示为系统硬件电路中片上操作系统管理和调度所有数据流的流程示意图。三种不同波段的图像通过Cameralink接口与硬件电路连接后，在保证平行光轴的结构设计下观察到的场景大体上相似，但由于结构件的空间位置阻碍和组装公差，实际的三路图像间会存在场景信息出现差异以及轻微的图像旋转问题。此时，片上操作系统首先对三路图像进行数据清洗，将不同分辨率、旋转误差以及场景差异从三路图像中完全校正去除，继而在系统内部通过帧缓存的方式消除不同摄像头从光电转换到输出图像之间的显示迟滞现象。随后片上操作系统会根据本小组设计的高速高并发数据架构进行三路图像的各种图像处理算法的片上数据流操作，并最终通过USB2.0接口或者千兆网口与后端上位机软件进行连接，从而将图像数据显示给用户进行使用。完整的数据操作流程如下图3-5所示：
1.预处理：对三光设备分别进行棋盘格标定，将得到的校正矩阵存储在flash中,属于离线校正。预处理过程包括提取三路图像中相同的场景、几何校正图像中的轻微旋转效应、实现不同维度图像的不同比例缩放以及消除不同摄像头的显示帧延迟现象。
2.图像缓存：由于摄像头即使标称都以相同帧数输出，实际的像素时钟之间还是会有差异，因此在开始融合过程之前要先进行缓存预处理，保证每次用相同的时钟读取存储好的三光图像，并在读取的同时为每个像素点赋予各自的校正系数。
3.细节融合：利用滤波器区分三光图像的细节和基底，分别对基底和细节做不同的处理。增强细节、平滑基底，将三光之间的细节和基底对应进行融合。
4.彩色融合：彩色融合时使用伪彩色方式，即将融合后的图像以伪彩色编码的形式送到显示芯片的RGB通道上。
5.图像输出：采用VGA接口向显示器输出融合图像，同时通过USB2.0或者千兆网口将图像送至上位机供PC端使用。传向上位机的图像流包括单独的可见光、红外光、紫外光和融合图像共四路数据，均以60Hz的帧频进行传输，也就是说，传输过程的帧频达到共240Hz，其中融合图像数据可根据串口命令进行显示切换，切换成不同的融合组合供用户使用。
3.2 软件设计
操作软件是基于Windows操作系统下C语言图形用户界面应用程序开发框架Qt。如下图所示，软件系统可大致划分为软件启动、图像数据连接模块、图像显示模块、以及图像分析模块四大模块。各模块之间采用灵活的布局管理，其基本职能已在图中加以简述。
3.2.1 软件启动及图像数据连接
打开软件时的界面如图4-1所示，单击连接选项卡选择连接电脑选项即可实现硬件系统与上位机的快速连接。
3.2.2 图像显示模块
用户可在该选项卡中选择显示模式，可一键切换显示模式、彩色成像、彩色融合、DDE（数字细节增强），各模式成像结果可在图像显示区域同步展现。如图4-2(a)所示，从左上到右下分别为红外光显示区域、可见光显示区域、紫外光显示区域和融合图像显示区域，需要解释的是，观察普通室内场景时由于地表处在日盲紫外区，场景中没有紫外光信息时该部分图像显示为黑色，当特殊的紫外光成分出现时，在该显示区域中即能实时捕获该种紫外光特征。
单击图像选项卡中的“显示切换”功能，可实现融合图像的不同融合方式；单击“彩色（红外）”功能，可为红外图像数据流添加不同的伪彩色着色；单击“彩色（融合）”功能，可将最终的融合图像同步上色；单击“DDE”功能，可实现为红外图像进行数字细节增强功能；单击“保存图片”功能，可将当前观察的场景图像捕获并存至电脑中，一次存储可记录可见光、红外光、紫外光以及融合图像4张图片。
3.2.3 软件辅助功能及版本介绍
用户可在软件顶层工具栏选择辅助功能，可一键切换超声波测距、远程控制、测温（无、单点标注、多点标注）等功能，各种辅助功能的执行效果可在图像显示区域同步展现。如图4-3所示。
例如，单击图4-3中的“多点标注”功能后，红外图像显示区和融合图像显示区即开始实现对图像中不同区域的分立测温功能，标识框以实时动态刷新的方式捕获图像中不同区域内的异常温度点并将测温数据显示在图像中，使用户能够方便快速的对图像中的异常发热情况直观的做出判断，不仅如此，由于本作品实现了多光谱图像融合功能，用户能够从融合图像中快速的定位是何种器件或设备正在出现异常，及早排障。单击图4-3中的“关于”选项卡，可查看当前软件版本信息，并实现离线软件更新功能。
3.3 算法设计
3.3.1 图像细节增强算法
现代高性能红外热像仪能够输出动态范围很大的红外原始图像，原始的探测器数据范围一般在12-14位数据，这显然超出了显示设备的动态范围。一般典型的显示设备，如监视器，其只能够接收8位图像信号。此外一般人眼只能够分辨128个灰度级。因此，当获得高动态范围的原始图像后，一个必须的过程就是将该高动态范围的原始图像进行重新映射，将其动态范围压缩。
这个过程通常需要达到两个目的：第一：使输出图像的动态范围能够与显示的动态范围相匹配。第二：在完成第一点的同时，尽可能保留原始图像中存在的细节，使观测者能够观察到较好视觉效果的图像，且能够尽早区分隐藏在背景中的微弱目标。因此，本作品的研发过程中，本小组特别针对红外图像在显示场景细节上的缺陷研究了红外数字图像细节增强技术，通过非线性滤波器的图像基频细节分离技术、自适应高斯滤波的细节优化技术、冗余灰度的逆直方图投影技术和自适应增益控制技术将普通红外图像的显示效果极大程度的提升，更加便于人眼观察。
图4-4 红外图像细节增强图
从图4-4中可以看出，原始的红外图像具有灰度压缩严重，对比度过大，细节无法辨识等缺陷，经过本小组的数字细节增强技术处理后，图像整体灰度分布更加适合人眼观察，图像明暗对比适中，细节被全部凸显出来，整体的观察效果有了质的飞跃。
3.3.2 多光融合算法的实现
多光融合算法是本作品的核心，在进行图像融合显示的研究过程中我们发现，融合算法的性能直接决定了最终用户的体验。现有的图像融合算法大多是以金字塔结构对图像进行分层融合，这样做的好处在于可以通过逐层递进的方式将待融合图像的能量层和细节层均实现较好的融合效果。但是通过本小组的研究发现，要想实现高精度的像素级融合是一个系统工程，并不仅仅由算法本身决定，而是在更准确的算法保证下需要硬件的配合。因此，本小组的多光融合算法共包括：确定摄像头参数选型以及新的图像融合算法两部分。其中，由于不同光谱摄像头的器件设计制作难度和材料特性不同，导致不同光谱摄像头的像元间距各有差别，反应到图像上表现为观察相同距离处的相同场景及目标时，这些场景及目标在不同光谱焦平面上的成像尺寸差别明显，这就给后续的融合过程带来了不便性。
基于这样的考虑，本小组首先通过精密的参数选型，通过不同材料焦平面像元间距、像元阵列大小、镜头焦距等关键参数的特性，确定了摄像头的选型及平行光轴设计方案，继而开始后续的融合算法操作。在具体的融合算法研究过程中，本小组确定了以像素级融合为核心指导思想的研究方案，研究并实现了基于非线性双边滤波器为基础的金字塔层析方案，首先通过非线性双边滤波器将图像进行高达7层的能量和细节分离，将每层得到的能量和细节中间变量继续进行非线性双边滤波，经研究发现，这样的分离方式能够以时频互析的原理在时间域和频率域对待融合图像进行最优的能量和细节组合，最终通过时频反卷积的方式将每种光谱的分离图像进行仲裁投票选择，确定融合后的像素灰度并逆递归计算得到融合图像。最终的融合图像每个对应像素点均一一对齐，保证了融合结果的高精度。融合过程示意图如图4-5所示，最终结果如图4-6所示。
四、设计演示
4.1.图像分辨能力测试：像素测试
我们首先对图像的分辨率进行测试。我们选取正常环境下的人物场景，检查图像的质量及色调范围。先观察图像的直方图，查看图像是否有足够的细节产生高品质的输出。直方图的有效灰度范围越大，细节就越丰富。我们通过相机拍摄的图片和实物进行比较计算，获得两者之间的数学关系，并通过此关系来校正图片，以此消除图片拍摄时形变产生的误差。由下图5-1可见，本项目可以最大程度的得到图像中的完整细节领域，使得融合后的图像具有像素级对准能力以及优异的细节与能量均衡能力。并且实际测试的多光谱图像融合像素级误差≤1个像素。多光谱视觉帧同步率≥95%。
4.2.图像细节增强测试：RMSC和 DV-BV测试
RMSC对比度均方根，公式如下所示：图片，其中图片代表整个红外图像的平均像素值，图片代表红外图像像素每一个点的值，RMSC的值越大，说明整个红外图像的信息越丰富，红外图像的像素点的梯度越大，对比度越大，细节越丰富。经过计算可知，红外图像的细节增强处理结果。
DV-BV细节背景方差比，是细节方差和背景方差的比值；针对于图像分层的处理红外图像的方法，背景方差即基频层的像素值求方差，BV是基频层的像素值求方差的平均值，DV是细节层的像素值求方差的平均值，若BV的值较大，说明基频层的噪声较大，背景的像素值差距越大，视觉效果越不好，若DV的值较小，则细节的信息较少，那么细节层和基频层进行融合时，细节层的信息增强后，红外图像的整体效果欠缺，细节信息缺失。因此细节背景方差比值越大，说明红外图像的信息越丰富，细节增强效果明显，噪声越小。
4.3.黑体温度测试
本作品因为使用了红外热像仪，因此具备非接触式视觉测温功能。在测温功能中，测温的准确性完全由黑体温度标定技术决定，若标定不准，则系统无法正确的向使用者反馈被测目标温度。对此，本小组在样机的研制过程中，研究提出的宽温度范围黑体温度标定技术。通常情况下，使用非制冷焦平面探测器进行温度标定时，遇到的最大的技术难点就是探测器焦平面附近的环境温度会影响测温精度。
本团队在标定时，首先将探测器置于充填了氮气的黑体腔室内，利用高精度的黑体面源逐度上升并采集后端送出的数字信号，在宽温度范围内拟合成一条探测器辐射温度——响应曲线，其次将系统置于抽真空的黑体腔室内重复拟合该曲线，最后将本系统置于普通环境中拟合该曲线。由于这时环境温度会对探测器响应大小造成一定影响，在拟合的过程中首先要保持室内恒温恒湿，然后对每个测试温度都需要进行单点补偿校正。最后将三条曲线放在一起进行统计修正，得出在各个温度点下的环境温度补偿量和标准黑体定标温度值，并将其移植到系统中，这样就可以保证在宽温度范围内较高的测温精确性。本作品最终实现的测温精度为0.1℃@≤100℃，±1％@100℃~400℃。
4.4.本作品现场使用效果测试
本作品相较于传统的视觉成像产品最大的优势在于将场景及目标的宽谱段光谱信息在一次成像过程中全部呈现给用户，通过多光谱共同呈现图像特征的方式能够及其方便快速的定位故障及隐患发生位置，实际的使用效果如下图5-3所示：
图5-3室内成像效果图
图5-3（a）为可见光成像效果图，图中放置了一块测试电路板，该电路板经过测试处理其上有一个电阻发热异常，但是从可见光图像中无法辨识异常之处，图5-3（b）为该场景的红外图像，可以看出图中心处有异常发热存在，但是无法辨别是哪个电阻出现异常，此两张图像即为当前行业中的单光谱器件使用现状，图5-3（c）为本作品的成像效果，可以看出，用户非常快速的就可以定位到是哪个电阻正在异常发热，无需在传统单光谱器件使用中进行二次判断的过程。
图5-4室外成像效果图
图5-4为另一个室外使用效果图，测试环境为晴朗的清晨，从图5-4（a）可以看出，远处的实验大楼并无任何异常，而从图5-4（b）中可以看出，大楼中出现了一个异常热源，相较大楼的其他房间，该热源可能是某种隐患，但是从图5-4（a）和图5-4（b）中难以判断是哪个房间里出现的异常热源，而通过本作品的成像效果呈现，可以非常方便快捷的发现是三楼右起第三个房间中出现了该异常热源，经与大楼物管人员确定，发现是某个烧制特种材料的锅炉彻夜未关。此两个现场测试使用效果直观的证明了本作品在对比传统单光谱成像设备使用中的功能和性能优越性。