《HALCON机器视觉与算法原理编程实践》第5章图像预处理 / 四六文摘

文章目录

5.1 图像变换与校正
5.2 感兴趣区域（ROI)
5.3 图像增强
5.4 图像平滑与去噪
5.5 光照不均匀

5.1.1 二维图像的平移、旋转和缩放
5.1.2 图像的仿射变换
5.1.3 投影变换
5.1.4 实例：透视性变图像校正

5.2.1 ROI的意义
5.2.2 创建ROI

5.3.1 直方图均衡
5.3.4 增强对比度
5.3.4 处理失焦图像

5.4.1 均值滤波
5.4.2 中值滤波
5.4.3 高斯滤波

5.1 图像变换与校正

5.1.1 二维图像的平移、旋转和缩放

图像的平移
图像的旋转
图像的缩放

平移、缩放和旋转都需要有一个参考点，围绕该点进行仿射变换操作

5.1.2 图像的仿射变换

把平移、旋转和缩放结合起来，可以在Halcon中使用仿射变换的相关算子。

仿射变换矩阵

* 创建一个空的仿射变换矩阵
hom_mat2d_identity (HomMat2DIdentity)

* 设置平移矩阵
hom_mat2d_translate (HomMat2DIdentity, 64, 64, HomMat2DTranslate)

* 设置旋转矩阵
hom_mat2d_rotate (HomMat2DTranslate, 0.78, 0, 0, HomMat2DRotate)

* 设置缩放矩阵
hom_mat2d_scale (HomMat2DRotate, 2, 2, 0, 0, HomMat2DScale)

应用仿射变换矩阵
仿射变换矩阵可以应用于像素点、二维点、图像、区域及XLD轮廓等对象

* 应用于像素点
affine_trans_pixel (HomMat2DScale, 64, 64, RowTrans, ColTrans)

* 应用于二维点
affine_trans_point_2d (HomMat2DScale, RowTrans, ColTrans, Qx, Qy)

* 应用于图像
affine_trans_image (Image, ImageAffineTrans, HomMat2DScale, 'constant', 'false')

* 应用于区域
affine_trans_region (Region, RegionAffineTrans, HomMat2DScale, 'nearest_neighbor')

* 应用于XLD轮廓
affine_trans_contour_xld (, ContoursAffineTrans, HomMat2DScale)

5.1.3 投影变换

投影变换可以使畸变的图像恢复原状，例：

5.1.4 实例：透视性变图像校正

*关闭当前显示窗口，清空屏幕
dev_close_window ()
*读取测试图像
read_image (Image_display, 'data/display.jpg')
*将图像转化为灰度图像
rgb1_to_gray (Image_display, GrayImage)
*获取图像的尺寸
get_image_size(Image_display,imageWidth, imageHeight)
*新建显示窗口，适应图像尺寸
dev_open_window (0, 0, imageWidth, imageHeight, 'black', WindowHandle1)
dev_display (GrayImage)
*初始化角点坐标
XCoordCorners := []
YCoordCorners := []
*阈值处理，提取较暗的区域
threshold(GrayImage,DarkRegion,0, 80)
*分离不相连的区域
connection (DarkRegion, ConnectedRegions)
*选择面积最大的暗色区域，即屏幕区域
select_shape_std (ConnectedRegions, displayRegion, 'max_area', 70)
*裁剪屏幕区域
reduce_domain (GrayImage, displayRegion, displayImage)
*创建边缘轮廓
gen_contour_region_xld (displayRegion, Contours, 'border')
*将轮廓分割为边
segment_contours_xld (Contours, ContoursSplit, 'lines', 5, 4, 2)
*获取边的数量
count_obj (ContoursSplit, Number)
*存储每条边的起点位置
for index:=1 to Number by 1
   select_obj(ContoursSplit, ObjectCurrent, index)
   *拟合每条边
   fit_line_contour_xld (ObjectCurrent, 'tukey', -1, 0, 5, 2, RowBegin, ColBegin, RowEnd, ColEnd, Nr, Nc, Dist)
   *存储每条边的顶点x坐标
   tuple_concat (XCoordCorners, RowBegin, XCoordCorners)
   *存储每条边的顶点y坐标
   tuple_concat (YCoordCorners, ColBegin, YCoordCorners)
endfor

* 投影变换给四个特征点与校正后的坐标建立关联
XOff:= 100
YOff:= 100*imageHeight/imageWidth
hom_vector_to_proj_hom_mat2d (XCoordCorners, YCoordCorners, [1,1,1,1], [YOff,YOff,imageHeight-YOff,imageHeight-YOff], [XOff,imageWidth-XOff,imageWidth-XOff,XOff], [1,1,1,1], 'normalized_dlt', HomMat2D)
*投影变换
projective_trans_image (Image_display, Image_rectified, HomMat2D, 'bilinear', 'false', 'false')
* 显示校正结果
dev_display (Image_rectified)

5.2 感兴趣区域（ROI)

ROI是Halcon中的一个很重要的概念，为了减少计算量，只关注待检测物体周围的一片区域即可，ROI就是图像处理所关注的区域。

5.2.1 ROI的意义

（1）减少计算量，提高效率
（2）ROI可作为形状模板

5.2.2 创建ROI

*关闭当前显示窗口，清空屏幕
dev_close_window ()
*读取测试图像
read_image (Image_display, 'data/display.jpg')
*获取图像的尺寸
get_image_size(Image_display,imageWidth, imageHeight)
*新建显示窗口，适应图像尺寸
dev_open_window (0, 0, imageWidth, imageHeight, 'black', WindowHandle)
dev_display (Image_display)
gen_rectangle1 (ROI_0, 52, 46, 456, 574)
*裁剪屏幕区域
reduce_domain (Image_display, ROI_0, reducedImage)
dev_open_window (0, 400, imageWidth, imageHeight, 'black', WindowHandle1)
* 显示校正结果
dev_display (reducedImage)

5.3 图像增强

图像增强主要是为了突出图像中的细节，为后续的特征识别或者检测做准备。图像增强可以有多种方式。

5.3.1 直方图均衡

read_image (board, 'data/boardEqu')
rgb1_to_gray (board, GrayImage)
equ_histo_image (GrayImage, ImageEquHisto)
*显示直方图
gray_histo (board, board, AbsoluteHisto1, RelativeHisto1)
gray_histo (ImageEquHisto, ImageEquHisto, AbsoluteHisto2, RelativeHisto2)
dev_open_window (0, 0, 512, 512, 'black', WindowHandle)
dev_set_color ('red')
gen_region_histo (Histo1, AbsoluteHisto1, 255, 5, 1)
dev_set_color ('green')
gen_region_histo (Histo2, AbsoluteHisto2, 255, 450, 1)

5.3.4 增强对比度

(1) emphasize

read_image (boardtext, 'data/text.jpg')
emphasize (boardtext, ImageEmphasize, 10, 10, 1.5)
dev_display(ImageEmphasize)

(2)scale_image_max

read_image (text, 'data/text.jpg')
scale_image_max (text, ImageScaleMax)
dev_display(ImageScaleMax)

5.3.4 处理失焦图像

一些对焦不准的图像可能存在模糊不清的问题，这时需考虑锐化操作。

read_image (test, 'data/defocusComponnet.jpg')
shock_filter (test, SharpenedImage, 0.5, 20, 'canny', 12.5)
dev_display(SharpenedImage)

5.4 图像平滑与去噪

有时拍摄的图像中会存在很多杂点和噪声，对于比较均匀的噪声，可以考虑用软件的算法进行消除。可利用图像平滑的方法去噪，主要方法有均值滤波、中值滤波、高斯滤波等。

5.4.1 均值滤波

均值滤波，是图像处理中最常用的手段，从频率域观点来看均值滤波是一种低通滤波器，高频信号将会去掉，因此可以帮助消除图像尖锐噪声，实现图像平滑，模糊等功能。理想的均值滤波是用每个像素和它周围像素计算出来的平均值替换图像中每个像素。
均值滤波器的缺点是存在着边缘模糊的问题。

read_image (ImageNoise, 'data/marker.jpg')
mean_image (ImageNoise, ImageMean, 9,9)
dev_display(ImageMean)

5.4.2 中值滤波

中值滤波也是消除图像噪声最常见的手段之一，特别是消除椒盐噪声，中值滤波的效果要比均值滤波更好。中值滤波是跟均值滤波唯一不同是，不是用均值来替换中心每个像素，而是将周围像素和中心像素排序以后，取中值。

read_image (ImageNoise, 'data/marker.jpg')
median_image (ImageNoise, ImageMedian, 'circle', 3, 'continued')
dev_display(ImageMedian)

5.4.3 高斯滤波

高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。 [1] 通俗的讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是：用一个模板（或称卷积、掩模）扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

read_image (ImageNoise, 'data/marker.jpg')
gauss_filter(ImageNoise, ImageGauss, 5)
dev_display(ImageGauss)

5.5 光照不均匀

只能用于彩色图像，黑白图像是单通道，不适用这种方法

read_image (test, 'data/label')
*通道分离
decompose3(test, image1, image2, image3)
mean_image (image1, Mean1, 9, 9)
emphasize (Mean1, em1, 5, 5, 1.5)
illuminate (em1, ImageI1, 20, 20, 0.55)
equ_histo_image (image2, ImageEquHisto2)
equ_histo_image (image3, ImageEquHisto3)
compose3 (ImageI1, ImageEquHisto2, ImageEquHisto3, MultiChannelImage)
dev_display(MultiChannelImage)

《HALCON机器视觉与算法原理编程实践》第5章 图像预处理