9、Haclon图像中字符识别
转自：https://blog.csdn.net/panjinliang066333/article/details/104676302
目录
1、分类器原理
2、分类器实现图像分割
3、OCR字符识别
4、案例：车牌识别
5、案例：汉字识别
1、分类器原理
分类器属于木事识别的范畴，是通过给定的数据，根据实现的标签结果，来寻找合适的分界线以及分解规律，同时要使得这些规律对于类似的数据能够更大程序的适用。
举例：如下图，左侧代表类型1，右边代表类型2，那么y=ax+b就是他的分界线。
分类器的优化：分界线的位置以及分界线的形状、数据点的输入都是优化的主要方面。
（1）比如y=ax+b，其实他的位置取多个位置都能够满足要求，但是实际上，最优的只有一条。
再分了的原则中，蟾宫的一种方法就是保证类间方差最大，而类内方差最小。典型的代表就是svm分类器。svm分类器称为支撑向量机。
（2）分界线的形状：高斯混合分类器GMM，就是利用数据中出现的概率进行分类，理论上可以生成任何形状的线条。
（3）感知器mlp（类似bp神经网络）
多类型分类：
两种方法，一对多训练或者每一个都训练比较概率。
实际上，这些步骤，再halcon中指数两个算子创建分类器以及分类器训练，原理主要是用来帮助理解。
特征训练：分类器本质是对数据进行的训练，所以我们需要提取图像的特征，最简单的就是直接使用图像的所有灰度，但是这样相对耗费时间，使用的较多的是图像的灰度特征，比如平均灰度、灰度方差等等。
什么叫训练：其实训练就是数据迭代的过程。比如上面的分类器中，我们讲解的主要是其原理，而在实际中，既然存在一个最佳的优化结果，那么就可以根据数学理论得到优化目标函数，我们称其为损失函数，要想得到最佳的结果，那么久需要使得损失函数最小。比如说：d=ax²+bx+c是一个损失函数，如果按照我们的思维，可以直接求得最小值，但是在计算机初中，实际并不是这样，往往采用迭代的方式进行求解。
2、分类器实现图像分割
比如下面这幅图像，我们可以通过分类器实现白色、红色、黑色、和蓝色区域的一个阈值分割。首先要选定这些区域中的代表区域，然后进行训练，然后再识别。
算子说明：
create_class_svm ：创建svm分类器
add_samples_image_class_svm：增加样本
train_class_svm ：分类器训练
classify_image_class_svm：分类识别算子
程序讲解：
读取一副图片
dev_close_window()dev_open_window (0, 0, 512, 512, 'black', WindowHandle)read_image (Image, '素材-牌')
创建训练区域,创建4个不同颜色的区域
*创建一个空集合gen_empty_obj (Union_Obj)for Index := 1 to 4 by 1draw_region (Region, WindowHandle)concat_obj (Union_Obj, Region, Union_Obj)endfor
创建分类器
*创建分类器*参数1：图像通道，彩色图3通道，黑白图1通道。*参数2：向量积和，保持默认*参数4：设置小一点*参数5：分的类，和创建的训练区域数量相同。create_class_svm (3, 'rbf', 0.02, 0.001, 4, 'one-versus-all', 'normalization', 10, SVMHandle)
将样本添加到分类器中
*将样本添加到分类器中add_samples_image_class_svm (Image, Union_Obj, SVMHandle)
训练
*训练*参数2：训练误差train_class_svm (SVMHandle, 0.001, 'default')
分类，分割
*分类classify_image_class_svm (Image, ClassRegions, SVMHandle)
3、OCR字符识别
原理：其实字符识别的本质是利用分类器来实现的。比如下图，如何区别A与B呢，那么可以通过建立两者的分类器模型，然后对其进行分类。
而在halcon中其实已经训练好了一些标准的字符，我们可以直接拿过来使用。
*================字符识别过程================*
*1、字符区域的提取
*2、读取分类器训练结果（使用halcon提供的训练结果（'A-Z'的字符库））
*3、字符识别
*注意：同一个字符必须是一个区域，才可以识别
程序讲解：
读取图片素材
dev_close_window()dev_open_window (0, 0, 512, 512, 'black', WindowHandle)read_image (Image, '素材')
进行阈值分割
*全局阈值分割。提取黑色的部分。黑色的为0，白色的是255threshold (Image, Region, 0, 10)*连通域操作connection (Region, ConnectedRegions)
进行字符区域筛选
*区域提取。按照面积大小来提取。(工具栏特征检测，可以看每个区域面积大小)select_shape (ConnectedRegions, SelectedRegions, 'area', 'and', 30, 200)
读取halcon自带的字符训练库
*读取训练结果。（读取halcon自带库）*参数1：字符库的选择read_ocr_class_mlp ('Industrial_A-Z+_Rej.omc', OCRHandle)
字符识别并输出显示
*字符识别do_ocr_multi_class_mlp (SelectedRegions, Image, OCRHandle, Class, Confidence)*字符数组，保存识别到的字符A:=Class*在窗口上显示disp_message (WindowHandle, A, 'window', 12, 12, 'black', 'true')
4、案例：车牌识别
需求：识别图中车牌号码。并保存到本地txt文本文档中。
分析：利用颜色信息，提取车牌号，然后将图像旋转至水平，再去提取字符，并利用halcon中的ocr库，进行识别。（注意：把字符旋转至水平，识别率会更好。）
程序讲解：
读取图片
dev_close_window ()dev_open_window (0, 0, 512, 512, 'black', WindowHandle)*读取图片read_image (Image, '素材')
将图片转成R、G、B、H、S、V等通道
*将图像转换成3通道图片decompose3 (Image, R, G, B)*转换成颜色通道。运行观察发现，效果在S通道效果最好trans_from_rgb (R, G, B, H, S, V, 'hsv')
对S通道进行阈值分割
*对S通道提取-全局阈值分割threshold (S, Region, 128, 255)
对分割出来的区域进行填充、旋转灯处理，最后在S通道图上，将该区域裁剪下来
*填充fill_up (Region, RegionFillUp)*最小外接矩形smallest_rectangle2 (RegionFillUp, Row, Column, Phi, Length1, Length2)*生成最小外接矩形2gen_rectangle2 (Rectangle, Row, Column, Phi, Length1, Length2)*旋转-图片旋转水平vector_angle_to_rigid (Row, Column, Phi, Row, Column, 0, HomMat2D)*将区域中心进行旋转affine_trans_region (Rectangle, RegionAffineTrans, HomMat2D, 'nearest_neighbor')*对R通道图像也进行区域中心旋转affine_trans_image (R, ImageAffineTrans, HomMat2D, 'constant', 'false')*对图像裁剪（粗定位）reduce_domain (ImageAffineTrans, RegionAffineTrans, ImageReduced)
对裁剪出来的，进行区域分割
*提取白色区域threshold (ImageReduced, Region1, 100, 255)*连通域分割connection (Region1, ConnectedRegions)
将字符区域筛选出来，再进行排序
*区域选择。（将字符的区域筛选出来）根据区域外接矩形1、外接矩形2进行选择select_shape (ConnectedRegions, SelectedRegions, ['rect2_len1','rect2_len2'], 'and', [45,20], [55,30])*判断筛选出来的字符区域是不是6个count_obj (SelectedRegions, Number)if(Number!=6)stop()endif*对筛选出来的区域进行排序。按照列排序sort_region (SelectedRegions, SortedRegions, 'first_point', 'true', 'column')
读取halcon提供训练好的的OCR字符库
*读取OCRread_ocr_class_mlp ('Industrial_0-9A-Z_NoRej.omc', OCRHandle)
进行识别前，一定要主要图片上的字符是白底黑字
*对图像进行黑白反转invert_image (ImageReduced, ImageInvert)*OCR的识别。*==>>特别注意：Halcon对字符的识别要求是白底黑子，否则不能识别。do_ocr_multi_class_mlp (SortedRegions, ImageInvert, OCRHandle, Class, Confidence)
将识别到的字符，在窗口中显示
*在窗口（0,0）位置显示OCR识别结果Classdisp_message (WindowHandle, Class, 'window', 0, 0, 'black', 'true')
将识别的字符，保存到txt中
*将识别的车牌结果，另存在txt文本中open_file ('1.txt', 'output', FileHandle)fwrite_string (FileHandle, Class)close_file (FileHandle)
工程代码下载链接：
https://download.csdn.net/download/panjinliang066333/12234724
5、案例：汉字识别
汉字识别跟字符识别原理上是一样的，区别在于汉字识别，halcon没有现存的字库，需要自己先训练汉字库。然后再进行识别。
项目要求：使用图1中的汉字训练字库，然后识别图像2中的汉字，识别结果保存到本地txt文件中。
图1
图2
程序实现讲解：
（1）、训练汉字库
读取要训练的图像
read_image (Image, '素材.png')rgb1_to_gray (Image, Image)
创建要训练的汉字数组
*要训练的字库txtName:=['大','家','好','欢','迎','收','看']
创建OCR字符分类器
*创建分类器*字符大小8*10create_ocr_class_svm (8, 10, 'constant', 'default', txtName, 'rbf', 0.02, 0.05, 'one-versus-all', 'normalization', 10, OCRHandle)
对图像进行处理，阈值分割、膨胀，再进行求交接得到分割后的每个字符区域
对选择出来的区域进行筛选只保留字符区域，再对字符区域进行排序
*通过外接矩形筛选，去掉干扰项，只保留字符区域select_shape (RegionIntersection, SelectedRegions, ['rect2_len1','rect2_len2'], 'and', [6,6], [12,12])*对筛选出来的字符进行排序sort_region (SelectedRegions, SortedRegions, 'first_point', 'true', 'column')
将要训练的样本保存到本地
*循环保存样本for i := 1 to |txtName| by 1select_obj (SortedRegions, obj, i)*写入样本，第一次需要先创建样本,然后就可以往样本里面添加了if(i==1)write_ocr_trainf (obj, Image, txtName[i-1], 'train_ocr')elseappend_ocr_trainf (obj, Image, txtName[i-1], 'train_ocr')endifstop()endfor
对样本进行训练
*训练样本*参数2：训练样本文件名，和前面创建的样本名一致。*参数3：偏差，达不到的话会一致训练trainf_ocr_class_svm (OCRHandle, 'train_ocr', 0.001, 'default')
将训练的结果，汉字库，保存到本地
*保存训练结果write_ocr_class_svm (OCRHandle, '1.osc')
（2）、使用自己训练的汉字库，对图像中的汉字进行识别，并将识别的汉字保存到本地。
读取图片
read_image (Image, '素材2.png')rgb1_to_gray (Image, Image)
对图像处理，阈值分割、膨胀，再求交集得到分割后的区域
*阈值分割threshold (Image, Region, 0, 200)*进行膨胀closing_circle (Region, RegionClosing, 2.5)connection (RegionClosing, ConnectedRegions)*膨胀后的和阈值分割后的区域，求交接。（提取出每个字符分割后的完整区域）intersection (ConnectedRegions, Region, RegionIntersection)
筛选，只保留字符的区域，再进行排序
*通过外接矩形筛选，去掉干扰项，只保留字符区域select_shape (RegionIntersection, SelectedRegions, ['rect2_len1','rect2_len2'], 'and', [12,12], [18,18])*对筛选出来的字符进行排序sort_region (SelectedRegions, SortedRegions, 'first_point', 'true', 'column')*统计字符区域数量count_obj (SortedRegions, Number)if(Number!=21)stop()endif
加载训练的汉字样本库
*读取自己训练的样本库read_ocr_class_svm ('1.osc', OCRHandle)
对汉字进行识别（必须白底黑子才能识别，如果是黑底白字的话，需要对图像进行取反操作，图像取反函数invert_image ）
*识别do_ocr_multi_class_svm (SortedRegions, Image, OCRHandle, Class)
将识别的结果保存到本地txt中
*将识别的结果，写入本地txtopen_file ('1.txt', 'output', FileHandle)fwrite_string (FileHandle, Class)close_file (FileHandle)