Dataset：数据集集合(CV方向数据集)——常见的计算机视觉图像数据集大集合包括表面缺陷检测数据集(建议收藏，持续更新)
Dataset：数据集集合(CV方向数据集)——常见的计算机视觉图像数据集大集合包括表面缺陷检测数据集(建议收藏，持续更新)
相关文章
Dataset：数据集集合(CV方向数据集)——常见的计算机视觉图像数据集大集合(建议收藏，持续更新)
CV常用数据集集合
深度学习需要数据，许许多多的数据。前文提到过的著名图像分类模型的训练都基于庞大的数据集。排名前三的训练数据集分别是：
ImageNet——150 万图像，1000 个对象分类/类别；图像处理常用的数据集ImageNet。
COCO——250 万图像，91 个对象分类；
PASCAL VOC——50 万图像，20 个对象分类。
1、CAISA-WebFace
http://www.cbsr.ia.ac.cn/english/CASIA-WebFace-Database.html
2、VGG-Face
http://www.robots.ox.ac.uk/~vgg/data/vgg_face/
3、MS-Celeb-1M
https://www.microsoft.com/en-us/research/project/ms-celeb-1m-challenge-recognizing-one-millioncelebrities-real-world/
4、MegaFace
http://megaface.cs.washington.edu/
图像分类数据集
1、基础数据集
MNIST数据集
Dataset之MNIST：MNIST(手写数字图片识别+ubyte.gz文件)数据集简介+数据增强(将已有MNIST数据集通过移动像素上下左右的方法来扩大数据集为初始数据集的5倍)
CIFAR数据集
Dataset之CIFAR-10：CIFAR-10数据集简介、下载、使用方法之详细攻略
Fashion-MNIST数据集
Dataset之Fashion-MNIST：Fashion-MNIST数据集简介、下载、使用方法之详细攻略
PASCAL VOC数据集
Dataset之Pascal VOC：Pascal VOC(VOC 2012、VOC 2007) 数据集的简介、下载、使用方法详细攻略
ImageNet数据集
Dataset之ImageNet：ImageNet数据集简介、安装、使用方法之详细攻略
WebVision数据集
Dataset之WebVision：WebVision数据集简介、下载、使用方法之详细攻略
2、表面缺陷检测数据集
关于表面缺陷检测的文章，主要检测对象是:金属表面、液晶屏、建筑、输电线路等缺陷或异常检测对象。方法主要有分类方法、检测方法、重建方法和生成方法。论文的电子版本(PDF)放在“paper”文件夹中与日期对应的文件下。
https://github.com/Charmve/Surface-Defect-Detection/tree/master/Papers
- CNN for Classfication
- Image pyramid hierarchy idea and convolutional denoising autoencoder network to detect texture defects
- Cascade autoencoder (CASAE) structure is used for segmentation and positioning of abnormal metal surface
- Faster R-CNN for Defect Detection in Civil Engineering
- Active learning for defect classification
- An experiment of CNN: LCD screen anomaly detection
- Deep learning & Transfer Learning
- Segmentation Network for Magnetic Tile Defect Detection
- Classic PHOTO Algorithm
- Classic DCT Algorithm
- An unsupervised scanning electron microscope image (SEM) detection method for nanofiber materials
- Faster R-CNN Concrete Crack Detection
- Multi-scale Convolutional Denoising Autoencoder Network Model
- CNN for Classfication
- Weibull
- Neuro-Evolution
- GAN for Defect Detection
- GAN for Anomaly Detection
- GAN for Defect Classfication
- YOLO for Defect Classfication
- Semi-supervised Method for Anomaly Detection
- Use semantic segmentation methods for detection under small samples
- SDD-CNN for Defect Detection
- FCN for Defect Detection
- Fabric Defect Detection
1、NEU表面缺陷数据库
数据集下载：http://faculty.neu.edu.cn/yunhyan/NEU_surface_defect_database.html
在东北大学(NEU)表面缺陷数据库中，收集了热轧带钢6种典型的表面缺陷，即卷缩皮(RS)、斑块(Pa)、裂纹(Cr)、点蚀面(PS)、夹杂物(In)和划痕(Sc)。该数据库包括1800张灰度图像:6种不同类型的典型表面缺陷各300个样本。
图1为六种典型表面缺陷的样本图像，每幅图像的原始分辨率为200×200像素。从图1中我们可以清楚地观察到类内缺陷在外观上存在较大差异，例如，划痕(最后一列)可能是水平划痕、垂直划痕、倾斜划痕等。同时，类间缺陷也具有相似的特征，如:滚入鳞片、裂纹和点蚀表面。此外，由于光照和材料变化的影响，类内缺陷图像的灰度值也会发生变化。总之，NEU表面缺陷数据库包含两大难题，即类内缺陷外观差异较大，类间缺陷方面相似，缺陷图像受光照和材料变化的影响。
2、在电激发光;图像中缺陷太阳能电池的视觉识别基准
数据集下载：https://github.com/zae-bayern/elpv-dataset
提供了从高分辨率光电组件的电致发光图像中提取的太阳能电池图像数据集。
该数据集包含2,624个样本，样本为300×300像素的8位灰度图像，包含44个不同退化程度的功能性和缺陷太阳能电池。注释图像中的缺陷可以是内在缺陷，也可以是外在缺陷，已知它们会降低太阳能组件的功率效率。所有的图像都在大小和透视方面进行了规范化。此外，在提取太阳能电池之前，用于捕获EL图像的相机镜头所引起的任何畸变都被消除了。
3、Kolektor表面缺陷数据集
数据集下载：https://www.vicos.si/Downloads/KolektorSDD
https://box.vicos.si/skokec/gostop/KolektorSDD.zip
该数据集是由Kolektor Group d.o.o.提供和注释的缺陷电气换向器图像构建的。具体地说，在电子换向器中嵌入的塑料表面观察到微观碎片或裂纹。每个换向器的表面积在8张不重叠的图像中被捕获。这些图像是在受控环境下拍摄的。数据集包括:
- 50件实物(有缺陷的电气换向器)
- 每件8面
- 共399张图片:
- 52张可见缺陷图像
- 347张图片，无任何缺陷
- 原图尺寸:
- 宽度:500像素
- 高度:从1240到1270像素
- 对于训练和评估图像，应该调整到512 x 1408像素
对于每个项目，缺陷只在至少一幅图像中可见，而两幅图像上有两个项目的缺陷，这意味着有52幅图像的缺陷可见。剩下的347张图片作为表面无缺陷的反面例子。
4、DeepPCB数据集
数据集下载：https://github.com/Charmve/Surface-Defect-Detection/tree/master/DeepPCB
DeepPCB:一个数据集包含1500对图像，每个图像由一个无缺陷的模板图像和一个对齐的测试图像组成，其中注释包括6种最常见的PCB缺陷的位置： open, short, mousebite, spur, pin hole and spurious copper。
5、天池竞赛—布匹疵点数据集
数据集下载：https://tianchi.aliyun.com/markets/tianchi/guangdong2019?spm=a2c41.13245196.0.0
链接: https://pan.baidu.com/s/12kfZxdDjiA0qMwkoLIGtog 提取码: mb92
布匹疵点检验是纺织行业生产和质量管理的重要环节，人工智能和计算机视觉技术应用于纺织行业，其价值无疑是巨大的。本赛场聚焦布匹疵点智能检测，要求选手研究开发高效可靠的计算机视觉算法，提升布匹疵点检验的准确度，降低对大量人工的依赖，提升布样疵点质检的效果和效率。初赛阶段考察素色布瑕疵检测和分类能力，复赛阶段考察花色布的瑕疵检测和分类能力。数据描述 深入佛山南海纺织车间现场采集布匹图像，制作并发布大规模的高质量布匹疵点数据集，同时提供精细的标注来满足算法要求。其中，素色布数据约8000张，花色布数据约12000张。
6、天池竞赛—铝型材表面瑕疵数据集
数据集下载：https://tianchi.aliyun.com/competition/entrance/231682/information
铝型材是佛山南海的支柱性产业。在铝型材的实际生产过程中，由于各方面因素的影响，铝型材表面会产生裂纹、起皮、划伤等瑕疵，这些瑕疵会严重影响铝型材的质量。为保证产品质量，需要人工进行肉眼目测。然而，铝型材的表面自身会含有纹路，与瑕疵的区分度不高。传统人工肉眼检查十分费力，不能及时准确的判断出表面瑕疵，质检的效率难以把控。近年来，深度学习在图像识别等领域取得了突飞猛进的成果。铝型材制造商迫切希望采用最新的AI技术来革新现有质检流程，自动完成质检任务，减少漏检发生率，提高产品的质量，使铝型材产品的生产管理者彻底摆脱了无法全面掌握产品表面质量的状态。本次大赛选择南海铝型材标杆企业的真实痛点作为赛题场景，寻求解决方案，助力企业实现转型升级，提升行业竞争力。
大赛数据集里有1万份来自实际生产中有瑕疵的铝型材监测影像数据，每个影像包含一个或多种瑕疵。供机器学习的样图会明确标识影像中所包含的瑕疵类型。
使用某企业某一产线某一时间段获取的铝型材图片，训练算法来定位瑕疵所在位置以及判断瑕疵的类型。
7、弱监督学习下的工业光学检测
《Weakly Supervised Learning for Industrial Optical Inspection》
数据集下载：https://hci.iwr.uni-heidelberg.de/content/weakly-supervised-learning-industrial-optical-inspection
提出了一个用于统计纹理表面检测的综合基准语料库。我们希望它有助于进一步发展和基准分类算法的应用于工业光学检测。所有数据都是公开的，可以从这个页面下载。2007年DAGM研讨会的比赛，DAGM(德意志Arbeitsgemeinschaft毛皮Mustererkennung汽车集团,德国的章IAPR国际协会(模式识别)和GNSS(德国的欧洲神经网络社会章)提供了一个开放的竞争弱监督学习工业光学检验作为DAGM研讨会的一部分,在2007年举行。该竞赛的灵感来自于自动化光学检测可以显著降低工业质量控制的成本。参赛者必须设计一种分类算法:
- 检测各种统计纹理背景上的各种缺陷。
- 学习从弱标记的训练数据自动识别缺陷。
- 处理在开发时不知道其确切特征的数据。
- 自动调整所有参数，不需要任何人工干预。
- 跑步时间适中(本比赛训练时间为24小时，测试阶段为12小时)。
- 考虑了假阳性和假阴性决策的不对称成本(竞赛使用1:20)。
这些数据是人工生成的，但类似于现实世界中的问题。10个数据集中的前6个，记为开发数据集，应该用于算法开发。剩下的四个数据集，被称为比赛数据集，可以用来评估表现。研究人员应考虑在开发完成前不使用或分析竞赛数据集作为荣誉准则。在下面我们提供一些关于数据集的细节:
- 每个开发(竞赛)数据集包含1000 (2000)“无缺陷”及150 (300)“有缺陷的”图像保存在灰度8位PNG格式。
- 每个数据集由不同的纹理模型和缺陷模型生成。
- “无缺陷”的图像显示的是没有缺陷的背景纹理，“有缺陷”的图像恰好在背景纹理上标注了一个缺陷。
- 所有数据集被随机分割成大小相等的训练和测试子数据集。
- 弱标签以椭圆的形式提供，粗略地指出缺陷区域。从技术上讲，有缺陷的图像是通过位于文件夹“Label”中的PNG格式的单独的8位灰度图像来增强的。值0和255分别表示背景和缺陷区域。
8、城市路面裂缝图像数据集
数据集下载：https://github.com/cuilimeng/CrackForest-dataset
CrackForest数据集是一个能够反映城市路面状况的标注路面裂缝图像数据库。
9、桥梁裂缝图像数据集
数据集下载：https://github.com/Charmve/Surface-Defect-Detection/tree/master/Bridge_Crack_Image
该数据集主要用于训练DBCC模型和桥梁裂缝检测。
10、磁瓦表面缺陷数据集
《Saliency of magnetic tile surface defects》
数据集下载：https://github.com/Charmve/Surface-Defect-Detection/tree/master/Magnetic-Tile-Defect
这是论文《Saliency of magnetic tile surface defects》的数据集。采集了6种常见磁瓦表面缺陷的图像，并对其像素级地面真值进行标记。表面缺陷显著性检测工具箱可以在https://github.com/abin24/Saliency-detection-toolbox找到。其中，我们的MCue和其他14个显著性检测模型是可用的。
11、铁轨表面缺陷数据集
数据集下载：http://icn.bjtu.edu.cn/Visint/resources/RSDDs.aspx
RSDDs数据集包含两种类型的数据集：第一种是从快车道捕获的I型RSDDs数据集，其中包含67个具有挑战性的图像。第二个是从普通/重型运输轨道捕获的II型RSDDs数据集，其中包含128个具有挑战性的图像。 两个数据集的每幅图像至少包含一个缺陷，并且背景复杂且噪声很大。 RSDDs数据集中的这些缺陷已由一些专业的人类观察员在轨道表面检查领域进行了标记。
12、Kylberg纹理数据集
数据集下载：http://www.cb.uu.se/~gustaf/texture/
数据集描述
- 28个纹理类
- 每个职业有160个独特的纹理补丁。(Alternative dataset with 12 rotation per original patch, 160*12=1920纹理patch per class)
- 纹理补丁大小:576x576像素。
- 文件格式:无损压缩8位PNG格式。
- 对所有patch进行归一化，均值127，标准差40。
- 每个纹理类一个目录。
- 文件命名如下:blanket1-d-p011-r180。png，其中blanket1为类名，d为原始图像样本号(可能值为a、b、c或d)， p011为patch号11,r180 patch旋转180度。
更多数据集可以参考网站：http://www.face-rec.org/databases