【技术综述】一文道尽“人脸数据集”
言有三
毕业于中国科学院,计算机视觉方向从业者,有三工作室,有三AI学院等创始人
作者 | 言有三
编辑 | 言有三
今天,给大家送上一份大礼
没错,我就是喜欢写一些“一文道尽”
这一次我将从人脸检测,关键点检测,人脸识别,人脸表情,人脸年龄,人脸姿态等几个方向整理出人脸领域有用的数据集清单,不全也有9成全吧。
01
人脸检测
所谓人脸检测任务,就是要定位出图像中人脸的大概位置。
1.1 Caltech 10000
数据集地址:http://www.vision.caltech.edu/Image_Datasets/Caltech_10K_WebFaces/
发布于2007年,这是一个灰度人脸数据集,使用Google图片搜索引擎用关键词爬取所得,包含了7,092张图,10,524个人脸,平均分辨率在304x312,除此之外还提供双眼,鼻子和嘴巴共4个坐标位置。在早期被使用的较多,现在的方法已经很少用灰度数据集做评测。
1.2 AFW
发布于2013年。AFW数据集是人脸关键点检测非常早期使用的数据集,共包含205个图像,其中有473个标记的人脸。每一个人脸提供了方形边界框,6个关键点和3个姿势角度的标注。目前官网数据链接已经失效,可以通过其他渠道获得。
1.3 FDDB
数据集地址:http://vis-www.cs.umass.edu/fddb/index.html
发布于2010年,这是被广泛用于人脸检测方法评测的一个数据集,FDDB全称是Face Detection Data Set and Benchmark,它的提出是用于研究无约束人脸检测。所谓无约束指的是人脸表情、尺度、姿态、外观等具有较大的可变性。FDDB的图片都来自于 Faces in the Wild 数据集,图片来源于美联社和路透社的新闻报道图片,所以大部分都是名人,而且是自然环境下拍摄的。共2845张图片,里面有5171张人脸图像。
通常人脸检测数据集的标注采用的是矩形标注,即通过矩形将人脸的前额,脸颊和下巴通过矩形包裹起来,但是由于人脸是椭圆状的,所以不可能给出一个恰好包裹整个面部区域而无干扰的矩形。
在FDDB当中采用了椭圆标记法,它可以适应人脸的轮廓。具体来说,每个标注的椭圆形人脸由六个元素组成。(ra, rb, Θ, cx, cy, s),其中ra,rb是椭圆的半长轴、半短轴,cx, cy是椭圆的中心点坐标,Θ是长轴与水平轴夹角(头往左偏Θ为正,头往右偏Θ为负),s则是置信度得分。标注的结果是通过多人独立完成标注之后取标注的平均值,而且排除了以下的样本。
长或宽小于20个像素的人脸区域。
设定一个阈值,将像素低于阈值的区域标记为非人脸。
远离相机的人脸区域被标记为非人脸。
人脸被遮挡,2个眼睛都不在区域内的标记为非人脸。
1.4 WIDER Face
数据集地址:http://mmlab.ie.cuhk.edu.hk/projects/WIDERFace/
发布于2015年,FDDB评测标准由于只有几千张图像,这样的数据集在人脸的姿态、尺度、表情、遮挡和背景等多样性上非常有限,训练出来的模型难以被很好的评判,算法很快就达到饱和。在这样的背景下香港中文大学提出了Wider-face数据集,在很长一段时间里,大型互联网公司和科研机构都在Wider-face上做人脸检测算法竞赛。
Wider-face总共有32203张图片,共有393703张人脸,比FDDB数据集大10倍,而且在面部的尺寸、姿势、遮挡、表情、妆容、光照上都有很大的变化,算法不仅标注了框,还提供了遮挡和姿态的信息,自发布后广泛应用于评估性能比传统方法更强大的卷积神经网络。
1.5 MALF数据集
数据集地址:http://www.cbsr.ia.ac.cn/faceevaluation/
发布于2015年,全称 Multi-Attribute Labelled Faces ,MALF是为了更加细粒度地评估野外环境中人脸检测模型而设计的数据库。数据主要来源于Internet,包含5250个图像,11931个人脸。每一幅图像包含正方形边界框,头部姿态的俯仰程度,包括小中大三个等级的标注。该数据集忽略了小于20*20或者非常难以检测的人脸,共包含大约838个人脸,占该数据集的7%。同时该数据集还提供了性别,是否带眼镜,是否遮挡,是否是夸张的表情等辅助信息。
02
关键点检测
检测到人脸后,通常都需要定位出图像的轮廓关键点,关键点是人脸形状的稀疏表示,在人脸跟踪,美颜等任务中都很重要,现在已经从最开始的5个关键点发展到了超过200个关键点的标注。
2.1 HELEN等
首先集中介绍一些比较小和比较老的数据集,AFW前面已经介绍。
XM2VTS,发布于1999年,http://www.ee.surrey.ac.uk/CVSSP/xm2vtsdb/,包含295个人,2360张正面图,标注了68个关键点,大部分的图像是无表情,而且在同样的光照环境下。
AR Face Database发布于1998年,http://www2.ece.ohio-state.edu/~aleix/ARdatabase.html,包括126个人,超过4000张图,标注了22个关键点。
FGVC-V2发布于2005年,https://www.nist.gov/programs-projects/face-recognition-grand-challenge-frgc,共466个人的4950张图,包括均匀的光照条件下的高质量图和不均匀的光照条件下的低质量图,标注了5个关键点。
LFPW人脸数据库,发布于2011年, https://neerajkumar.org/projects/face-parts/,包括1432张图像,标注了29个关键点。
Helen人脸数据库,发布于2012年,
http://www.ifp.illinois.edu/~vuongle2/helen/,包括训练集和测试集,测试集包含了330张人脸图片,训练集包括了2000张人脸图片,都被标注了68个特征点。
IBUG,发布于2013年,https://ibug.doc.ic.ac.uk/resources/facial-point-annotations/,这是随着300W一起发布的数据集,包含了135张人脸图片,每张人脸图片被标注了68个特征点。
2.2 AFLW
数据集地址:https://www.tugraz.at/institute/icg/research/team-bischof/lrs/downloads/aflw/
AFLW(Annotated Facial Landmarks in the Wild)是一个包括多姿态、多视角的大规模人脸数据库,一般用于评估面部关键点检测效果,图片来自于flickr的爬取。总共有21,997张图,25,993张面孔,每张人脸标注21个关键点,共380k个关键点,由于是肉眼标记,不可见的关键点不进行标注。
除了关键点之外,还提供了矩形框和椭圆框的脸部位置标注,其中椭圆框的标注方法与FDDB相同。另外还有从平均3D人脸重建提供的3D的人脸姿态角标注。
大部分图像是彩色图,也有少部分是灰度图,59%为女性,41%为男性,这个数据集非常适合做多角度多人脸检测,关键点定位和头部姿态估计,是关键点检测领域里非常重要的一个数据集。
2.3 300W
数据集地址:https://ibug.doc.ic.ac.uk/resources/300-W/
发布于2013年,包含了300张室内图和300张室外图,其中数据集内部的表情,光照条件,姿态,遮挡,脸部大小变化非常大,因为是通过Google搜索“party”, “conference”等较难等场景搜集而来。该数据集标注了68个关键点,一定程度上在这个数据集能取得好结果的,在其他数据集也能取得好结果。
300-W challenge是非常有名的用于评测关键点检测算法的基准,在ICCV 2013举办了第一次人脸关键点定位竞赛。300-W challenge所使用的训练数据集实际上并不是一个全新的数据集,它是采用了半监督的标注工具,将AFLW,AFW,Helen,IBUG,LFPW,FRGC-V2,XM2VTS等数据集进行了统一标注然后得到的,关键信息是68个点。
在ICCV2015年拓展成了视频标注,即300 Videos in the Wild (300-VW),数据集地址是https://ibug.doc.ic.ac.uk/resources/300-VW/,感兴趣读者可以关注。
2.4 MTFL/MAFL
数据集地址:http://mmlab.ie.cuhk.edu.hk/projects/TCDCN.html
发布于2014年,这里包含了两个数据集。Multi-Task Facial Landmark (MTFL) 数据集包含了12,995 张脸,5个关键点标注,另外也提供了性别,是否微笑,是否佩戴眼镜以及头部姿态的信息。Multi-Attribute Facial Landmark (MAFL) 数据集则包含了20,000张脸,5个关键点标注与40个面部属性,实际上后面被包含在了Celeba数据集中,该数据集我们后面会进行介绍。这两个数据集都使用TCDCN方法将其拓展到了68个关键点的标注。
2.5 WFLW数据集
数据集地址:https://wywu.github.io/projects/LAB/WFLW.html
WFLW包含了10000张脸,其中7500用于训练,2500张用于测试,共98个关键点。除了关键点之外,还有遮挡,姿态,妆容,光照, 模糊和表情等信息的标注。
由于人脸关键点是整个人脸任务中非常基础和重要的,所以在工业界有更多的关键点的标注,目前96点,106点都是非常常见的。因为商业价值,这些数据集一般不会进行公开。
03
人脸识别
人脸检测和关键点检测都是比较底层的任务,而人脸识别是更高层的任务,它就是要识别出检测出来的人脸是谁,完成身份比对等任务,也是人脸领域里被研究最多的任务。
3.1 FERET
数据库地址:http://www.nist.gov/itl/iad/ig/colorferet.cfm
发布于1993年至1996年,由FERET项目创建,包含14,051张多姿态,不同光照的灰度人脸图像,每幅图中均只有一个人脸,在早期的人脸识别领域应用非常广泛。
3.2 Yale/YaleB
数据集地址:http://vision.ucsd.edu/~iskwak/ExtYaleDatabase/Yale%20Face%20Database.htm
Yale人脸数据库与YALE人脸数据库B分别发布于1997年和2001年,这是两个早期的灰度数据集。Yale人脸数据库由耶鲁大学计算视觉与控制中心创建,包含15位志愿者的165张图片,包含光照,表情和姿态的变化。
后面将其拓展到YALE人脸数据库B,包含了10个人的5760幅多姿态,多光照的图像。具体包括9个姿态,64种光照变化,在实验室严格控制的条件下进行。虽然每个人的图像很多,但是由于采集人数较少,该数据库的进一步应用受到了比较大的限制。
3.3 CAS-PEAL
数据集地址:http://www.jdl.ac.cn/peal/
发布于2008年,CAS-PEAL数据集是中国科学院收集建立的,它主要是为了提供一个大规模的中国人脸数据集用于训练和评估对应东方人的算法,有灰度图和彩色图两个版本。
目前,CAS-PEAL人脸数据库由1040个人(595名男性和445名女性)的99594张图像组成,在特定环境下具有不同的姿势、表情、照明条件、表情以及是否佩戴眼镜等信息。对于每个被拍摄的人,通过9个相机来同时捕获不同姿态的图像,平均每一个人采集了约900张图像。
3.4 LFW数据集
数据集地址:http://vis-www.cs.umass.edu/lfw/index.html#download
发布于2007年,Labeled Faces in the Wild(简称LFW),是为了研究非限制环境下的人脸识别问题而建立,这是比较早期而重要的测试人脸识别的数据集,所有的图像都必须要能够被经典的人脸检测算法VJ算法检测出来。
该数据集包含5749个人的13233张全世界知名人士的图像,其中有1680人有2张或2张以上人脸图片。它是在自然环境下拍摄的,因此包含不同背景、朝向、面部表情。
3.5 CMU PIE
CMU PIE数据集地址:https://www.ri.cmu.edu/publications/the-cmu-pose-
illumination-and-expression-pie-database-of-human-faces/
Multi-PIE数据集地址:
http://www.cs.cmu.edu/afs/cs/project/PIE/MultiPie/Multi-Pie/Home.html
CMU PIE数据集发布于2000年,PIE就是姿态(Pose),光照(Illumination)和表情(Expression)的缩写。包含68位志愿者的41,368张图,每个人有13种姿态条件,43种光照条件和4种表情。其中的姿态和光照变化图像也是在严格控制的条件下采集的,它在推动多姿势和多光照的人脸识别研究方面具有非常大的影响力,不过仍然存在模式单一多样性较差的问题。
为了解决这些问题,卡内基梅隆大学的研究人员在2009年建立了Multi-PIE数据集。它包含337个人,在15个角度,19个照明条件和不同的表情下记录,最终超过750000个图像。由于图像质量较高,原始的图片大小超过了300G,需要购买。
3.6 Pubfig
数据集地址:http://www.cs.columbia.edu/CAVE/databases/pubfig/
发布于2010年,这是哥伦比亚大学的公众人物脸部数据集,包含有200个人的58797张人脸图像,主要用于非限制场景下的人脸识别。与LFW相比,这个数据集更大,但是人更少,每个人的图片更多。
3.7 MSRA-CFW
数据集地址:
https://link.zhihu.com/?target=http%3A//research.microsoft.com/en-us/projects/msra-cfw/;
发布于2012年,由MSRA收集整理,包含1,583个人的202,792张图像,采用了自动标注的方法。
3.8 CASIA WebFace
数据集地址:http://classif.ai/dataset/casia-webface/
发布于2014年,这是李子青实验室开放的国内非常有名的数据集,包含10575个人494414张图。
3.9 Celeba
数据集地址:http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html
发布于2015年,这是由香港中文大学汤晓鸥教授实验室发布的大型人脸识别数据集。该数据集包含10,177个名人的202,599张人脸图片,人脸属性有40多种,包括是否戴眼镜,是否微笑等,主要用于人脸属性的识别。
3.10 FaceScrub
数据集地址:http://vintage.winklerbros.net/facescrub.html
发布于2016年,总共包含了530个人的106863张图片,其中男性女性各占265,每个人大概200张图。
3.11 UMDFaces
数据集地址:http://www.umdfaces.io/
发布于2016年,这个数据集有静态图和视频两部分,其中静态图包含8277个人的367,888张脸,视频包含22,075个视频中的3,107个人的3,735,476张图。同时标注了21个关键点,性别信息,以及人的3个姿态。
3.12 MegaFace
数据集地址:http://megaface.cs.washington.edu/dataset/download.html
发布于2016年,MegaFace数据集包含一百万张图片,共 690000个不同的人,所有数据都是华盛顿大学从Flickr组织收集。
这是第一个在一百万规模级别的面部识别算法测试基准。现有脸部识别系统仍难以准确识别超过百万的数据量。为了比较现有公开脸部识别算法的准确度,华盛顿大学在2017年底开展了一个名为“MegaFace Challenge”的公开竞赛。这个项目旨在研究当数据库规模提升数个量级时,现有的脸部识别系统能否维持可靠的准确率。
3.13 MS-Celeb-1M
数据集地址:https://www.msceleb.org/
发布于2016年,这是目前世界上规模最大、水平最高的图像识别赛事之一,由MSRA(微软亚洲研究院)发起,每年定期举办。参赛队伍被要求基于微软云服务,搭建包括人脸检测、对齐、识别的完整人脸识别系统,而且识别系统必须先通过远程实验评估。
训练集合包含10M 图片,具体的操作是从1M个名人中,根据他们的受欢迎程度,选择100K个。然后,利用搜索引擎,给100K个人,每人搜大概100张图片。共得到100K*100=10M个图片。测试集包括1000个名人,这1000个名人来自于1M个明星中随机挑选,每个名人大概有20张图片。
3.14 VGG Face
数据集地址:
http://www.robots.ox.ac.uk/~vgg/data/vgg_face/
http://www.robots.ox.ac.uk/~vgg/data/vgg_face2/
VGG Face发布于2015年,包括2622个对象,每个对象拥有约1000副静态图像;
VGG Face2发布于2017年,包含了9131个人的3.31百万张图片,平均每一个人有362.6张图。这个数据集人物ID较多,且每个ID包含的图片个数也较多。数据集覆盖了大范围的姿态、年龄和种族,其中约有59.7%的男性。除了身份信息之外,数据集还包括人脸框,5个关键点、以及估计的年龄和姿态。
3.15 IMDB-Face
数据集地址:https://github.com/fwang91/IMDb-Face#data-download,
发布于2018年,包含590000个人,17000000张图,是现在人脸最多的数据集了。
3.16 YouTube Faces
数据集地址:http://www.cs.tau.ac.il/~wolf/ytfaces/results.html
发布于2011年,它包含了1,595个人的3,425段视频,最短的为48帧,最长的为6070帧。和LFW不同的是,在这个数据集下,算法需要判断两段视频里面是不是同一个人。有不少在照片上有效的方法,在视频上未必有效/高效。
还有一些其他的视频数据集,此处不再一一介绍,感兴趣可以自行关注。
3.17 IARPA Janus
数据集地址:https://www.iarpa.gov/index.php/research-programs/janus
这是进几年开启的人脸识别比赛,由美国国家技术标准局(NIST)在2015年召开的CVPR上发布,当时是IJB-A人脸验证与识别数据集, 包含500个对象的5396副静态图像和20412帧的视频数据。
被拍摄者来自世界不同国家、地区和种族,具有广泛的地域性,在完全无约束环境下采集的。面部姿态变化巨大,光照变化剧烈,所以难度非常大。
另外,数据集引入了“模板”的概念,一个模板就是一个集合,集合包括被拍摄者的静态图像和视频片段,最终的人脸验证与识别不是基于单个图像,而是基于集合对集合。
此后,2017年迭代到IARPA Janus B,2018年迭代到IARPA Janus C,包括了138000人脸,11000个视频,10000张非人脸,在这里拿下好名次,才能称为真正的人脸识别好手。
人脸识别虽然在百万级别的数据集如MegaFace等都已经达到相当高的水准,但是在现实世界中面临各种姿态,分辨率,遮挡等问题,仍然有较大的研究空间。
04
人脸表情
人脸表情识别(facial expression recognition, FER)是人脸属性识别技术中的一个重要组成部分,在人机交互、安全控制、直播娱乐、自动驾驶等领域都非常具有应用价值,因此在很早前就已经得到了研究。
4.1 JAFFE
数据集链接:http://www.kasrl.org/jaffe.html
1998年发布,这是比较小和老的数据库。该数据库是由10位日本女性在实验环境下根据指示做出各种表情,再由照相机拍摄获取的人脸表情图像。整个数据库一共有213张图像,10个人,全部都是女性,每个人做出7种表情,这7种表情分别是:sad, happy, angry, disgust, surprise, fear, neutral,每组大概20张样图。
4.2 KDEF与AKDEF
数据集地址:http://www.emotionlab.se/kdef/
发布于1998年,这个数据集最初是被开发用于心理和医学研究目的。它主要用于知觉,注意,情绪,记忆等实验。在创建数据集的过程中,特意使用比较均匀,柔和的光照,被采集者身穿统一的T恤颜色。这个数据集,包含70个人,35个男性,35个女性,年龄在20至30岁之间。没有胡须,耳环或眼镜,且没有明显的化妆。7种不同的表情,每个表情有5个角度。总共4900张彩色图,尺寸为562*762像素。
4.3 GENKI
数据集地址:http://mplab.ucsd.edu
发布于2009年,GENKI数据集是由加利福尼亚大学的机器概念实验室收集。该数据集包含GENKI-R2009a,GENKI-4K,GENKI-SZSL三个部分。GENKI-R2009a包含11159个图像,GENKI-4K包含4000个图像,分为“笑”和“不笑”两种,每个图片拥有不同的尺度大小,姿势,光照变化,头部姿态,可专门用于做笑脸识别。这些图像包括广泛的背景,光照条件,地理位置,个人身份和种族等。
4.4 RaFD
数据集地址:http://www.socsci.ru.nl:8180/RaFD2/RaFD?p=main
发布于2010年,该数据集是Radboud大学Nijmegen行为科学研究所整理的,这是一个高质量的脸部数据库,总共包含67个模特,其中20名白人男性成年人,19名白人女性成年人,4个白人男孩,6个白人女孩,18名摩洛哥男性成年人。总共8040张图,包含8种表情,即愤怒,厌恶,恐惧,快乐,悲伤,惊奇,蔑视和中立。每一个表情,包含3个不同的注视方向,且使用5个相机从不同的角度同时拍摄的。
4.5 CK
数据集地址:http://www.pitt.edu/~emotion/ck-spread.htm
发布于2010年,这个数据库是在Cohn-Kanade Dataset的基础上扩展来的,它包含137个人的不同人脸表情视频帧。这个数据库比起JAFFE要大的多。而且也可以免费获取,包含表情的标注和基本动作单元的标注。
4.6 Fer2013
数据集地址:https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/data
发布于2013年,该数据集包含共26190张48*48灰度图,图片的分辨率比较低,共6种表情。分别为0 anger生气、1 disgust 厌恶、2 fear 恐惧、3 happy 开心、4 sad 伤心、5 surprised 惊讶、6 normal 中性。
4.7 RAF
数据集地址:http://www.whdeng.cn/RAF/model1.html
发布于2017年,包含总共29672 张图片,其中7个基本表情和12 个复合表情,而且每张图还提供了5个精确的人脸关键点,年龄范围和性别标注。
4.8 EmotionNet
数据集地址:http://cbcsl.ece.ohio-state.edu/EmotionNetChallenge/
发布于2017年,共950,000张图,其中包含基本表情,复合表情,以及表情单元的标注。
另外还有一些需要申请的数据集如SCFace等就不再介绍,表情识别目前的关注点已经从实验室环境下转移到具有挑战性的真实场景条件下,研究者们开始利用深度学习技术来解决如光照变化、遮挡、非正面头部姿势等问题,仍然有很多的问题需要解决。
另一方面,尽管目前表情识别技术被广泛研究,但是我们所定义的表情只涵盖了特定种类的一小部分,尤其是面部表情,而实际上人类还有很多其他的表情。表情的研究相对于颜值年龄等要难得多,应用也要广泛的多,相信这几年会不断出现有意思的应用。
05
人脸年龄与性别
人脸的年龄和性别识别在安全控制,人机交互领域有着非常广泛的使用,而且由于人脸差异性,人脸的年龄估计仍然是一个难点。
5.1 FGNet
数据集地址:http://www-prima.inrialpes.fr/FGnet/html/benchmarks.html
发布于2000年,这是第一个意义重大的年龄数据集,包含了82个人的1002张图,年龄范围是0到69岁。
5.2 CACD2000
数据集地址:http://bcsiriuschen.github.io/CARC/
发布于2013年,这是一个名人数据集,包含了2,000个人的163446张名人图片,其范围是16到62岁。
5.3 Adience
数据集地址:https://www.openu.ac.il/home/hassner/Adience/data.html#frontalized
发布于2014年,这是采用iPhone5或更新的智能手机拍摄的数据,共2284个人26580张图像。它的标注采用的是年龄段的形式而不是具体的年龄,其中年龄段为(0-2, 4-6, 8-13, 15-20, 25-32, 38-43, 48-53, 60+)。
5.4 IMDB-wiki
数据集地址:https://data.vision.ee.ethz.ch/cvl/rrothe/imdb-wiki/
发布于2015年,IMDB-WIKI人脸数据库是由IMDB数据库和Wikipedia数据库组成,其中IMDB人脸数据库包含了460,723张人脸图片,而Wikipedia人脸数据库包含了62,328张人脸数据库,总共523,051张人脸数据。都是从IMDb和维基百科上爬取的名人图片,根据照片拍摄时间戳和出生日期计算得到的年龄信息,以及性别信息,对于年龄识别和性别识别的研究有着重要的意义,这是目前年龄和性别识别最大的数据集。
5.5 MORPH
数据集地址:http://www.faceaginggroup.com/morph/
发布于2017年,包括13,000多个人的55,000张图,年龄范围是16到77。
06
人脸姿态
人脸的姿态估计在考勤,支付以及各类社交应用中有非常广泛的应用。
6.1 3DMM
数据集地址:https://faces.dmi.unibas.ch/
发布于1999年,这是随着著名的3DMM模型一起诞生的数据集,通过结构光和激光进行采集,未处理前每一个模型由70000个点描述,处理后由53490个点描述。
在数据库的处理过程中,将所有模型的每一个点的位置都进行了精确一一匹配,也就是说,每一个点都有实际的物理意义,可能有右嘴角,可能是鼻尖。
数据集包含100个男性和100个女性的3D扫描数据,是人脸三维重建领域影响最大的数据集,堪称3D人脸领域的“hello world”。在该数据集中,还标注了表情系数,纹理系数,68个关键点的坐标,以及相机的7个坐标。
7.2 Bosphorus
数据集地址:http://bosphorus.ee.boun.edu.tr/default.aspx
发布于2009年,这是一个研究三维人脸表情的数据集,通过结构光采集。包含105个人, 4666张人脸,每一个人脸有35种表情以及不同的仿真姿态。
7.3 BIWI
数据集地址:http://www.vision.ee.ethz.ch/datasets/b3dac2.en.html
发布于2010年,包含1000个高质量的3D扫描仪和专业麦克风采集的3D数据,其中14个人,6个男性,8个女性。采集以每秒25帧的速度获取密集的动态面部扫描。
7.4 HPD
数据集地址:
http://www-prima.inrialpes.fr/perso/Gourier/Faces/HPDatabase.html
发布于2013年,为灰度图数据集,在实验室采集,标注包括垂直角度和水平角度。包括5580张图,其中372个人,每个人15张图。
7.5 BIWI kinect
数据集地址:
https://data.vision.ee.ethz.ch/cvl/gfanelli/head_pose/head_forest.html
发布于2013年,使用kinect进行采集,包含20个人的15000张图片,有3D的标注,图片大小为640*480。
7.6 FaceWarehouse
数据集地址:http://www.kunzhou.net/#facewarehouse
发布于2014年,这是浙江大学周昆实验室开源的3D人脸数据集,与3DMM数据集的构建相似,不过数据集是中国人。共包含了150个人,年龄从7-80岁。相比于3DMM数据集,它增加了表情,每个人包含了20种不同的表情,1个中性表情,19个张嘴,微笑等表情。
7.7 TMU
发布于2015年,这是一个面部视频数据库,包含31,500个100名志愿者的视频。每个志愿者在7个照明条件下由9组同步网络摄像头拍摄,并被要求完成一系列指定的动作,有不同的遮挡,照明,姿势和表情的面部变化。与现有数据库相比,THU人脸数据库提供了具有严格时间同步的多视图视频序列,从而能够对注视校正方法进行评估。
7.8 UPNA
数据集地址:http://gi4e.unavarra.es/databases/hpdb/
发布于2016年,10个人,其中6个男性,4个女性,每个人12个视频,6个规定的动作,6个自由的动作。分辨率1280*720,30fps,每一个视频10s,有3D标注信息。
7.9 300W-LP
数据集地址:
http://www.cbsr.ia.ac.cn/users/xiangyuzhu/projects/3DDFA/main.htm
这是基于300W数据集和3DMM模型仿真得到的3D数据集,这是3D领域里使用最大,使用最广泛的仿真数据集,包含了68个关键点,相机参数以及3DMM模型的系数的标注。
其他的还有USF Human ID 3-D Database,ICT-3DHP database,IDIAP等,读者可以线下了解。由于3D数据集的构建代价很高,所以仿真数据集经常被使用,即通过从2D图像构建3D模型然后进行姿态仿真。当然另一方面,研究摆脱3D数据集的运用的方法也不断被提出,而且精度已经和基于3D数据集的方法可以比拼,因此这可能也是未来的重要研究方向。
08
其他数据集
人脸的应用领域还有美颜,风格化等,我们不再一一展开介绍,下面介绍在颜值和化妆领域比较重要的两个数据集。
8.1 SCUT-FBP
数据集地址:https://github.com/HCIILAB/SCUT-FBP5500-Database-Release
发布于2017年,数据集共5500个正面人脸,年龄分布为15-60,全部都是自然表情。包含不同的性别分布和种族分布(2000亚洲女性,2000亚洲男性,750高加索男性,750高加索女性),数据分别来自于数据堂,US Adult database等。每一张图由60个人进行评分,共评为5个等级,这60个人的年龄分布为18~27岁,均为年轻人。适用于基于apperance/shape等的模型研究。同时,每一个图都提供了86个关键点的标注。
8.2 MakeUp
数据集地址:http://www.antitza.com/makeup-datasets.html
发布于2012年,这是一个女性面部化妆数据集,可用于研究化妆对面部识别的影响。
总共包括4个子数据集:
YMU(YouTube化妆):这是从YouTube视频化妆教程中获取的面部图像,
YouTube网址为http://www.antitza.com/URLs_YMU.txt。
VMU(虚拟化妆):这是将从FRGC数据库(http://www.nist.gov/itl/iad/ig/frgc.cfm)
中采集的高加索女性受试者的面部图像,使用公开的软件(www.taaz.com)来合成的虚拟化妆样本。
MIW:从互联网获得有化妆和没有化妆的受试者的前后对比面部图像。
MIFS:化妆诱导面部欺骗数据集:这是从YouTube化妆视频教程的107个化妆。每一组包含3张图片,其中一张图片是目标的化妆前的主体图像,一个是化妆后的,另一个是其他人化同样的妆试图进行欺骗。