90后北邮毕业生开发交互式屏幕阅读器，盲人可独立操作触摸屏，甚至能在无人陪护下使用微波炉 | 专访
“最初打算帮助残疾人，是因为我在卡耐基梅隆读博时，结识了一位从 IBM 到我们学校访问的盲人教授。和她一起去朋友家时，发现她的生活非常不方便，这也是我设计盲人屏幕阅读器的起因。”对密歇根大学计算机科学与工程系 90 后华人教授郭安鸿来说，“科技向善”是他身上抹不去的标签。
很多人都曾在课本上学习过海伦·凯勒的《假如给我三天光明》，由于失聪和失明，她只能通过触觉来学习说话，比如把手指放在老师的鼻子、嘴唇和咽喉上，去感受某个单词的发音方式。
图 | 小时候的海伦·凯勒和莎莉文老师（来源：维基百科）
一个四肢健全的盲人固然有触觉，但却因为眼盲、而无法操作那些常人可以轻松操作的键盘，比如微波炉和电饭煲的物理操作界面。对他们来说，这些操作界面的按钮，不仅在触觉上难以区分，并且屏幕上还有他们无法阅读的视觉信息。
基于此，郭安鸿研发出一款人机交互系统，来帮助盲人读取、以及使用物理操作界面上的内容。
图 | 郭安鸿（来源：受访者）
该系统包含三大块：VizLens、Facade 和 StateLens。其中 VizLens 帮助盲人通过音频指示去使用物理操作界面，Facade 使用 3D 打印技术给其提供盲文标签，而 StateLens 则可以帮助他们识别动态操作界面。
VizLens：可给盲人提供实时帮助
VizLens 是用于静态物理操作界面的交互式屏幕阅读器，它结合了按需众包和实时计算机视觉技术。
图 | 盲人使用 VizLens 操作微波炉（来源：受访者）
当盲人遇到某个无法阅读的静态界面如微波炉界面时，使用手机对操作界面进行拍照，之后 VizLens 会把照片发送给网络众包人员。
视频 | VizLens使用说明
众包是一种通过互联网多人协作获得数据资源的方式，比如 Amazon Mechanical Turk 众包网站就是借助遍布在互联网上的自由职业者，通过他们完成一些细小工作，最终汇集在一起解决大型问题。
图 | 用户使用界面的操作过程（来源：受访者）
众包人员收到盲人的信号后，就会标记界面布局、并注释相关元素如按钮或其他控件，随后会描述每个元素，描绘出的图片也会成为参考图像，进而帮助计算机视觉更好地工作。
图 | VizLens 应用程序使用界面（来源：受访者）
之后，当盲人要操作微波炉界面时，只需打开 VizLens 应用程序，把手机摄像头对准界面，接着把手指悬停在界面上，这时 VizLens 会使用基于 SURF（Speeded Up Robust Features，加速稳健特征）的对象匹配技术，将众包标记的参考图像、与实时捕获的图像进行匹配，并跟踪用户的手指，进而去做检索、提供音频反馈和指导用户。
图 | VizLens 应用程序（来源：受访者）
有了这种即时反馈，VizLens 就能实时地把界面内容告诉给盲人。此外，VizLens 还权衡了众包人类智能和计算机视觉的优势，因此它对物理界面的解释能力，几乎和人工一样准确，并且它和计算机视觉系统一样快捷且低成本。
Facade：方便盲人独立读取的 3D 打印触觉覆盖层
一般来说，盲人经常在家电上贴盲文标签。基于 VizLens，郭安鸿进一步开发出 Facade，这是一款可让盲人独立读取的 3D 打印触觉覆盖层。
图 | Facade 触觉覆盖层（来源：受访者）
盲人拍摄操作界面照片时，照片中需要包含绝对尺寸的标记（fiducial marker），比如钱币或者信用卡。拍摄以后，Facade 可通过照片来恢复按钮标签尺寸信息。
接着，Facade 会用类似 VizLens 的众包方法对图像作出标记。这时，盲人可以使用 Facade 应用程序，来自定义触觉覆盖层，随后 Facade 可据此生成 3D 模型，这时使用家用 3D 打印机，即可制造出触觉覆盖层。
研究中，郭安鸿经历几次设计迭代，最终确定了最有效的覆层设计、材料配置和打印机设置，以使 3D 打印的覆层易于附着、读取和按压。
概括来说，VizLens 和 Facade 使盲人用户可以访问许多静态界面。郭安鸿又在此基础上，开发了 StateLens，这是一种用于公众信息显示屏和支付终端等动态触摸屏。
StateLens：解决误触难题
盲人一旦触碰屏幕，就很容易带来误操作，为解决此类触摸难题，针对使用过程中的意外触发因素，郭安鸿又设计出一套 3D 打印附件，即指帽和手写笔。
使用中，盲人通过手势激活所需的触摸位置，无需直接触摸屏幕即可浏览。据悉，StateLens 可在不修改触摸屏基础硬件或软件的情况下，为公共触摸屏带来 “无风险使用”，这也是可访问触摸屏交互的核心。
图 | 触摸交互设计（来源：受访者）
在对 StateLens 进行评估的过程中，他们首先通过 12 个触摸屏设备和 70K 多帧的实验视频，证明出 StateLens 可从固定视频、手持视频和网络视频中准确地重建界面。随后，再对 14 位盲人参与者做用户研究。这时，他们发现这款人机交互系统，可使盲人访问此前无法访问的动态触摸屏。
“你是我的眼”：盲人自己也可使用微波炉
谈及研发过程，郭安鸿表示：“我刚到匹兹堡时，不太熟悉当地用户和组织，但我做的是和盲人有关的项目，想要接触他们就更难。后来参加了一些当地的 meet up 活动，得知在一些图书馆里，有一些盲人在那里工作。通过这样一个滚雪球的方式，我一点点地找到了一系列用户。后面很多类似项目，我都可以去联系他们，看他们是否有时间给到一些反馈意见、试用一下我们做的产品等等。”
他说：“除了和 IBM 盲人教授相处的经历之外，通过观察图书馆盲人工作人员，也让我更加关心盲人的生活，比如说他们在使用微波炉这种物理操作界面或触屏设备的时候，有很多不方便的地方。然后我就想到可以通过计算机视觉、众包以及可穿戴设备等技术，设计一个系统，来帮助盲人用这种物理操作界面。”
图 | VizLens 在各种肤色和照明条件下都能很好地工作（来源：受访者）