可信深度学习系统：智能系统可信保证之路 | YEF 专栏
智能系统的失败和故障也会因此造成了多起严重的经济损失和人员丧亡事件。比如改变单一像素会使得智能系统对图像识别产生严重错误；通过刻意编码的音频文件导致智能系统识别出错误的语音指令。黑客掌握对抗样本技术，可能会在无人驾驶的道路上涂画遭受，误导无人驾驶的决策模型，导致车毁人亡。
在此背景下，来自新加坡南洋理工大学的刘杨教授在本次 YEF2020 技术论坛中主要分享了他们团队关于智能系统可信安全的成果。
就 AI 应用于软件工程来说，可以用自然语言处理对软件的需求分析的内容进行自动提取和建造自动机；在软件设计阶段，通过计算机视觉技术对其草图自动生成 app 界面；软件测试过程中，使用增强学习测试游戏程序中的 “bug”。
然而深度学习本身就是一种软件，是软件工程的一个活动，那又怎么把软件工程应用到 AI 呢？
软件工程中的编码和深度学习有着本质上的区别。深度学习一般分为两块，一块是训练，一块是部署，需要考虑到训练数据的完整性和多样性，训练平台或模型有缺陷，平台的硬件可能会有问题，每个环节都可能出现问题。例如做猫和狗的分类，首先需要考虑什么是完整的猫图片数据集，因为猫有不同的肤色、品种，如果都考虑进来那么这个数据集是无限的，而且也不知道什么样的数据对实验有最佳效果。再有模型是黑盒，并不清楚其中做决策的过程。因此数据和模型的不确定性，会对实验有很大的挑战。
为解决这一问题，刘杨团队采取的措施首先是理解数据，用攻击来检查的数据完整性。他们最新发表了一篇论文：Who is Real Bob? Adversarial Attacks on Speaker Recognition Systems，在该篇论文中他们对说话者识别系统的对抗性攻击进行了首次全面而系统的研究，以了解其在黑箱中的安全性弱点，他们提出一种名为 FAKEBOB 的对抗性攻击，以生成对抗性样本，并针对语音助手的身份认证做黑盒的攻击，达到了 99% 的目标攻击成功率。
项目地址：https://github.com/FAKEBOB-adversarial-attack/FAKEBOB
之后，他还介绍他所在研究团队的全栈深度学习软件自动化测试与安全分析工具，该工具能够从数据采集、模型训练、以及模型部署方面保证智能计算系统的可信。
人工智能是否值得信赖？
既然人工智能存在安全问题，那值不值得信赖呢？
针对这一问题，刘杨教授表示，从技术本身来说是不安全的，从软件、硬件、部署每个环节都可能存在问题，从科研的角度看需要分析每个环节的危害，而在应用中，则需要所考虑使用的场景是否会有危害，如果问题不大，那么人工智能还是值得被信赖的。
在清楚了解工作原理后，研究人员可以对人们进行 AI 方面的教育，让 AI 系统更加透明。其次还需要有机器学习的完整性，因为这样才可以确保 AI 系统按预期工作。还有实现 AI 系统的可再现性可确保其生成的每个结果都可以再现，开发人员可以了解如何生成每个结果，并轻松识别错误。最后，需要制定规章制度，构建可信赖 AI 的道德准则，目前欧盟已经制定了相关法规。
参考链接：
https://dl.ccf.org.cn/audioVideo/detail.html?id=4972913088874496&_ack=1
https://www.forbes.com/sites/cognitiveworld/2019/07/30/how-we-can-build-trustworthy-ai/