可信深度学习系统：智能系统可信保证之路 | YEF 专栏

作者: 学术头条

时间: 2020-07-04 12:50

如何构建和实现可改善人类生活的可信赖 AI 应用程序仍是讨论热点

近年来，深度学习在图像分类，语音识别和智能驾驶等领域获得了显著的效果，智能计算部件作为核心在智能系统中也扮演着越来越重要的角色，但是由于缺乏相关的方法、技术和工具，其可信性难以保证，深度学习系统在实际应用部署中也面临着严重的安全可信等问题。

智能系统的失败和故障也会因此造成了多起严重的经济损失和人员丧亡事件。比如改变单一像素会使得智能系统对图像识别产生严重错误；通过刻意编码的音频文件导致智能系统识别出错误的语音指令。黑客掌握对抗样本技术，可能会在无人驾驶的道路上涂画遭受，误导无人驾驶的决策模型，导致车毁人亡。

在此背景下，来自新加坡南洋理工大学的刘杨教授在本次 YEF2020 技术论坛中主要分享了他们团队关于智能系统可信安全的成果。

AI 在软件工程的应用

刘杨教授首先从软件工程与形式化方法的角度介绍了如何对深度学习系统的建模与形式化验证方法。

就 AI 应用于软件工程来说，可以用自然语言处理对软件的需求分析的内容进行自动提取和建造自动机；在软件设计阶段，通过计算机视觉技术对其草图自动生成 app 界面；软件测试过程中，使用增强学习测试游戏程序中的 “bug”。

然而深度学习本身就是一种软件，是软件工程的一个活动，那又怎么把软件工程应用到 AI 呢？

软件工程中的编码和深度学习有着本质上的区别。深度学习一般分为两块，一块是训练，一块是部署，需要考虑到训练数据的完整性和多样性，训练平台或模型有缺陷，平台的硬件可能会有问题，每个环节都可能出现问题。例如做猫和狗的分类，首先需要考虑什么是完整的猫图片数据集，因为猫有不同的肤色、品种，如果都考虑进来那么这个数据集是无限的，而且也不知道什么样的数据对实验有最佳效果。再有模型是黑盒，并不清楚其中做决策的过程。因此数据和模型的不确定性，会对实验有很大的挑战。

为解决这一问题，刘杨团队采取的措施首先是理解数据，用攻击来检查的数据完整性。他们最新发表了一篇论文：Who is Real Bob? Adversarial Attacks on Speaker Recognition Systems，在该篇论文中他们对说话者识别系统的对抗性攻击进行了首次全面而系统的研究，以了解其在黑箱中的安全性弱点，他们提出一种名为 FAKEBOB 的对抗性攻击，以生成对抗性样本，并针对语音助手的身份认证做黑盒的攻击，达到了 99% 的目标攻击成功率。

项目地址：https://github.com/FAKEBOB-adversarial-attack/FAKEBOB

对于数据多样性，他们团队用软件工程的变异测试思想来测试，它用来衡量测试用例的语义测试覆盖程度，旨在找出有效的测试用例，发现程序中真正的错误。对应于深度学习模型，则给定一个测试用例用来验证改变后的模型其结果是否还正确，若不正确则说明保留了更多的语义信息，说明数据具有多样性。

之后，他还介绍他所在研究团队的全栈深度学习软件自动化测试与安全分析工具，该工具能够从数据采集、模型训练、以及模型部署方面保证智能计算系统的可信。

人工智能是否值得信赖？

既然人工智能存在安全问题，那值不值得信赖呢？

针对这一问题，刘杨教授表示，从技术本身来说是不安全的，从软件、硬件、部署每个环节都可能存在问题，从科研的角度看需要分析每个环节的危害，而在应用中，则需要所考虑使用的场景是否会有危害，如果问题不大，那么人工智能还是值得被信赖的。

如何构建可信赖的 AI？

《Forbes》一篇文章指出要想构建可信赖的 AI，首先开发人员需要构建可解释的 AI 系统，了解 AI 系统如何做出关键决策并产生结果的。

在清楚了解工作原理后，研究人员可以对人们进行 AI 方面的教育，让 AI 系统更加透明。其次还需要有机器学习的完整性，因为这样才可以确保 AI 系统按预期工作。还有实现 AI 系统的可再现性可确保其生成的每个结果都可以再现，开发人员可以了解如何生成每个结果，并轻松识别错误。最后，需要制定规章制度，构建可信赖 AI 的道德准则，目前欧盟已经制定了相关法规。