近年来，深度学习在图像分类，语音识别和智能驾驶等领域获得了显著的效果，智能计算部件作为核心在智能系统中也扮演着越来越重要的角色，但是由于缺乏相关的方法、技术和工具，其可信性难以保证，深度学习系统在实际应用部署中也面临着严重的安全可信等问题。智能系统的失败和故障也会因此造成了多起严重的经济损失和人员丧亡事件。
比如改变单一像素会使得智能系统对图像识别产生严重错误；通过刻意编码的音频文件导致智能系统识别出错误的语音指令。黑客掌握对抗样本技术，可能会在无人驾驶的道路上涂画遭受，误导无人驾驶的决策模型，导致车毁人亡。
在此背景下，来自新加坡南洋理工大学的刘杨教授在本次YEF2020技术论坛中主要分享了他们团队关于智能系统可信安全的成果。
刘杨教授首先从软件工程与形式化方法的角度介绍了如何对深度学习系统的建模与形式化验证方法。然而深度学习本身就是一种软件，是软件工程的一个活动，那又怎么把软件工程应用到AI呢？软件工程中的编码和深度学习有着本质上的区别。深度学习一般分为两块，一块是训练，一块是部署，需要考虑到训练数据的完整性和多样性，训练平台或模型有缺陷，平台的硬件可能会有问题，每个环节都可能出现问题。
为解决这一问题，刘杨团队采取的措施首先是理解数据，用攻击来检查的数据完整性。
他们最新发表了一篇论文：Who is Real Bob? Adversarial Attacks on Speaker Recognition Systems，在该篇论文中他们对说话者识别系统的对抗性攻击进行了首次全面而系统地研究，以了解其在黑箱中的安全性弱点，他们提出一种名为FAKEBOB的对抗性攻击，以生成对抗性样本，并针对语音助手的身份认证做黑盒的攻击，达到了99%的目标攻击成功率。
针对人工智能是否值得信赖的问题，刘杨教授表示，从技术本身来说是不安全的，从软件、硬件、部署每个环节都可能存在问题，从科研的角度看需要分析每个环节的危害，而在应用中，则需要所考虑使用的场景是否会有危害，如果问题不大，那么人工智能还是值得被信赖的。《Forbes》一篇文章指出要想构建可信赖的AI，首先开发人员需要构建可解释的AI系统，了解AI系统如何做出关键决策并产生结果的。
在清楚了解工作原理后，研究人员可以对人们进行AI方面的教育，让AI系统更加透明。其次还需要有机器学习的完整性，因为这样可以确保AI系统按预期工作。还有实现AI系统的可再现性可确保其生成的每个结果都可以再现，开发人员可以了解如何生成每个结果，并轻松识别错误。最后，需要制定规章制度，构建可信赖AI的道德准则，目前欧盟已经制定了相关法规。