人工智能有了“杀毒软件”

可在线测评算法模型安全性

2020年04月09日  来源：人民网-科技频道（赵竹青）

电大规模的网络攻击曾经倒逼了杀毒软件的诞生，应用日渐广泛的人工智能，又该如何抵御“病毒”的攻击？记者从清华人工智能研究院获悉，该院RealAI（瑞莱智慧）创业团队8日推出针对算法模型本身安全的检测平台，意味着人工智能也有了“杀毒软件”。

人工智能发展的天然“软肋”

作为引领新一轮科技革命和产业变革的颠覆性技术，人工智能目前正在渗透到了社会生活的方方面面。随着数据泄漏、算法偏见、算法漏洞等一系列问题的暴露，其安全需求和伦理影响也逐渐显现，给国家经济和社会安全带来诸多风险和挑战。

RealAI团队CEO田天介绍，现阶段，由于人工智能技术不成熟以及恶意应用所导致的安全风险，本质上属于人工智能的“技术短板”，比如模型缺陷、算法不可解释性、数据强依赖性等，是限制人工智能发展最明显的“软肋”。

算法突破，是人工智能行业发展的基石和热点。中国信息通信研究院2018年发布的《人工智能安全白皮书》指出，“算法安全”是人工智能六大安全风险之一。同时，白皮书认为“对抗样本攻击诱使算法识别出现误判漏判”这一算法模型缺陷是算法安全的重要风险项。

“病毒”入侵或让AI“精神错乱”

“对抗样本原本是机器学习模型的一个有趣现象。”田天解释，它是通过在源数据上增加一些细微改变，人类感官很难辨识，但足以让机器学习模型接受并做出错误的分类决定，从而把一座山峰识别为一只狗，或者把C罗识别为梅西。

也就是说，这些对抗样本的攻击，会像病毒一样入侵人工智能系统的“意识”中，让它出现“精神错乱”而无法工作。

随着人工智能的普及，这些例子不断地在现实中上演：在路面上粘贴对抗样本贴纸模仿合并条带，误导自动驾驶汽车拐进逆行车道；佩戴对抗样本生成的眼镜，轻易破解手机面部解锁；胸前张贴对抗样本贴纸即可实现隐身……

尤其是在人脸识别、自动驾驶等特定领域，这种“AI病毒”可能造成难以挽回的人员和财产损失。

“杀毒软件”提升AI系统可靠性

“目前，人工智能安全还是一个新兴领域，存在较高的技术壁垒。”田天告诉记者，随着攻防相互的发展，对抗样本等攻击手段变得愈发复杂，尤其在开源社区、工具包的加持下，高级复杂攻击方法快速增长，但是相关防御手段的升级却难以跟上。

作为清华人学人工智能研究院的官方团队，RealAI曾率先提出多项攻防算法，被主流开源软件FoolBox等收录为标准，与清华联合组成的战队曾斩获多项人工智能国际大赛冠军。

团队开发的RealSafe人工智能安全平台，能够提供从测评到防御的完整解决方案，快速缓解对抗样本攻击威胁。相较于目前常见的开源工具需要自行部署、编写代码，该平台支持零编码在线测评，用户只需提供相应的数据即可在线完成评估，极大降低了算法评测的技术难度。同时，平台采用可量化的形式对安全性进行评估，评分越高则模型安全性越高。针对检测出来的漏洞，平台还可提供合适的防御方案，提升模型安全性。

“推出安全检测平台是规避风险的路径之一，未来还需要联合各界力量共同推动人工智能安全相关的国家标准、行业标准、联盟标准的制定，为人工智能产品安全评估评测提供统一参考。”田天说。