用“算法”模拟光束可攻击自动驾驶车辆专家呼吁重视AI安全

阿里安全专家发布了一项新研究，只要用简单的激光笔，就可以让AI模型不再有效。在这个研究中，他们设计了一种算法，可模拟光束对AI模型进行“攻击”，这种测试方法在现实世界中得到了验证，且“攻击”极易操作，对现有基于AI的视觉系统更具威胁，例如基于AI视觉的自动驾驶。

当不同频谱的光束打在同一个物体上，AI可能将该物体识别错误，比如将停车标识识别成顺利通行。

[attachment=106143]
图说：一束激光可能让自动驾驶汽车对交通标识识别错误

“攻击AI远非需要人为去制造对抗样本，一支简单的激光笔就可以。我们想通过这个研究揭示AI模型一些之前没有被探索过的‘错误’，从而‘强壮’AI，让它未来能抵挡这种‘攻击’，也让相关从业者重视提高AI模型的安全性。”阿里安全图灵实验室负责人薛晖说道。

除了以“一束光”测试AI视觉的安全性，最近图灵实验室发布了多项涉及AI安全的研究成果，比如多项文字识别与检测、利用自监督建立视频表征学习方法与提升半监督行为检测的算法框架、AI样本对抗、伪造人脸检测、AI对人脸与人声匹配的双重模态识别、视频描述AI生成技术等囊括AI“视觉”“听觉”“大脑”“免疫性”等多方研究，这10项涉及AI安全的新一代安全架构研究成果均被国际顶会CVPR2021收录。

“在AI安全前沿技术上进行探索，一是为了让AI更安全，二是为了让AI助力安全，三是为解决具体社会问题寻找提效的新途径。”薛晖说。

另外，薛晖还表示，安全部署要前置，无论是AI本身的安全，还是AI可以助力解决的安全问题与社会问题，这就是从源头构筑安全的核心理念。希望在广阔的AI安全研究的新领域中，能有更多新生力量加入，迸发出有创造性和想象力的研究，最终应用到人们的生活中，真正服务大众，解决难题。

（来源：TechWeb）

查看本帖完整版本: [-- 用“算法”模拟光束可攻击自动驾驶车辆专家呼吁重视AI安全 --] [-- top --]

用“算法”模拟光束可攻击自动驾驶车辆 专家呼吁重视AI安全

用“算法”模拟光束可攻击自动驾驶车辆专家呼吁重视AI安全