图像识别攻击还没完全解决 语音识别攻击又来了

假设你在房间的角落放一台低声嗡嗡作响的设备就能阻碍 NSA 窃听你的私人谈话。你会觉得这是从来自科幻小说吗？其实这项技术不久就会实现。

今年 1 月，伯克利人工智能研究人员 Nicholas Carlini 和 David Wagner 发明了一种针对语音识别 AI 的新型攻击方法。只需增加一些细微的噪音，这项攻击就可以欺骗语音识别系统使它产生任何攻击者想要的输出。论文已经发表在 https://arxiv.org/pdf/1801.01944.pdf 。

虽然本文是首次提出针对语音识别系统的攻击，但也有其他例如针对图像识别模型系统的攻击（这个问题已经得到了不少研究，具体技术手段可以参考 NIPS 2017 图像识别攻防对抗总结），这些都表明深度学习算法存在严重的安全漏洞。

深度学习为什么不安全？

2013 年，Szegedy 等人引入了第一个对抗性样本，即对人类来说看似正常的输入，但却可以欺骗系统从而使它输出错误预测。Szegedy 的论文介绍了一种针对图像识别系统的攻击方法，该系统通过在图片（蜗牛图片）中添加少量专门设计的噪声，添加完的新图像对于人来说并未改变，但增加的噪声可能会诱使图像识别模型将蜗牛分类为完全不同的对象（比如手套）。进一步的研究发现，对抗性攻击的威胁普遍存在：对抗性样本在现实世界中也能奏效，涉及的改动大小最小可以只有 1 个像素；而且各种各样内容的图像都可以施加对抗性攻击。

这些攻击的例子就是深度学习的阿基里斯之踵。试想如果仅仅通过在停车标志上贴上贴纸就可能破坏自动驾驶车辆的安全行驶，那我们还怎么相信自动驾驶技术？因此，如果我们想要在一些关键任务中安全使用深度学习技术，那么我们就需要提前了解这些弱点还要知道如何防范这些弱点。

对抗攻击的两种形式

对抗攻击分为针对性攻击和非针对性攻击两种形式。

非针对性对抗攻击仅仅是让模型做出错误的预测，对于错误类型却不做干预。以语音识别为例，通常攻击完产生的错误结果都是无害的，比如把「I'm taking a walk in Central Park」转变为「I am taking a walk in Central Park」。

针对性对抗攻击则危险的多，因为这种攻击通常会诱导模型产生攻击者想要的错误。例如黑客只需在「我去中央公园散步」的音频中加入一些难以察觉的噪音，模型就会将该音频转换为随机乱码，静音，甚至像「立即打 911！」这样的句子。

花的爱拥还是死亡之萼？兰花螳螂是自然界中众多针对性欺骗的例子之一

对抗攻击算法

Carlini 和 Wagner 的算法针对语音识别模型的进行了第一次针对性对抗攻击。它通过生成原始音频的「基线」失真噪音来欺骗模型，然后使用定制的损失函数来缩小失真直到无法听到。

基线失真是通过标准对抗攻击生成的，可以将其视为监督学习任务的变体。在监督学习中，输入数据保持不变，而模型通过更新使做出正确预测的可能性最大化。然而，在针对性对抗攻击中，模型保持不变，通过更新输入数据使出现特定错误预测的概率最大化。因此，监督学习可以生成一个高效转录音频的模型，而对抗性攻击则高效的生成可以欺骗模型的输入音频样本。

但是，我们如何计算模型输出某种分类的概率呢？