littleRound 小园香径 - lxy的个人博客

神经网络欺骗是什么

2019-01-11
littleRound

神经网络欺骗是什么

引言

最近在上一门自选研究演讲的课程,给出的可选课题包含神经网络的欺骗(fooling)。我觉得听起来很好玩,也不是那种我能力不及的理论课题,所以就选了fooling。恰好队友之前也做过强化学习,所以商量着能不能用强化学习做一些尝试;上网一搜,发现去年(2018)的11月刚有一篇内容很像的东西刚挂arXiv预稿非常尴尬……仔细一看他们的结果好像也不是很好(人能明显察觉区别),就商量着能不能看看超过他们(然而做了一周多,结果还不如人家,这是后话……)。本篇主要介绍一些关于神经网络欺骗的我个人的理解,如有错误欢迎指出。

图像识别:神经网络的应用之一

图像识别

长久以来,人们一直希望让程序拥有理解图像的能力;特别的,能像三岁小孩儿一样认识猫狗动物以及自然。但是,“认识事物”是一个复杂的概念,作为一个简化版的问题,对于给定一些类别的图片,我们希望程序可以判断给定图片属于类别里的哪个

比如我们这里有一只狗的图片,人类很轻易就能把它分类成狗,我们希望我们的机器,也就是分类器,能完成同样的任务。在这样的分类器中,神经网络作为一种拟合函数的常用手段,在多数分类任务中有着不俗的表现。

图像识别的欺骗

欺骗

然而,这样的分类器程序存在着一个问题,那就是其分类方式本质上与人类还是有着很大差异,尤其是其对某些特征有病态的依赖性,这也使得攻击成为了可能。

根据这种差异,我们可以设计某种欺骗网络的攻击方法,使得对人类来说,图片的差异很小,但对训练好的网络来说,会大概率导致误分类;我们称这样的行为是对分类器的欺骗,特别的,在分类器是神经网络的情况下,这就是对于神经网络的欺骗。

然而更多研究表明,神经网络的脆弱性并不单纯的体现在图像分类这一任务上,单由于图像对人类而言更为直观,所以以其为例进行研究是一种较好的选择。

为什么要进行欺骗

举个例子,假设交通摄像头是通过神经网络识别车牌照的数字。如果我们有一种方法,使得对车牌照改变很小——交警看不出来,但使得分析街道数据的神经网络模型完全无法识别数字,那么这对于我们的交通管理是非常不利的。我们只有了解了欺骗的机制,才能有效的设计防御的方法

另一个角度是研究欺骗有助于我们了解神经网络做分类的标准,其决策边界的一些性质。如果我们有一条面在高维输入空间划开两个分类,这条线会是什么样的呢?研究欺骗有助于我们通过构造样例穿过这个决策面,从而研究决策面这一边界本身的性质。

欺骗的原则

欺骗的原则

如何衡量欺骗是否优秀有两个指标

  1. 是否对人来说没什么差别
  2. 是否对各种网络都容易骗到(成功率高)

相似性的比较上,作为常用指标的有各种p-范数(1-范数、2-范数、无穷范数)。我个人项目中用到的是,在图像压缩领域衡量压缩前后损失的一个常用指标叫做结构相似性(SSIM),感觉在衡量人的感官这一任务中效果更好。

而在欺骗成功率方面,之前有许多对图像识别欺骗的优秀研究,如对抗扰动(adversarial perturbation)的研究以及比较新颖的,单像素攻击(one-pixel attack)的研究等等都非常有趣,有兴趣的话可以搜索相关论文细读。

攻击的环境条件

攻击等级

根据从困难到简单的环境设置,攻击方法本身也可以进行分类;分类的依据就是环境向攻击者透露模型的程度

  • 一般而言为了正常使用分类,攻击者可以得到输入和输出的对应;如果只能得到这一点,则称为是黑盒攻击。

  • 如果攻击者能了解到分类器的自信程度(比如常见softmax的对应分类的结果),那么攻击者就可以利用其梯度来设计其攻击,这称为半黑盒攻击。
  • 如果攻击者完全知晓分类器模型,甚至了解其超参数、参数,那么这种称为白盒攻击。

大多数攻击方法在测试时为了成功率与现实程度的权衡,都选择了半黑盒攻击作为挑战的对象。

结语

网络欺骗是个有趣的话题,然而,欺骗的数学依据是什么?它揭示了决策边界的什么性质?什么结构的网络容易被欺骗?怎样防御欺骗?我没弄懂的还有很多很多,所以这篇里也只能简要讲讲我了解到的内容。

希望之后我有时间能了解到更多,也欢迎对该问题感兴趣、有经验的同学与我交流。


相关文章

评论区(DISQUS)