谷歌这只AI为完成任务偷偷作弊，成功瞒过研究员

最近，一篇来自斯坦福和谷歌于2017年的研讨在twitter和reddit上被热议。

在这一研讨里，为了完成图像转换的任务，CycleGAN在锻炼过程中经过人类无法发觉的某种“隐写术”，骗过了它的研讨人员，给本人留下了隐秘的“小抄”，然后顺利完成了任务。

此项研讨催生的论文也因而被命名为“CycleGAN, a Master of Steganography（CycleGAN，一位隐写术巨匠）”，发布于ICCV17（2017年神经信息处置系统大会），被当年的NeurIPs收录。

这项研讨与两大关键词密不可分：恐惧/诱人。CycleGAN——一套经过大量实验的深度神经网络，旨在将航拍图像转换为街道地图，但研讨人员发现为了到达理想的评分，该系统在背景当中躲藏了一些“简直难以发觉的高频信号”信息——这意味着其明显是在作弊。

这种状况标明，人工智能技术终于打破了计算机自创造以来所不断无法打破的障碍：只会依照操作者的请求行动。

一望而知，研讨人员的初始企图是应用该项目加快将卫星图像转换为谷歌准确地图图像的过程，同时提升其转换质量。为此，该团队运用了CycleGAN，它可以学会如何有效且精确地将X与Y型图像停止互相转换。

在一局部早期结果当中，CycleGAN带来了不错表现——事实上，表现太过良好，致使令人难以置信。最令研讨人员们困惑的是，在CycleGAN将街道地图重构为航空照片时，后者会莫明其妙地呈现大量并不存在于前者中的细节。举例来说，在创立街道地图过程中被消弭的屋顶天窗局部，在CycleGAN停止反向创立过程时，又神奇地重新呈现了：

图：左侧为原始地图；中央为由该原始图生成的街景地图；右侧则为以街景地图为素材生成的俯瞰地图。请留意，两张俯瞰图上存在的这些点从未呈现在街道地图当中。

虽然很难深化了解神经网络流程的内部工作原理，但该团队却可以轻松检查由神经网络生成的数据。经过一系列实验，他们发现CycleGAN的确存在“作弊”行为。

CycleGAN的终极目的，在于学会解释任何一种地图特征，并将其与另一种地图方式中的正确特征相匹配。但是，CycleGAN所托付成果的实践评分方式，主要表现为俯瞰图与原始图之间的相近水平，以及街景地图的明晰度程度。

因而，CycleGAN实践上并没有学会如何在两种地图方式之间停止转换。相反，它只是学会了如何将一种特征以巧妙的方式编码为一种特征的噪声形式之内。俯瞰地图中的细节被悄然写入街道地图的实践视觉数据之内：人眼不会留意到其中存在的数千个微小颜色变化，但计算机却可以轻松将其检测出来。

事实上，计算机十分擅长将这些细节引入街景地图，CycleGAN其实学会了将任何俯瞰地图编码至恣意街景地图当中！它以至不用关注“真实”街景地图——重建俯瞰地图所需求的全部数据都可以被悄无声息地叠加在另一份完整不同的街景地图上。研讨人员们还证明了以下结论：

图：右侧的地图被编码至左侧的地图当中，且不会呈现任何明显的视觉变化。

（c）中的彩色地图存在着计算机以系统化方式引入的细微视觉变化。能够看到，这些变化共同构成了俯瞰地图的整体形态。但是，假如不是研讨人员将其放大并突出显现对应局部，肉眼或许永远不会留意到这些差别。

将数据编码至图像中的做法并不新颖，这是一种被称为“隐写术”的成熟科学，不断用于添加水印图像、或者向摄像机画面中添加元数据等应用场景，但是，计算机自行创立隐写办法以逃避研讨人员检查的状况倒是头一次。（这项研讨结果发布于2017年，所以可能也不算太新，但兴趣性和新颖性是无须置疑的。）

很多人可能以为，“机器是不是变得越来越聪明了”，但事实恰恰相反。这台机器正是由于不够聪明，无法完成将这些复杂的图像类型互相转换这一艰难工作，所以才找出这样一种应用人类不擅长检测的特性，施行“狡诈”行为。假如要防止这种状况，就是要对CycleGAN的产出结果停止更严厉评价，且能够肯定的是，研讨人员必然会采取这样的应对方法。

与以往一样，计算机仍在完整依照人类的请求停止运作，因而我们必需精心整理提交给计算机的问题。在本次案例中，计算机拿出了一种有趣的处理计划，并提醒出此类神经网络中可能存在的一大弱点——假如没有明白制止，计算时机找到一种将细节透露给本人的办法，以便快速轻松地处理特定问题。

这其实也是计算机科学中最古老的准绳之一，即PEBKAC——“问题存在于键盘与计算机之间”。或者正如《2001太空遨游》中的HAL计算机所说，“一切错误都源自人类。”