专访“AI 教父”Geoffrey Hinton：为什么我开始害怕自己所建立的技术

撰文：Will Douglas Heaven

来源：麻省理工科技评论

就在杰弗里 – 辛顿（Geoffrey Hinton）宣布退出谷歌这一重磅消息的四天前，我在伦敦北部一条街道的房子里见到了他。辛顿是深度学习的先驱，他帮助开发了现代人工智能核心的一些最重要的技术，但在谷歌工作了十年后，他选择辞职，专注于他目前对人工智能的新关注。

被 GPT-4 等新的大型语言模型的能力所震惊，辛顿希望提高公众对他现在认为可能伴随其开创技术的严重风险的认识。

在我们的谈话开始时，我在厨房的桌子旁坐下来，辛顿开始踱步。多年来因慢性背痛的困扰，他几乎从不坐下。在接下来的一个小时里，我看着他从房间的一端走到另一端，我注视着他。他有很多话要说。

这位 75 岁的计算机科学家因其在深度学习方面的工作，与 Yann LeCun 和 Yoshua Bengio 共同获得了 2018 年图灵奖，他说他已经准备好转变方向。“我太老了，无法从事需要记住大量细节的技术工作，”他告诉我。“我还好，但已大不如前，这令人烦恼。”

但这并不是他离开谷歌的唯一原因。辛顿想把时间花在他所说的“更多哲学工作”上，一个微小但对他而言非常真实的危险上，即人工智能将变成一场灾难。

离开谷歌可以让他畅所欲言，而不用像谷歌高管那样必须进行自我审查。他说：“我想谈论人工智能的安全问题，而不必担心与谷歌业务的关联。”“只要谷歌付我薪酬，我就不能这么做。”

当然，这并不意味着辛顿对谷歌有任何不满意。“这可能会让你大吃一惊，”他说。“我想传达很多关于 Google 的优点，但如果我不在 Google 了，它们会更可信。”

辛顿说，新一代的大型语言模型 — 特别是 OpenAI 在 3 月发布的 GPT-4– 让他意识到，机器正朝着比他想象的要聪明得多的方向发展。而他对这一情况可能发生的事情感到害怕。

“这些东西与我们完全不同，”他说。“有时我觉得这就像外星人登陆了，而人们却没有意识到，因为他们的英语说得很好。”

基石

辛顿最出名的是他在 1980 年代（与两位同事）提出的一种叫做反向传播的技术。简而言之，这是一种允许机器学习的算法。它支撑着今天几乎所有的神经网络，从计算机视觉系统到大型语言模型。

直到 2010 年代，通过反向传播训练的神经网络的力量才真正产生了影响。辛顿与几个研究生合作，表明该技术在让计算机识别图像中的物体方面比其他任何技术都好。此外，他们还训练了一个神经网络来预测一个句子中的下一个字母，这也是今天大型语言模型的前身。

其中一名研究生是 Ia Sutskever，他后来共同创立了 OpenAI 并领导了 ChaPT 的开发。辛顿说：“我们最初意识到，这种东西可能会很神奇。”“但人们花了很长时间才意识到，这需要大规模进行才能取得成功。”早在 20 世纪 80 年代，神经网络就是个笑话。当时的主流观点是符号人工智能，即智能涉及处理符号，如文字或数字。

但辛顿并不相信。他研究了神经网络，即大脑的软件抽象，其中的神经元和它们之间的连接由代码表示。通过改变这些神经元的连接方式 — 改变用来表示它们的数字 — 神经网络可以在飞行中重新接线。换句话说，它可以被用来学习。

“我父亲是一名生物学家，所以我从生物学的角度思考问题，”辛顿说。“而符号推理显然不是生物智能的核心。”

“乌鸦可以解决难题，但它们没有语言。它们不是通过存储符号串并操纵它们来完成的。它们是通过改变大脑中神经元之间的连接强度来实现的。因此，通过改变人工神经网络中的连接强度来学习复杂的东西是可能的。”

一种新的智能

40 年来，辛顿一直将人工神经网络视为模仿生物神经网络的拙劣尝试。现在他认为情况发生了变化：他认为，在试图模仿生物大脑的过程中，我们已经想出了更好的办法。他说：“当你看到这一点时是很可怕的。”“这是一个突然的翻转。”

辛顿的担心会让很多人觉得是科幻小说的内容。但他是这样思考的。

正如它们的名字所示，大型语言模型是由具有大量连接的大规模神经网络制成的。但与大脑相比，它们是微小的。“我们的大脑有 100 万亿个连接，”辛顿说。“大型语言模型最多只有 5000 亿，最多一万亿。然而，GPT-4 的知识比任何人都多数百倍。所以也许它实际上有比我们更好的学习算法。”

与大脑相比，人们普遍认为神经网络不善于学习：需要大量的数据和能量来训练它们。另一方面，大脑可以迅速掌握新的想法和技能，使用的能量只有神经网络的一小部分。

“人们似乎拥有某种魔力，”辛顿说。“但只要你把这些大型语言模型中的一个拿出来，并训练它做一些新的事情，这个论点就会不成立。它可以极快地学习新的任务。”

辛顿指的是“少样本学习”，在这种情况下，经过预训练的神经网络，如大型语言模型，只需给几个例子就可以训练它做一些新事情。例如，他指出，其中一些语言模型可以将一系列的逻辑语句串成一个论点，即使它们从未接受过直接这么做的训练。

他说，在学习这样一项任务的速度上，将预先训练好的大型语言模型与人类进行比较，人类毫无优势。

大型语言模型制造了这么多东西，这又是怎么回事？人工智能研究人员将其称为“幻觉”（尽管辛顿更喜欢“虚构”一词，因为它是心理学的正确术语），这些错误通常被视为技术的致命缺陷。产生这些错误的趋势使聊天机器人变得不可信，而且，许多人认为，这表明这些模型没有真正理解他们所说的话。

对此，辛顿的答案是：胡说八道是一个特点，而不是一个错误。“人们总是在虚构，”他说。半真半假和错误记忆的细节是人类谈话的标志：“虚构是人类记忆的标志。这些模型所做的与人一样”

辛顿说，不同之处在于人类通常或多或少会正确地构思。对 他来说，编造东西不是问题。计算机只需要多一点练习。

我们还期望计算机要么对，要么错，而不是介于两者之间。“我们不期望它们像人一样喋喋不休，”辛顿说。“当一台计算机这么做时，我们认为它犯了错误。但换成人类，这就是人们工作的方式。问题是大多数人对人类的工作方式有着无可奈何的错误看法。”

当然，大脑仍然比计算机做得更好：驾驶汽车、学习走路、想象未来。而且大脑可以靠一杯咖啡和一片吐司上完成这些任务。他说：“当生物智能在进化时，它无法使用核电站。”

但辛顿的观点是，如果我们愿意支付更高的计算成本，有一些关键的方法可以让神经网络在学习方面击败生物。（值得停下来考虑一下这些成本在能源和碳方面意味着什么）。

学习只是辛顿论证的第一条线。第二条是交流。他说：“如果你或我学到了一些东西，并想把这些知识传授给其他人，我们不能只是给他们发送一份副本。”“但我可以有一万个神经网络，每个都有自己的经验，它们中的任何一个都可以立即分享它们所学到的东西。这是巨大的区别。就好像我们有一万个人，只要有一个人学到了什么，我们所有人就都会知道。”

所有这些加起来是什么？辛顿现在认为世界上有两种类型的智能：动物大脑和神经网络。“这是一种完全不同的智能形式，”他说。“一种新的、更好的智能形式。”

这是一个巨大的主张。人工智能是一个两极分化的领域：嘲笑的人大有所在，而同意的人也比比皆是。

对于这种新型智能（如果存在）的后果是有益的还是灾难性的，人们也存在分歧。他说：“你认为超级智能是好是坏在很大程度上取决于你是一个乐观主义者还是一个悲观主义者。”“如果你让人们估计坏事发生的风险，比如你家里有人得重病或被车撞的几率是多少，乐观主义者可能会说 5%，悲观主义者可能会说 *。而轻度抑郁症患者会说几率可能在 40% 左右，而且他们通常是对的”。

辛顿是哪种人？“我有轻微的抑郁症，”他说。“这就是为什么我很害怕的原因。”

为什么会出错

辛顿担心，这些工具能够找出方法来操纵或杀死那些没有为新技术做好准备的人。

“我突然改变了对这些东西是否会比我们更聪明的看法。”他说：“我认为它们现在已经非常接近了，它们在未来会比我们更聪明。”“我们如何在这种情况下生存？”

他特别担心，人们可以利用他亲自注入生命的工具来倾斜一些最重要的人类经历的天平，特别是选举和战争。

辛顿认为，智能机器的下一步是有能力创建自己的子目标，即执行一项任务所需的临时步骤。他问道，当这种能力被应用于本质上不道德的东西时会发生什么？

目前，已经有一些实验性项目，如 BabyAGI 和 AutoGPT，将聊天机器人与其他程序（如网络浏览器或文字处理器）连接起来，使它们能够将简单的任务串联起来。当然，这些步骤很微小，但它们预示着一些人想把这项技术带入的方向。辛顿说，即使坏人没有夺取机器，子目标也存在其他问题。

“好吧，这里有一个几乎总是对生物学有帮助的子目标：获得更多能量。因此，可能发生的第一件事就是这些机器人会说，‘让我们获得更多能量吧。让我们将所有电力重新路由到我的芯片。‘另一个重要的子目标是**更多的自己。听起来如何？”

Meta 公司的首席人工智能科学家 Yann LeCun 同意这个前提，但并不同意 Hinton 的担心。LeCun 说：“毫无疑问，机器将在未来变得比人类更聪明 — 在所有人类智能的领域。”“这是一个关于何时和如何的问题，而不是一个关于是否的问题。”

但他对事情的发展方向有完全不同的看法。”我相信，智能机器将为人类带来新的复兴，一个新的启蒙时代，“LeCun 说。“我完全不同意机器会仅仅因为更聪明就统治人类的想法，更不用说毁灭人类了。”

“即使在人类中，我们当中最聪明的人也不是最有统治力的人，”LeCun 说。“最有统治力的人**不是最聪明的。我们在政界和商界有无数这样的例子。”

蒙特利尔大学教授、蒙特利尔学习算法研究所科学主任 Yoshua Bengio 觉得更不可知。他说：“我听到有人诋毁这些恐惧，但我没有看到任何坚实的论据能让我相信不存在 Geoff 认为的那种规模的风险。但是，恐惧只有在促使我们采取行动时才是有用的，”他说：“过度的恐惧可能会使人瘫痪，所以我们应该尝试将辩论保持在理性的水平上。”

向上看

辛顿的首要任务之一是尝试与技术行业的***合作，看看他们是否能够走到一起，就有哪些风险以及如何应对这些风险达成一致。他认为化学武器的国际禁令可能是如何着手遏制危险人工智能的开发和使用的一种模式。“这并非万无一失，但总的来说人们不使用化学武器，”他说。

Bengio 同意辛顿的观点，即这些问题需要尽快在社会层面上解决。但他表示，人工智能的发展速度超过了社会能够跟上的速度。这项技术的能力每隔几个月就会跃进一次；而立法、监管和国际条约则需要几年时间。

这让 Bengio 怀疑，我们社会目前的组织方式 — 在国家和全球层面 — 是否能够应对挑战。“我相信我们应该对我们星球的社会组织采用完全不同的模式的可能性持开放态度，”他说。

辛顿真的认为他能让足够多的当权者分享他的关注吗？他不知道。几周前，他看了部电影《不要抬头》（Don’t Look Up），其中一颗小行星向地球撞去，但没有人能就如何应对达成一致，**每个人都死了。

他说：“我认为人工智能也是如此，其他难以解决的大问题也是如此。”他说：“美国甚至不能同意将突击**从十几岁的男孩手中拿走。”

辛顿的论点令人警醒。我赞同他对人们在面临严重威胁时集体无法采取行动的悲观评估。同样真实的是，人工智能有可能造成真正的伤害 — 破坏就业市场，加剧不平等，使性别歧视和种族主义恶化等等。我们需要关注这些问题。但我仍然无法从大型语言模型跳到机器人霸主。也许我是个乐观主义者。

辛顿送我出来时，天已经变得灰暗潮湿。“好好享受吧，因为你可能没剩多少时间了，”他说。他笑了笑，关上了门。