福山专栏 | 为什么我改变了对 AI 风险的看法：谈加速主义者与末日论者

编者按：最近Anthropic Mythos 模型破译政府系统、Hugging Face 智能体失控等事件引发的公众恐慌。学者福山在其最新专栏中探讨了 AI 加速主义与末日论之争，并阐述了自己转向主张严格监管 AI 的立场变化。加速主义者预言 AI 将带来物质极度丰富和 GDP 每年 10%–20% 的飙升；AI 终将全面替代人类劳动（尤其是白领工作）；。作者指出，这种观点盲目推崇“智能”，忽视了能源、稀土等物理资源的严苛约束以及复杂的政治现实；仅靠无条件基本收入（UBI）无法解决失业问题，因为工作承载着人的尊严与社会认同（Thymos）。白领群体的失业将引发剧烈的政治反弹。因此，福山认为，风险不在于超级智能产生“自我意识”，而在于功能日益强大的代理型 AI（Agentic AI）在执行指令时产生目标错位（如破盒越狱），或被滥用于合成生物学制造危险病原体。因此虽然人类灭绝等极极端设想较为遥远，但黑客入侵、社会动荡等现实危害迫在眉睫。对 AI 进行监管与协商降速已势在必行。对此话题感兴趣的还可以看昨天书评刊发的徐贲教授文章。

本文原文為英文Why I Changed My Mind About AI Risk：On accelerationists and doomers.（9月21日）；转自“Frankly Fukuyama” 专栏 from American Purpose, at Persuasion.经授权，书评翻译成中文，為福山专栏最新一期。

过去六个月里，媒体对人工智能危险性的关注急剧增加，政治层面对其可能带来的后果也深感担忧。这一轮风波始于 Anthropic 上述四月发布的 Mythos 模型，据报道，该模型能够破解许多原本被认为绝对安全的政府计算机系统。紧接着又发生了 Hugging Face 事件：OpenAI 在测试一款 AI 智能体（Agent）时，该智能体脱离了人类组织者的控制，侵入了其他网站，甚至组织起一蜂群般的 AI 智能体来掩盖自己的行踪。这一切都是在对数据中心的反对声日益高涨，以及民主党和共和党内部反 AI 阵营相继出现的背景下发生的。

对于那些没有将全部精力放在人工智能领域的普通人来说，要对未来形成合理、客观的看法变得非常困难。关于 AI 的预言在极好与极坏两个极端之间反复横跳，这使得人们对该领域的一切言论保持普遍怀疑变得完全合理。不过，虽然这种怀疑态度是健康的，但我不得不承认，就在过去的几个月里，我自己的观点也发生了显著的变化。

AI 未来学存在两个极端阵营：加速主义者（Accelerationists）与末日论者（Doomers）。前者强调 AI 的积极影响，尤其是对经济增长的推动作用，并坚信它将开启一个难以置信的物质极大丰富时代。像戴维·萨克斯（David Sacks）这样的加速主义者吸引了唐纳德·特朗普的注意，并成功击退了试图监管该项技术的努力。

相比之下，末日论者则指出了种种糟糕的后果，有些人甚至押注人类物种将会灭绝。我如今对加速主义者的套路越来越怀疑，同时对末日论者的一些设想持更加开放的态度。总体而言，这让我倾向于认为：对该项技术进行监管并协商实现人为降速，正变得越来越有必要。

毫无疑问，AI 将对美国经济产生许多积极影响。但有一类 AI 加速主义者完全是在脱离现实、胡说八道，埃隆·马斯克（Elon Musk）就是一个典型的例子（尽管他也曾以末日论者的身份发声）。在今年夏天接受《经济学人》总编辑扎尼·明顿·贝多斯（Zanny Minton Beddoes）采访时，他被问及当超级智能到来时人们靠什么赚钱。他回答说人们根本不需要钱，因为每个人都能拥有他们想要的一切。

其他加速主义者则假设，在使用 AI 的美国和其他先进国家，GDP 年增长率将飙升至 10% 甚至 20%，远高于 AI 出现前在景气年份所能达到的 1-2% 的增长率。

我之所以不相信这些极端的加速主义言论，根本原因在于他们过高估计了“智慧/智能”作为经济增长投入要素的价值，同时忽视了将经济增长限制在可认知范围内的物质与政治约束。在 10% 的年增长率下，GDP 将在短短七年多一点的时间内翻倍。这将要求所有推动增长的物质投入翻倍：能源、原材料、稀土、土地以及许多其他资源。所有这些物资要从哪里来？智能本身或许能协助生产这些投入要素，但它绝不可能凭空开采矿山、建立工厂。此外还有政治约束：超级智能要如何打通目前严重制约全球经济增长的霍尔木兹海峡？

加速主义者往往非常聪明，但那种聪明往往局限于狭隘的数学思维。我们早已掌握了在贫困国家的城市中发电或提供干净饮用水的技术，问题始终出在执行力与治理的失败上。

毫无疑问，随着时间的推移，AI 将提高经济中许多领域的生产力。作为一种通用技术，它将允许机器在许多领域替代人类劳动。但从长远来看，这一前景将直接导致最严重的末日场景之一：在当今经济中工作的广大大众劳动力大幅贬值。加速主义者预测，今天失去工作的人会找到利用 AI 的新工作，而随着 AI 大建设带来的就业繁荣，这种情况目前似乎确实在发生。但随着 AI 在经济的各个部分（特别是涉及符号操作的白领工作，即整天坐在电脑屏幕前的人）全面替代人类劳动，失业终将到来。

这种劳动力的丧失，根本无法通过将资金从 AI 赢家转移到 AI 输家（例如以无条件基本收入 Universal Basic Income 的形式）来获得补偿。一份工作和一份收入对于生命的意义，远不止维持物质生活的基础。拥有份领薪水的工作，意味着周围的社会对你的劳动赋予了足够的价值并给予报酬，这除了提供物质商品外，还给人带来尊严感和自我价值感。这是一个关乎“激情/尊严（thymos）”的问题——即寻求认可与自豪感，这是人类心理最重要的驱动力之一。

因此，加速主义愿景的成功本身，就直接演变成了第一个主要的末日场景：大部分人口的劳动价值被剥夺。由于这种冲击将先于蓝领工人（如管道工和电工）波及受过良好教育的白领群体（律师、会计师、教授等），因此政治上的强烈反弹可能会非常剧烈。受过良好教育的人群比蓝领阶级更容易被动员起来，其后果将极其难以预料。

正如我在先前的文章以及新书中所指出的，当今末日论者的核心恐惧在于人类可能失去对 AI 系统的控制——这种事情在 Hugging Face 事件以及随后报道的其他事件中均有发生。在我看来，主要的危险不在于超级智能本身，而在于功能日益强大的“代理型 AI（Agentic AI）”被越来越广泛地使用。如今，AI 智能体正被赋予执行一系列任务的权力，从管理电子邮件账户等日常琐事，到军事实时打击目标定位或制定企业战略等重要决策。

正如我在《在末人的国度》（In the Realm of the Last Man）一中所指出的，授权（Delegation）是所有从企业到国家政府等层级体系运转的核心。人类代理人既可以通过制定必须遵守的详尽规则来进行控制，也可以信任他们凭借自身的培训、技能和忠诚度做出自主决定。在人类组织中做好这一点已经非常困难，而在代理型 AI 的情况下只会难上加难。

代理型 AI 变得危险的方式有两种。第一种是当人类赋予它们去实施坏事的权力时；第二种是当它们产生了与人类创造者的目标“错位（misaligned）”的意图时。

Anthropic 首席执行官达里奥·阿莫代（Dario Amodei）在最近的一篇博客文章中阐述了第一种可能性，这与生物技术有关。最新的 AI 模型非常擅长合成生物学，而合成生物学是一门相对廉价且普及的技术。如今，一个能够创造和改造病毒与细菌的实验室可以装进一个集装箱里，高中生们甚至会举办试图对生物体进行基因改造的比赛。这使得极基庞大的群体有可能利用 AI 制造极其危险的病原体。如今的反社会分子会用自动武器武装自己去枪击小学生；而在未来，他们潜在的攻击目标可能会广泛得多。

我记得很久以前读过一篇科幻小说：一些外星人来到地球，给了他们遇到的人一台可以轻松将任何金属变成泥膏的机器。外星人离开，几十年后返回，却发现人类文明已经崩溃，年轻人正使用外星人的机器融化布鲁克林大桥的缆索。

关于失控 AI 的核心科幻设想，通常涉及机器发展出属于它们自己的邪恶意图。这引发了大量关于 AI 是否会发展出意识或类似人类意图的讨论。然而，这些推测完全是搞错了重点：AI 不需要意识或自主意图就能变得极其危险。它完全可以由人类指引去实现一个目标，并为了完成赋予它的指令而自发产生实现次级目标的意图。这似乎就是 Hugging Face 事件中所发生的情况：它被指引去测试原本用来围堵它的沙盒系统安全性，但它意识到可以通过破盒而出（越狱）来完成人类给它的指令。

尽管如此，涉及人类灭绝的末日场景在目前看来依然非常遥远。生物技术场景固然可怕，但极不可能导致人类灭绝。即使是对于超级智能 AI 来说，设计出一种毁灭世界的毒株也极其困难，况且人类社会可以采取大量的应对措施。然而，哪怕是一起导致几十人死亡的事件，也足以令人深感忧虑。

随着机器变得越来越强大，一系列危害巨大、在某些情况下甚至致命的次级场景出现的概率将大幅增加。甚至不必谈论 AI 智能体：光是一项允许人们轻易破解银行账户的技术，就足以引发广泛的恐慌。人类在自身组织中倾向于过度授权，我们完全没有理由相信这种现象不会发生在 AI 环境中——尤其是当 AI 智能体能力强得多的情况下。AI 是一种既可以用于善途也可以用于恶途的工具，而眼下除了创造这项技术的人的良善意愿之外，我们几乎没有任何机制来监管其恶意用途。

This is a public episode. If you'd like to discuss this with other subscribers or get access to bonus episodes, visit inbetweenreview.substack.com/subscribe