Anthropic CEO Dario Amodei说AI 5—10年能治愈大多数疾病，但谁有权踩刹车？
最近 Anthropic CEO Dario Amodei 和投资人 Gavin Baker 在 X 上吵了一场，我觉得这场争论比“AI 到底会不会取代工作”更值得看。
事情最早来自 All-In Podcast。Baker 批评 Dario，这些年他不断强调 AI 可能带来的灾难性风险，客观上正在帮助美国社会形成越来越强的 AI 反弹，特别是围绕数据中心的抵触。考虑到 Anthropic 已经成为全球最重要的 AI 公司之一，Baker 甚至建议 Dario 应该成为一个更加积极的 AI 行业倡导者，而不是继续告诉公众这项技术有多危险。
Dario 随后罕见地写了两篇很长的回复。他不同意自己只讲风险，反而重新提起了 2024 年那篇《Machines of Loving Grace》：如果足够强大的 AI 出现，人类有可能把未来 50—100 年的生物医学进步压缩到 5—10 年，甚至“治愈大多数人类疾病”。他还承认，这个说法听上去不仅普通人会觉得疯狂，连生物学家都会觉得疯狂——而他自己以前就是做生物学研究的。
这句话当然很夸张。但真正让我感兴趣的，不是 Dario 到底有没有吹牛，而是它把一个过去很容易被忽略的问题摆到了桌面上。
如果 AI 发展得太快，可能带来网络攻击、生物安全、模型失控以及其他现在还难以评估的风险；但如果 AI 真的能够大幅加速科学研究和药物研发，那么让它慢几年，同样不是没有代价。某些原本能够更早出现的药物和治疗，会不会因此晚几年到来？
到了这一步，“AI 应该快一点还是慢一点”就不再只是科技公司的产品节奏问题了。真正的问题变成了：谁有权踩油门，谁又有权踩刹车？
一、这不是“乐观派”和“悲观派”的争论
如果只看表面，很容易把 Baker 归到“加速派”，把 Dario 归到“安全派”。但认真看两个人说的话，会发现并不是这样。
Baker 并不否认 AI 的风险。他真正担心的是另外一种错误：因为不断强调最坏情况，社会最终形成过度反应，把 AI 基础设施、模型发展甚至那些真正有价值的科学应用一起压慢。
这种担心并非完全没有现实基础。Reuters/Ipsos 今年 6 月的一项调查显示，只有 33% 的美国人支持目前 AI 数据中心快速建设的速度，64% 反对，77% 担心数据中心最终推高电价。到了 8 月，宾夕法尼亚州已经收紧数据中心的审批规则，要求提高环境和项目透明度，并增加当地社区的参与。
但如果因此把美国今天的数据中心反弹归因于 Dario 的“AI 风险宣传”，明显又说过头了。普通人反对数据中心，很大一部分原因就是电价、用水、土地和当地能够得到多少就业与税收，这些都是非常现实的利益问题。
Dario 的立场其实也远比“让 AI 慢下来”复杂。他今年 6 月发表《Policy on the AI Exponential》，主张最前沿的模型应该接受强制第三方测试；如果模型在网络攻击、生物武器、模型失控或者自动化研发等方面跨过严重风险门槛，政府甚至应该有能力阻止或者撤销部署。
可是在同一篇文章里，他马上又把方向反了过来：到了生物医学，他认为真正值得担心的反而是 FDA、EMA 这样的监管体系太慢，跟不上 AI 可能带来的药物研发速度。
也就是说，同一个 Dario，一边想给 AI 踩刹车，一边又想拆掉新药路上的一些刹车。
这看起来矛盾，其实恰恰说明了问题：AI 根本不存在一个统一的速度。
二、AI真正没有的，是一个总开关
我们平时说“AI 发展太快”，其实把很多完全不同的事情混在了一起。
模型训练得有多快，是一件事；模型什么时候公开，是一件事；数据中心建多少，是一件事；AI 在企业里扩散多快，是一件事；AI 帮科学家寻找一个新的药物靶点，又是另外一件事。
这些速度为什么一定要一样？
Dario 自己的政策建议其实就是一个很好的例子。对于 frontier model，他希望更加谨慎，因为一次发布就可能把新的网络攻击、生物能力直接扩散出去；但到了生物医学，他担心的却是监管系统成为瓶颈。他甚至预计，如果 AI 大幅增加候选药物数量，今天按照传统节奏运行的审批体系很可能被“塞满”。
这个问题确实存在。FDA 过去给出的药物研发资料显示，从首次人体试验到批准，平均可以接近十年，而进入临床试验的药物最终真正获批的比例不到 10%。人体实验、长期安全性、剂量和疗效验证，都不像写代码一样可以通过增加 GPU 把速度无限提高。
而且就在今年 8 月，《Nature Reviews Drug Discovery》刚发表了一篇对 AI 药物研发非常克制的综述。作者认为，AI 在 Drug Discovery 里已经研究和应用了很多年，但真正能够证明它提高了临床成功率、让更安全有效的新药更快到达患者手里的证据，目前仍然非常有限。很多所谓 AI Drug 依然停留在临床前或者一期、二期，进入三期的还很少。
甚至 Anthropic 自己今年做的生物 Agent 研究也暴露了类似问题。让最先进的 AI Agent 直接从 NCBI Virus 这样的生物数据库获取病毒序列，准确率仍然达不到科研所需要的可靠程度；直到研究人员加入一个确定性的专用检索工具，准确率才提高到 90% 以上，最高达到 99.7%。
所以我并不认为“AI 五到十年治愈大多数疾病”可以直接当成一个医学预测。Dario 原来的表述其实还有一个经常被忽略的前提：这 5—10 年不是从今天开始计算，而是从他定义的 Powerful AI 出现以后开始。那个 AI 在他的想象里，已经相当于一个“装在数据中心里的天才国家”。
但即使把这个预测打很大的折扣，问题依然存在：当 AI 开始真实提高科研效率以后，减速也会产生机会成本。
三、踩油门和踩刹车，都在使用别人的风险预算
我觉得这才是这场争论真正有意思的地方。
一家 AI 公司决定提前半年发布一个更强的模型，获得收入、估值和市场份额的是公司自己；但如果模型增加了网络攻击、生物滥用或者其他社会风险，承担后果的显然不只是公司股东。
可反过来也一样。如果监管者因为一个尚未发生的风险，决定把某一类 AI 技术延迟几年，监管者自己同样不会承担全部成本。成本可能落在创业公司、普通开发者、科研人员身上，如果 AI 最终真的能够加速药物发现，也可能落到未来本可以更早得到治疗的患者身上。
换句话说，无论踩油门还是踩刹车，本质上都可能是在使用别人的“风险预算”。
所以我不太赞成一个很常见的答案：既然 AI 公司有利益冲突，那么交给政府决定就好了。这实际上只是把权力从一群人转给了另一群人。
AI 公司当然不能成为判断自己模型是否安全的唯一裁判，Anthropic 自己现在公开支持的也是这一点，认为影响如此大的技术不能只由行业自行治理。 但政府同样会犯错，也会受到政治周期、公众情绪和产业游说影响。如果合规门槛最终变得极其昂贵，它甚至可能成为现有 AI 巨头最好的护城河，因为真正能够负担这套成本的，恰好还是那几家公司。
所以真正的问题从来不是“公司还是政府”。
而是，谁应该决定哪一部分。
四、真正需要拆开的，是决定AI速度的权力
如果一定要给出一个我现在更倾向的答案，我觉得未来的 AI 治理不会，也不应该有一个“总刹车”。
法律首先应该决定边界。比如生物武器、大规模网络攻击、模型失控这类一旦发生可能影响整个社会，而且很难逆转的风险，显然不能完全交给一家公司的商业判断。
但是模型到底有没有跨过这条线，应该尽可能变成可以重复验证的技术问题，由独立第三方评测，而不是 CEO 在发布会上说一句“我们认为安全”，也不是某个政客凭感觉认为“这个东西很危险”。这其实也是 Dario 现在推动 frontier model 第三方测试的核心逻辑。
只要模型没有达到这些高风险阈值，企业仍然应该保留正常的技术和产品决策权。否则每一次模型升级都要经过漫长审批，最后最可能出现的结果并不是 AI 更安全，而是大公司越来越安全，小公司越来越难进入。
到了下游应用，逻辑还应该再反过来。医疗、材料、能源这些能够产生明确社会收益的领域，不应该因为 frontier AI 需要更严格的监管，就沿用同一套减速逻辑。如果未来 AI 真的能够显著提高药物研发成功率，那么临床试验设计、数据基础设施甚至审批制度都应该随着证据改变。
这里真正重要的不是经常被说烂的“发展与安全要平衡”。
而是把速度拆开，也把决定速度的权力拆开。
五、我们可能永远找不到一个正确的AI速度
当然，这套思路也没有解决最难的问题：我们可能根本不知道那条风险线应该画在哪里。
Dario 可能严重高估了 AI 对生物学的推动，Baker 也可能低估能力快速扩散产生的风险。AI 公司会判断错，监管机构同样会判断错。
所以我现在反而觉得，一个好的制度最重要的能力，可能不是第一次就把速度定对，而是能够随着新的证据快速纠错。风险越不可逆，门槛就应该越谨慎；风险越容易验证和回滚，就越没有必要提前阻止。规则本身也应该不断复审，而不是因为今天担心一种风险，就把它永久写进制度。
Anthropic 自己的 Responsible Scaling Policy 从 2023 年推出到现在已经连续修改，2026 年 7 月已经更新到 3.4 版。这至少说明一件事：就连目前最积极讨论 AI Safety 的公司之一，也不认为我们今天已经知道未来所有问题的答案。
Dario 在这场争论里还提到了一件很私人的事情。他的父亲死于丙型肝炎，而几年以后出现的直接作用抗病毒药 Sofosbuvir，可以治愈大约 95% 的患者。他说，如果这种药早几年出现，很可能就能救下自己的父亲。
我觉得这可能也是为什么他会同时表现出两种看起来非常矛盾的态度：一方面极度担忧 AI 的风险，另一方面又对 AI 加速生物医学抱有近乎激进的期待。
我不知道 AI 能不能在五到十年内治愈大多数疾病，我甚至觉得这个时间表很可能过于乐观。但如果未来 AI 确实能够把一些药物和治疗提前几年，那么我们今天讨论 AI 安全时，就必须同时承认另一件事：踩刹车也不是一个零成本的选择。
所以真正需要讨论的，已经不是“AI 应该快一点还是慢一点”。
而是什么应该快，什么应该慢；谁有权让它慢下来，又必须拿出什么证据；如果踩错了油门或者刹车，最后是谁承担代价。
如果 AI 最终没有 Dario 想象得那么强，这些问题可能显得太早。但如果它真的有一天开始接近他所说的那个“数据中心里的天才国家”，到那时再讨论谁有权踩刹车，可能就已经太晚了。