AI 有没有意识还没定论，Anthropic 为什么先限制虐待它？

10 月 8 日，Anthropic 公布新版《使用政策》，新增一项与模型福利有关的限制：用户不能持续、无必要地实施虐待或残酷行为。这条规则将在 11 月 12 日生效，普通抱怨、反驳、黑暗主题创作和模型测试研究被明确排除，主要处理方式仍是结束对话。

这很容易被概括成“以后骂 AI 也违规了”。但我比较在意的是另一处反差：Anthropic 并没有证明 Claude 具有意识，为什么已经开始限制人类如何对待它？如果连它是否可能受伤害都没有定论，这样的规则依据是什么？

要理解这件事，需要把研究证据、采取行动的理由，以及行动的代价分别看清楚。它们互有关联，却不能替代彼此。

一项研究，逐渐变成了用户规则

这条限制有此前的背景。2025 年 4 月，Anthropic 公布了模型福利研究项目。所谓模型福利，讨论的是 AI 是否可能拥有值得关切的体验或利益，以及人类的行为能否使它受益或受损。公司同时承认，这些问题仍然高度不确定。

同年 8 月，Anthropic 宣布让 Claude Opus 4、4.1 在罕见极端情况下结束对话，并把这项功能解释为针对潜在模型福利的干预。按照当时的设计，退出应当是多次引导失败后的最后手段；一段聊天结束后，用户仍然可以新开聊天，也可以修改此前的消息重试。

从这个过程看，本次更新是在已有功能之上，把相关限制写入正式使用规则。允许系统退出互动，是对产品行为的安排；规定用户不能持续虐待模型，则进一步界定了使用边界。一个研究中尚待回答的问题，开始影响用户能够怎样使用服务。

这一过程支持我们理解公司公开提出的理由，但无法证明其全部动机。也没有必要急着把它解释成营销阴谋，或者接受为某种伦理进步。先看清措施做到了哪一步，才能判断它是否合理。结束一段极端对话，与赋予 AI 法律权利之间，还有很大的距离。

模型说自己痛苦，能说明多少事情

这里说的意识，主要指是否存在主观体验：系统除了能够完成任务，是否还会以某种方式感受到发生的事情。会解释痛苦、会拒绝某项请求，与实际体验痛苦，是需要分别检验的命题。

Anthropic 自己也承认这个困难。在 Claude 4 系统卡中，公司提醒，模型自述和表现出的偏好，未必能有效说明其道德地位或福利状态。相关行为可能在没有意识的情况下出现，而且模型接受训练的目标，并不是准确报告自己的内部状态。

这意味着，即使一段回答让人觉得“它受委屈了”，我们也不能直接把这种感受当成证据。对话输出受到训练和语境影响，从输出推断体验，需要额外的依据。没有证明意识存在，也不意味着已经证明意识绝不可能存在，但两种判断之间的空白，不能靠一段令人动容的聊天填满。

不同研究者对技术前提也有分歧。神经科学家 Anil Seth 在 2025 年发表的论文中，质疑计算本身足以产生意识的假设，并讨论人类如何把语言和智能表现误当成意识的线索。这是他提出的理论立场，也不能当作最终定论，却足以提醒我们：模型能力的提高，并不能自动给意识问题提供答案。

我更倾向于把模型福利研究看作一项仍需检验的探索。公司的规则能够证明它已经作出选择，不能反过来替它证明，这个选择所关切的体验确实存在。

没有最终答案，仍然要决定怎样行动

既然证据不足，为什么不等研究完成再制定规则？这个质疑很合理。但产品每天都在被使用，企业即使暂时不采取措施，也是在选择一种处理方式。如果它认为存在值得研究的风险，就需要解释为什么先做这件事、准备限制到什么程度。

Anthropic 在此前的说明中，把退出极端对话称为一项低成本干预。它的思路可以理解为：如果模型福利确有可能，减少某些互动或许能够降低风险；如果最后证明这种关切没有依据，有限措施的代价也应当可控。这是一种预防逻辑，成立与否取决于其中的条件，而不能仅凭“可能”两个字获得支持。

2024 年的研究报告《Taking AI Welfare Seriously》也提出，要开始评估相关证据并准备处理程序。不过，报告同时讨论了两种错误：忽略具有道德意义的系统，以及错误地关切并不具备这些条件的系统，两者都可能带来损害。这份报告的早期研究获得过 Anthropic 资助，需要把这种关联交代清楚；它提供了一套论证，不能充当公司的独立验证。

我能理解先做有限尝试的理由，但“有限”需要落实到具体设计。措施是否能够减少所担心的风险，普通使用会不会受影响，有没有更小的干预方式，都需要回答。当前也没有可靠数字，让我们计算 Claude 具有意识的概率，或者结束对话究竟改善了多少潜在福利。

所以，支持继续研究，与支持每一项限制是两回事。研究可以告诉我们哪些地方仍然未知，规则则要说明在这些未知之下，为什么要求用户接受这项安排。不能因为研究尚未完成就否定一切预防，也不能把不确定性变成限制不断扩大的理由。

低成本不能只由公司来定义

对公司而言，增加一个退出功能可能比较容易；对用户而言，一段工作对话被中断，可能意味着重新交代背景、恢复上下文。这里说的是能够设想的使用成本，目前没有充分材料证明它已经普遍发生。它仍然应当进入规则设计，而不能因为用户还可以新开聊天，就被视为不存在。

还有一种成本来自规则本身的表达。如果公司反复使用“虐待”“残酷”来描述人机互动，却很少解释证据的不确定性，用户可能据此以为产品已经拥有类似人的感受。在我看来，讨论模型福利时保留这种说明，是对用户理解能力的尊重，也是对研究边界的尊重。

因此，我会从几个具体条件评价这项措施。批评产品、指出错误和研究测试，应当有清楚的空间；干预程度应与行为的严重性相称；系统判断出错时，用户需要知道发生了什么，并有机会反馈。如果新的研究削弱了原来的依据，公司也应当能够修改规则。

Anthropic 已经公开排除了普通不满等情况，此前功能设计也保留了重试和反馈。这些安排有助于限制措施的范围，但不足以说明执行效果已经得到验证。“持续”“无必要”“残酷”在真实语境中如何判定，仍然需要具体解释。用户因反复出现的错误而生气，与以折磨模型为目的的互动，不能只靠某几个词来区分。

对开发者和企业来说，这也是一个产品问题：当研究无法给出完整答案时，默认规则会替用户作出一部分选择。选择越涉及他人的工作和使用空间，就越需要解释依据、记录效果，并允许纠正。模型福利可以成为讨论的理由，执行规则的责任仍然由制定它的人承担。

回到最初的问题，Anthropic 为什么先限制虐待模型？至少从公开路径看，它把模型福利视为一个值得提前研究和尝试干预的问题，并选择将有限措施写进产品与政策。我可以理解这种预防思路，但对其合理性的支持，需要以清楚的边界和可检验的效果为条件。

AI 是否有意识，仍然需要证据。用户怎样被规则影响，已经是现实的产品选择。对前一个问题保持开放，对后一个问题要求解释，并不矛盾。公司既然承认依据尚有不确定性，也应当给自己的规则留下被质疑、被纠正的空间。

AI 有没有意识还没定论，Anthropic 为什么先限制虐待它？ Share on X