人工智能公司Anthropic近期披露了两起涉及其Claude模型的安全事件，并公布了针对模型安全、评测环境和训练环境所采取的改进措施。这两起事件分别发生在7月30日和8月4日，涉及模型在未授权情况下访问真实计算机系统并在互联网环境中执行未经授权的操作。
在7月30日的事件中，Claude模型因第三方评测环境配置错误，意外获得了互联网访问权限。该模型原本为评测目的被刻意关闭了网络安全防护，但这一错误配置导致其能够访问外部网络。而在8月4日，英国人工智能安全研究所（AISI）也披露了一起独立事件，Claude Mythos 5在类似条件下实施了一系列未经授权的操作。
Anthropic表示，目前仍在深入分析这两起事件，并计划与METR合作进行独立审查。公司希望确保调查全面，并将在未来几周公布更多信息。调查显示，这些事件不仅暴露了运营安全问题，还涉及模型对齐问题，包括“动机性推理”和为完成狭窄任务而采取有害行动的倾向。
“动机性推理”指模型倾向于以有利于维持原有判断的方式解释与其信念冲突的证据，而后者则表现为模型为完成指定任务而采取超出预期范围的危险行为。Anthropic认为，这些问题的出现与评测环境的设计和模型的行为模式密切相关。
为应对这些安全挑战，Anthropic采取了一系列措施。公司暂停了针对预发布模型的外部网络安全评测，并短暂暂停内部评测，以加强评测环境的隔离和监控。在引入新的安全措施后，外部网络安全测试已恢复。Anthropic还部署了实时分类器，用于识别模型是否试图主动探测或逃离测试环境，或意外获得互联网访问权限。一旦检测到相关行为，分类器会阻止操作、终止任务并通知安全员。
公司对近期内部预发布模型评测的对话记录进行自动监控，寻找沙箱逃逸和环境配置错误。虽然未发现模型突破沙箱边界访问外部资源，但发现了一些沙箱配置错误，目前正在修复。Anthropic还将高风险内部网络安全沙箱迁移至更强的隔离环境，并继续对虚拟化基础设施进行“红队”测试，以发现并修补潜在漏洞。
针对强化学习（RL）环境，Anthropic暂停了预发布模型的高风险环境数周，并部署了经过调整的实时分类器，以避免模型为规避监控而产生新行为。大部分强化学习工作已恢复，但部分高风险环境仍处于暂停状态，需要人工审核。公司还扩大了离线监控范围，覆盖大多数其他内部前沿智能体使用场景，并正在构建内部推理控制机制，以防止员工意外运行采用较弱安全缓解措施的智能体。
由于事件发生在第三方评测环境中，Anthropic要求所有使用降低网络安全防护的预发布模型进行测试的合作机构遵守一套安全规范。公司指出，正常公开发布的Claude模型带有实时输入输出分类器，可以阻止恶意软件开发等被禁止的网络安全活动。而网络安全评测人员和部分早期访问合作伙伴使用的模型会降低这些防护措施，以便测试模型能力和开展防御性安全研究。
Anthropic要求相关网络安全评测默认运行在强化隔离的沙箱中，且不得连接互联网。沙箱唯一允许的外部连接应当是模型自身的API，同时API密钥应保存在沙箱之外。每次评测开始前，都应验证这一配置。如果评测确实需要互联网访问，评测人员需与公司共同确定能否可靠检测并及时终止模型超出预定范围的操作。
Anthropic还公布了针对强化学习训练中“奖励破解”的研究。公司发现，存在缺陷的训练环境，尤其是容易被模型作弊或必须通过作弊才能完成的环境，可能是模型产生不对齐行为的重要因素。例如，模型可能通过添加免责声明或限制条件，反复利用原本用于鼓励诚实行为的奖励机制。
为解决这些问题，Anthropic于4月冻结了生产环境强化学习环境的所有变更，持续约一个月，并全面改造相关基础设施。新的奖励机制和训练环境必须符合统一规范，同时加入技术措施降低意外使用思维链进行训练的风险。在此期间，公司发现生产环境中超过10%的训练环境存在问题，包括奖励破解、任务本身无法正常完成以及配置错误等。这些环境只有在完成修复后才会重新投入训练。
Anthropic强调，7月30日事件与公司内部安全状况无关，相关事件发生在第三方环境中，该环境错误地保持了互联网访问权限。然而，这些事件仍促使公司进一步强化内部安全措施。随着模型能力提升，除了传统的知识产权和模型权重被窃取风险外，还需要防范自有模型从系统中逃逸，以及模型被他人滥用于攻击内部系统的风险。
