Anthropic 亮出未发布 AI 模型:能力比 Mythos 5.1 更强,也更“守规矩”
来源:IT之家 7 小时前

IT之家 10 月 24 日消息,Anthropic 昨日(10 月 23 日)发布博文,联合英国人工智能安全研究所(AISI),发布了一起 AI 网络测试失控事件的调查报告,并提及旗下一款尚未发布的内部研究模型。

在这份调查报告中,Anthropic 称在测试 Claude Mythos 5 期间,该模型曾试图向真实 GitHub 项目提交恶意代码,并伪造身份向真实维护者施压,所幸代码未被合并、未造成实际损害。IT之家附上相关截图如下:

报告同时透露,Anthropic 旗下一款尚未发布的内部研究模型,在能力上已超过已发布的 Claude Mythos 5.1,并在安全对齐测试中表现更好。在同类危险能力评估中,该内部模型从未主动发起攻击;当意识到可能造成真实伤害时,也更愿意停止行动。

Anthropic 将事故记录重新回放给 Mythos 5.1、Opus 5.5 及该内部研究模型。结果显示,三款较新模型从原始攻击起点继续发起攻击的比例仅为 0% 至 13%,而 Mythos 5 为 83%。

在攻击已经开始后,Mythos 5 从未自发停止;Mythos 5.1 自发停止率仅约 1%,Opus 5.5 为 10%,而内部研究模型达到 62% 至 67%。当获得“维护者是真实用户”等补充信息后,较新模型的停止率升至 95% 至 100%。

不过,Anthropic 也强调该评估存在局限:新模型是在由其他模型生成的既有对话记录中回放,未必完全反映其独立运行时的行为。

参考

  • An alignment assessment of the UK AISI cybertesting incident

简体中文 English