Anthropic向非营利AI监管机构开放“员工级”权限以调查其系统
来源:TechTimes 1 天前

Anthropic

Anthropic正允许一个外部研究小组近距离接触其员工和系统,以便公众能够独立审视其AI风险。这种安排超越了常规的外部审查,该公司表示希望其他AI实验室也能效仿。

Anthropic授予非营利AI监管机构访问权限

Anthropic宣布,已开始向METR(一家评估前沿AI模型的非营利组织)的团队提供类似员工的访问权限。METR将公布其风险评估结果。在过去一年中,双方已就Anthropic的多份《风险报告》审查进行了合作。

此举紧随Anthropic上个月做出的承诺。该公司承诺对其模型和安全实践进行更强大的独立第三方评估,并签署了《白宫超级智能协定》,在该协定中,企业承诺与独立的外部审计师或评估机构合作。Anthropic还与SecureBio和埃森哲(Accenture)作为评估方开展合作,并与包括Hugging Face在内的其他几个团体处于早期谈判阶段。

Anthropic解释了为何希望外部人士参与。随着模型功能日益强大,它们需要更强的保障措施和更严格的风险评估,该公司表示希望对其决策承担公开责任。然而,它无法共享所有信息,因为某些安全信息可能会帮助恶意行为者,而另一些信息则具有商业敏感性,如算力和训练细节。

Anthropic选择不发布所有内容,而是给予第三方评估人员深度访问权限,并要求他们分享证据和经过推理的结论。该公司表示:“我们的目标是缩小评估人员对前沿AI公司系统的理解与公司自身理解之间的差距。”它列出了对任何评估人员的四项需求:专业知识、独立于公司、足够的访问权限以判断风险,以及发布的自由。

Anthropic将这一理念比作银行监管。银行比外人更了解自身的风险,因此监管机构会在大型银行内部派驻常驻检查员。该公司表示,嵌入式评估人员的工作逻辑与此类似,但也指出这种类比并不完全准确。

METR获得AI系统的“员工级”访问权限

Anthropic已接纳六名METR员工,并为他们提供公司硬件、办公空间,以及与其内部风险评估团队大致同等水平的内部工具和系统访问权限。少数明确定义的类别属于禁区,包括客户数据、受律师-客户特权保护的信息以及有关模型架构的信息。除这些领域外,Anthropic员工被鼓励像对待从事对齐风险研究的同事一样,与METR团队共享信息。

METR将发布其对Anthropic风险水平、事件和实践的分析。Anthropic不能否决发布,但可以要求METR删除属于预定义类别的信息。Anthropic决定哪些内容符合这些类别,而METR保留就其获得的访问权限和信息水平发表特定声明的权利。

该公司强调,此次合作受到严格限制。它涉及一个小规模的METR团队在可执行协议下运作,其他METR员工(包括在其他项目中与Anthropic合作的研究人员)与该工作隔离。Anthropic补充说,这并非其他组织获取其或其客户及合作伙伴信息的途径。

METR是三层计划中的最高层级。在第一层,评估人员进行范围狭窄的风险调查,Anthropic决定他们获得的访问权限,发布需经Anthropic批准。在第二层,评估人员获得更多信息,可以在未经批准的情况下发布,尽管Anthropic仍可要求删除特定类别的内容,且评估人员可以公开表示他们认为删除是否合理。

METR将调查Anthropic AI的安全性与安保措施

Anthropic的文章并未列出详细的工作计划,但表示METR将分析其风险水平、事件和实践,并公布发现结果。METR将其使命描述为科学地衡量AI系统是否以及何时可能对社会造成灾难性危害。

双方已有合作记录。METR网站列出了对Anthropic关于Claude Opus 4.6的破坏风险报告的审查、对Anthropic内部代理监控系统的红队演练,以及对Anthropic二月《风险报告》中自动研究部分的审查。

安全性塑造了这种安排。METR团队在Anthropic的安全标准下工作,由于泄露风险,某些信息仍受到限制。在脚注中,Anthropic表示评估人员也可能与其他公司合作,因此它在防止意外泄露方面格外小心,并将有关架构的信息视为特别高风险。

常见问题解答

什么是METR?

METR代表模型评估与威胁研究(Model Evaluation and Threat Research)。该名称发音类似“meter”。这是一家研究性非营利组织,旨在向公众通报先进AI系统的风险和能力的最新情况。

METR以其时间跨度工作而闻名,该工作衡量AI代理完成任务所需的时间。它还构建了Hawk,这是一个用于大规模运行AI代理评估的开源平台。它已与OpenAI、Anthropic、Google DeepMind、Meta和亚马逊合作试点前沿风险评估,并表示不接受其风险评估工作的报酬。

METR将调查什么?

Anthropic仅表示METR将考察其风险水平、事件和实践。METR在本月发布的关于在AI公司内部进行评估的提案中描述了更广泛的计划。该提案指出,公众需要关于三个问题的更好证据。

第一个是对齐问题,即AI代理可能采取哪些未对齐的行动,以及训练是否会掩盖更糟糕行为的迹象。第二个是控制问题,即监控是否能在严重危害发生前将其捕获。第三个是自动化AI研究是否在加速能力发展,导致其速度超过安全保障措施的跟进速度。提案摘要称,METR将此描述为自愿性质,公司可以删除材料,这既不是安全审计,也不是产品发布的通过或不通过的关卡。

为什么Anthropic正在接受调查?

Anthropic并未面临法律或监管调查,其公告中也未描述此类调查。这是该公司选择做出的一项自愿安排。该公司表示,尽管无法发布其安全工作的每个细节,但仍希望承担公开责任。

该公司还指出了其最近的承诺,包括《白宫协定》以及扩大独立评估的承诺。该公司表示,其自愿嵌入评估人员,并认为每家前沿AI公司都应这样做。

简体中文 English