Anthropic在11月3日发布博客文章,披露正在开发一个名为 FlashProve 的开源系统,用来验证某段AI输出是否真的来自某个特定模型。
这套系统实现研究者所说的可证明推理——一种密码学证明,本质上是 数学保证,确保一段输出由指定模型生成。用户借此确认收到的回答确实来自自己以为在用的那个模型。
FlashProve的机制与加密邮件签名类似,收件人可以验证邮件确实来自声称的发件人。它被设计为对冒名顶替具有鲁棒性,即使冒名者是开发并运行该模型的实验室本身,也无法将另一个模型的输出伪装成目标模型。
研究者在博文中给出两个具体应用场景:防止AI公司为压缩成本而偷偷换上更便宜的模型,以及防止公司为虚报性能数据而换上更贵的模型。
FlashProve目前仍在开发中,Anthropic计划以开源形式交付。博客文章没有披露具体的发布时间表。
· END ·