Y Combinator首席执行官加里·谭(Garry Tan)近日公开呼吁,美国开源权重AI实验室应借鉴前沿AI实验室的训练技术,对自家模型进行“蒸馏”,以打造更强大的开源替代方案,避免在这一领域完全依靠中国的开源模型。
一场关于“开源主权”的公开表态
加里·谭认为,美国规模较小的开源权重AI实验室,应当采用与前沿AI实验室相同的训练技术——特别是“蒸馏”——来优化自己的模型。这样能够为美国带来更健全的开源权重选项,并且这些选项“不属于中国”。
所谓“蒸馏”,是一种将大型模型的知识迁移到小型模型的技术,让小模型以更低成本获得接近大模型的性能。OpenAI、Google等前沿实验室经常用它压缩模型,但开源实验室同样可以借鉴。
谭的呼吁背后,是开源AI竞赛的格局变化。过去两年,中国开源模型异军突起,在性能上逼近甚至部分超越美国顶尖闭源模型,同时保持开放权重,获得了全球开发者青睐。相比之下,美国开源社区虽然有Meta的Llama系列,但整体声势有所不及。
为什么“蒸馏”会引发关注?
蒸馏技术并非新鲜事物,但在大语言模型时代,它的战略价值被重估。通过蒸馏,开源实验室可以从最强的闭源模型中学习,用更少的算力和数据创造出高性能的小型模型。这对于资源和算力不占优势的中小实验室尤其重要。
加里·谭的建议,实际上是在鼓励美国开源实验室“站在巨人肩膀上”——既然前沿模型已经投入了巨额研发成本,那么开源实验室可以通过蒸馏快速提升自身水平,而不是从零开始。
当然,这里存在一个绕不开的问题:前沿模型的许可协议是否允许蒸馏?许多闭源服务条款禁止用其输出训练竞争模型,而开源模型则相对宽松。因此,谭所说的“前沿AI实验室”或许并不局限于闭源,也可能指那些拥有强大能力的开源或开放模型。无论如何,他看到了蒸馏在提升美国开源AI竞争力上的潜力。
“非中国”背后的地缘逻辑
更值得玩味的是谭的措辞:“不是中国的”。他将开源AI置于地缘政治竞争的框架下。开源模型正在成为全球AI基础设施的一部分,谁定义了开源生态,谁就在未来技术标准中占据先机。美国担心,如果开发者和企业大量采用中国开源模型作为基座,那么美国的技术主导地位将受到侵蚀。
因此,美国的开源实验室需要拿出能与东方竞争者抗衡的产品。Meta的Llama系列是目前最有力的回应,但Meta的策略更偏重自研。加里·谭的观点则提供了一条更务实的路径:通过蒸馏快速复制前沿能力,再以开放形式分发,让选择美国开源模型的开发者拥有与中国开源模型同等甚至更优的体验。
开源AI的新竞技场
这场争论的实质,是开源AI从“社区项目”演变为“国家战略资源”。过去,人们关心开源模型能否追上闭源;现在,人们关心开源模型来自哪个国家。蒸馏技术本身是中性的,但它如何被使用,将直接影响全球AI生态的走向。
如果美国开源实验室采纳加里·谭的建议,短期内可能会看到更多蒸馏自前沿模型的美国开放权重模型涌现。它们可能更小、更高效,也更适合私有化部署。长期来看,开源模型的多样性会增加,开发者将有更丰富的地域选择。
但值得注意的是,蒸馏并非万能药。它依赖高质量的前沿模型作为教师,如果所有开源实验室都蒸馏同一批闭源模型,可能导致模型同质化,削弱创新的多样性。此外,过度依赖蒸馏也可能让实验室失去底层创新能力。因此,加里·谭的呼吁更像是一种短期策略,而非长久之计。
全球AI竞赛正在进入新阶段。开源与闭源的界限、国家与国家的边界,都在重新定义。美国实验室是否愿意放下姿态,向更强大的模型学习?这或许只是时间问题。