理解大语言模型（LLM）的生成过程，通常我们会关注下一个词的预测概率。但鲜有人思考：整个生成序列——即一条完整的“轨迹”——其联合概率是如何被计算和分解的？一篇来自开发者 Sithan Kanna 的技术文章，从概率论中最基础的链式法则出发，重新推导了 LLM 输出轨迹的概率表达，为评估模型行为的可解释性提供了新的视角。
从链式法则到序列概率
链式法则是概率论中的基本工具，它允许将多个随机变量的联合概率分解为一系列条件概率的乘积。对于 LLM 生成的 token 序列 (x_1, x_2, dots, x_T)，其联合概率可以写作：
[
P(x_1, x_2, dots, x_T) = prod_{t=1}^{T} P(x_t mid x_1, dots, x_{t-1})
]
这正是 LLM 自回归生成的核心形式：每一步只依赖前面已生成的所有 token。文章指出，这一公式看似简单，却构成了理解模型“信心”、“连贯性”和“退化风险”的关键。
轨迹概率的两个关键性质
– 乘法累积性：序列越长，联合概率通常会指数级下降。这意味着一条 50 个 token 的轨迹即使每一步都高达 0.9，整体概率也会小到不可想象。文章借此解释了为什么长文本生成中，模型容易偏离用户意图——任何一步的微小失误都会被连乘放大。
– 条件依赖的局部性：在计算第 (t) 步的概率时，模型只显式依赖前 (t-1) 个 token，但实际内部状态通过 attention 机制隐式携带了全部历史信息。轨迹概率因此不只是简单乘积，而是对模型内部状态演化的一种“还原”。
为什么现在讨论轨迹概率
当前业界对大模型的评估多集中在单步准确率（next-token prediction accuracy）或整体任务的最终结果上。但这两者之间存在鸿沟：一个在局部表现优异的模型，可能在长序列上产生低概率的“漂移”。文章提出，通过计算整条轨迹的对数概率，可以更早地发现生成中的不稳定点，甚至用于检测模型是否在“胡编乱造”（即产生高置信度但语义上不可能的 token 组合）。
另一个值得关注的应用是对比不同采样策略（如 temperature、top-p）对轨迹概率分布的影响。传统上我们通过人工观察来决定采样参数，但轨迹概率提供了一种无监督的量化指标：低概率轨迹通常意味着生成路径偏离了模型学到的典型分布。
对模型解释与调试的意义
文章并不只是重述教科书知识，而是把链式法则当作一个诊断工具。当开发者需要定位模型输出中“哪一步导致整体质量恶化”时，可以逐 token 查看条件概率的骤降点。这种细粒度的分析，比只看最终 BLEU 或 ROUGE 分数更能揭示问题本源。
更重要的是，轨迹概率对输入扰动高度敏感。通过比较原始输入和对抗扰动输入下的轨迹概率差异，研究人员可以量化模型鲁棒性，进而设计更有针对性的防御机制。文章暗示，这一思路也可用于知识编辑——当修改某个事实性 token 后，新旧轨迹概率的落差可以用来衡量编辑的影响范围。
从理论到工程实践的桥梁
在工程层面，轨道概率的计算成本并不高——它本来就在每次前向传播中隐含产生。真正缺乏的是将其作为一种评估维度的意识。文章呼吁，开发者在记录日志时，除了 token 和 loss，也应记录轨迹对数概率，这将为线上模型的异常检测提供宝贵的信号。例如，当用户触发某条查询时，如果模型生成轨迹的累积概率突然低于训练分布中的常见范围，很可能意味着输入属于分布外（OOD）或模型内部状态异常。
这篇技术笔记的可贵之处，在于它用最基础的数学工具解释了 LLM 行为中一个被忽视的维度。随着大模型在长上下文、复杂推理等场景的普及，轨迹概率有望成为继 loss、perplexity 之后的新一代调试指标——它不只看模型“答没答对”，更看模型“走的路是否典型”。对于所有试图让大模型更可控、更可解释的开发者而言，这个视角值得被纳入日常工具箱。