“所有模型都是错的，但有些是马尔可夫链。”—— Swarnendu Bhattacharya

GPT-4 可能是有史以来最令人印象深刻的统计模型。但如果我告诉你它实际上并不“智能”呢？它只是一个强化版的马尔可夫链。

这并非批评。这实际上是它成功的关键。

在所有关于“涌现智能”、“零样本推理”和“综合思维”的讨论背后，隐藏着一个基本事实：

像 GPT-4 这样的语言模型，其核心只是估算：P(下一个标记 | 最后一个标记)

这是 K 阶马尔可夫链的教科书式定义。

拥有 50,000 个标记的词汇表和 32,000 个标记的上下文窗口，我们处理的是一个天文数字般的——但在概念上却很熟悉的——状态空间。

Transformer 是一个出色的近似引擎。它在这个难以理解的庞大空间中学习转移概率。它的名字叫“自注意力”。具体数学是什么？它就是大规模的条件概率。

让我们从视觉和代码的角度来分解一下。

一个简单的马尔可夫链转移矩阵：

import numpy as npstates = ["A", "B", "C"]transition_matrix = np.array([ [0.1, 0.6, 0.3], # P(next | A) [0.4, 0.4, 0.2], # P(next | B) [0.3, 0.3, 0.4], # P(next | C)])

现在将其扩展到 50,000 个状态，并以最后 K = 32,000 个词条作为条件。

我们不仅仅是构建一个转移矩阵——我们还针对每个提示构建它的动态近似值。

在您附加的 GIF 中，词汇表 V = {0,1} 和 3 个词条的上下文窗口产生了 ²³ = 8 种可能的状态。随着上下文窗口的增加，这个空间会呈指数级增长——Transformer 必须通过学习转移概率的函数近似来克服同样的现象。

Transformer 近似于这个转移核：

P(x_{t 1} | x_t, x_{t-1}, …, x_{t-K}) ≈ f_θ(x_{t-K:t})

其中 f_θ 由自注意力模块和前馈网络参数化。

每个注意力头会选择性地对过去的 token 进行加权，以近似这个高维核的局部结构。

因此，我们不是存储一个巨大的转移表，而是学习一个根据上下文估计转移的函数。

这也解释了上下文学习 (ICL) 的强大之处：它不是魔法，而是结构化的核估计。

Zekri 等人将我们许多大型语言模型（LLM）工作者长期以来的直觉理解：Transformer 的行为可以通过随机过程的视角来理解。

他们将 token 序列建模为由未知过渡核 κ 生成的非独立同分布随机过程 ，并表明基于 Transformer 的模型在有限样本条件下能够近似该 κ。

正式定义（摘自论文）：

设 = (x₁, x₂, …, x_T) 为来自某个过程 P 的随机序列。设 f 为在 ₁:n 上训练并在 _{n 1:T} 上求值的预测器。

Zekri 等人引入取决于以下因素的泛化边界：

• 的混合时间 τ • 预测器类 ℱ 的 VC 维度

关键定理：泛化误差会随着 token 数量的增加而衰减，同时也会随着链混合速度的增加而衰减。

这非常重要。它告诉我们：

• 混合缓慢的序列（例如高度结构化的领域）更难进行泛化。• ICL 的性能可以根据源过程的随机性进行预测。

Zekri 等人进一步表明，涌现的泛化行为（在小样本学习或任务切换中表现为突然跳跃）与底层核的可学习性的相变密切相关。

LLM 中的涌现行为（推理、翻译或算术能力的突然提升）常常让实践者感到困惑。但从统计学角度来看，这可以理解为泛化误差的相变。

假设你的模型通过拟合非独立同分布序列来近似条件分布 P(y|x)。存在一个阈值机制：

• 参数数量 (N) • 训练标记数量 (T) • 序列混合时间 (τ)

超过该阈值，近似误差会急剧下降。这类似于双下降现象，只不过是在序列空间中。

因此，涌现并不神秘。它意味着：

涌现 ⟺ 泛化边界在非独立同分布过程中的急剧转变

它是规模与结构匹配的统计特征。

人工智能工程师的实用要点：

LLM 是具有学习过渡近似器的马尔可夫模型。这种观点在实际系统中非常有用：

每个提示都是一个新的马尔可夫链初始化。你正在间接地影响内核。

def initialize_chain(prompt_tokens, model): """ Initialize the Markov chain with a specific prompt """ # The prompt sets the initial state distribution initial_state = model.encode(prompt_tokens) # This influences all subsequent transitions return initial_state3.3 微调 = 转换核校正

您正在调整估计器 f_θ，以更好地模拟 κ 的某些区域。

def fine_tune_kernel(base_model, domain_data): """ Adjust transition probabilities for specific domain """ # Modify the learned approximation f_θ # to better capture domain-specific transitions for batch in domain_data: loss = compute_transition_loss(base_model, batch) update_parameters(base_model, loss) return base_model3.4 检索增强生成 = 状态注入

在上下文中插入新的 token 会改变链的走向。你正在篡改轨迹。

def inject_context(current_state, retrieved_info): """ Modify chain trajectory with external information """ # Insert retrieved tokens into the sequence modified_context = concatenate([current_state, retrieved_info]) # This changes the transition probabilities going forward return modified_context3.5 泛化能力 = 核平滑度 混合时间

当转换核平滑且底层序列快速混合时，模型具有良好的泛化能力。

本文揭开了LLM中“涌现”行为的神秘面纱：

简而言之，LLM不进行“推理”。他们转换得非常熟练。

我们不需要神秘主义来欣赏大模型 (LLM)。我们需要数学。

将 Transformer 理解为条件 token 转换的大规模估计器——基于结构化、非独立同分布的过程——可以让我们获得可解释性和控制力。

GPT-4 之所以智能，并非因为它超越了概率。

它之所以智能，是因为它实现了大规模概率。

原文链接：GPT-4 只是一个巨大的马尔可夫链 - 汇智网