深入浅出：什么是 DeepSeek 稀疏注意力 (DSA)？

本文旨在揭开 DeepSeek 稀疏注意力（DeepSeek Sparse Attention, DSA）机制的神秘面纱。我们将避开复杂的数学公式，专注于其核心思想和实际影响，帮助你轻松理解这项前沿技术。

本报告的PDF版本以及更多DeepSeek大模型相关的资料都已收录到“走向未来”知识星球中，推荐这个极具价值知识星球“走向未来”，获取生成式人工智能、大模型、AIGC、AI芯片和机器人等的产品、技术和应用实践的资料。

1. 面临的挑战：为什么长文本对AI来说是个难题？

要理解 DSA 的巧妙之处，我们首先需要了解它要解决的难题。在大型语言模型中，一个核心机制叫做“注意力”（Attention），它帮助模型理解单词之间的关系。

在传统的注意力机制中，模型为了理解一个词，必须将其与前面出现过的每一个词进行关联和计算。我们可以用一个比喻来理解：

想象一个学生在教室里听讲。为了理解老师说的某一个词，他必须在脑海里将这个词与老师之前说过的所有词联系起来。对于一个短句，这很容易做到。但如果是一整本书的内容，这就变得几乎不可能了。

这种传统方法被称为 原始注意力机制 (Vanilla Attention)。它的计算复杂度是 O(L²)，其中 L 是文本的长度。这意味着随着文本长度的增加，计算所需的时间和成本会呈二次方级增长。简单来说，如果文本长度翻倍，计算成本会变为原来的四倍；如果长度变为三倍，成本则会激增至九倍。这种二次方级增长的特性，使其成为大型语言模型处理长篇文档（如报告、书籍或长对话）时的主要瓶颈。

而 DeepSeek 稀疏注意力（DSA）正是为了解决这个效率难题而设计的创新方案。

2. 解决方案：DeepSeek 稀疏注意力 (DSA) 登场

DeepSeek 稀疏注意力（DSA）是由 DeepSeek-AI 开发的一种创新的注意力机制，旨在解决长文本处理的效率问题。

它的主要目标非常明确：在处理长文本时，在不牺牲模型性能的前提下，大幅降低计算复杂度。

那么，它是如何实现这一目标的呢？

3. DSA 如何工作：一个聪明的两步流程

DSA 的高效源于一个聪明的两步流程，它避免了让每个词都关注其他所有词的“暴力计算”模式。DSA 的明智之处在于，它用两个更高效的步骤取代了一个庞大而昂贵的 O(L²) 计算：首先，通过一个非常廉价、近似的 O(L²) 计算（索引器）来找到最重要的信息片段；然后，只在这些筛选出的少数关键信息上执行一个昂贵但高度集中的 O(Lk) 计算。这是一种典型的策略：用一个快速、廉价的过滤器来避免压垮一个缓慢但功能强大的核心处理器。

3.1. 第一步：闪电索引器 (Lightning Indexer) 快速筛选

DSA 的第一个组件是闪电索引器 (Lightning Indexer)。

你可以把它想象成一个快速的预筛选器。对于当前需要处理的任何一个词（即“查询词元”），这个索引器会飞速地为它前面出现过的所有词计算一个“相关性分数”。它的设计极为高效。根据原论文的描述，它使用了更简单的计算方式，并能以较低的精度（FP8）运行，因此即使它仍然需要概览所有先前的词元，速度也极快。它唯一的任务就是找出哪些词最重要，而不需要进行完整、繁重的注意力计算。

3.2. 第二步：Top-k 词元选择 (Token Selection) 精准聚焦

当闪电索引器为所有前面的词打完分后，第二个组件——精细化词元选择器 (Fine-grained Token Selection)——便开始工作。

这个机制会从所有备选词中，只挑选出相关性分数最高的那些词（即“Top-k”）。例如，在论文中提到，它会为每个查询词元挑选出最相关的 2048 个词。然后，模型只需在这少数被选中的关键信息上运行完整的注意力计算。

我们可以用一个比喻来总结这个过程：

这个两步流程就像一位专家在阅读一份厚厚的报告。他不会为了理解每一个新观点而把整份报告重读一遍（原始注意力），而是首先快速浏览报告的索引和目录，找出最相关的章节（闪电索引器），然后只精读这些关键章节（Top-k 词元选择）。这种方法显然更快、更高效。

这种智能的筛选流程为模型带来了显而易见的优势。

4. 核心优势：DSA 带来了哪些实际好处？

通过实施 DSA，DeepSeek 的模型在实际应用中获得了巨大的好处。

4.1. 显著降低成本，大幅提升速度

DSA 最直接的优势是改变了成本的增长方式。它将注意力计算的复杂度从 O(L²) 降低到了 O(Lk)，其中 L 是文本长度，而 k 是模型选出的固定数量的高度相关词元（例如，论文中提到的 2048）。由于 k 是一个相对较小的常数，计算成本不再随着文本变长而爆炸式增长，而是以一种更可控的、近乎线性的方式增长。

我们可以通过下表直观地看到它对推理成本的影响：

特性

DeepSeek-V3.1 (无 DSA)

DeepSeek-V3.2 (采用 DSA)

成本增长

随着文本变长，成本急剧上升。

即使在非常长的文本中，成本也保持在较低水平。

处理效率

处理长序列时速度较慢，成本高昂。

实现了显著的端到端加速，更具成本效益。

4.2. 保持卓越性能，效率与效果兼得

最关键的一点是，DSA 带来的效率提升并没有以牺牲模型性能为代价。评估结果表明，模型在变得更“快”的同时，也保持了同样“好”的表现。

这为我们揭示了 DSA 的核心价值：它实现了“两全其美”——既拥有处理长序列所需的计算效率，又没有对模型性能造成实质性的损害。

5. 总结：为什么 DSA 如此重要？

DeepSeek 稀疏注意力（DSA）是一项关键的架构创新，它通过智能的两步筛选机制，有效解决了大型语言模型在处理长文档时面临的效率和成本瓶颈。

这项突破不仅是一项工程上的壮举，更是开源人工智能社区的一项战略性进展。正如原论文所强调的，限制开源模型能力的一个关键因素，正是原始注意力机制在架构上的低效。通过解决这一瓶颈，DSA 使得开源模型在长文本任务上的训练和部署在经济上变得可行，从而能够直接挑战专有系统的能力，并帮助缩小性能差距。这项创新让先进、高效的人工智能技术变得更加普及，惠及每一个人。