稀疏注意力技术深度解析

自从2017年Transformer模型问世以来，基于自注意力（Self-Attention）的架构在自然语言处理、计算机视觉、多模态理解等众多领域取得了主导地位。其核心机制——缩放点积注意力（Scaled Dot-Product Attention）——允许序列中任意两个位置直接交互，从而捕获长程依赖关系。这种全局感受野是卷积神经网络（CNN）与循环神经网络（RNN）难以企及的优势。然而，全局注意力带来了致命的平方复杂度问题。设输入序列长度为nn，则注意力矩阵A∈Rn×nA∈Rn×n，计算复杂度为O(n