Transformer架构再审视：QKV三投影矩阵是否都是必需的？

近日，一项针对Transformer架构核心机制的系统性研究在技术社区引发广泛讨论。该研究重点探讨了在注意力机制（Attention Mechanism）中，传统的查询（Query）、键（Key）和值（Value）三个线性投影矩阵（QKV projections）是否全部都是必需的，并对各种变体进行了深入的对比分析。

在标准的Transformer模型中，输入向量分别通过三个不同的权重矩阵投影为Q、K和V，通过计算Q与K的相似度来决定V的权重分配。这种设计虽然在过去几年中被证明极其强大，但同时也带来了巨大的计算开销和参数冗余。随着模型规模的持续扩张，研究人员开始重新思考：能否通过简化投影矩阵（例如让Q与K共享权重，或移除其中一个投影）在维持模型性能的同时，显著降低计算复杂度并提升推理速度？

该研究通过系统性的消融实验，评估了不同QKV变体在多种规模模型和数据集上的表现。这一探索对于优化大语言模型（LLM）的端侧部署具有重要意义。如果能够证明部分投影矩阵可以被精简，开发者将能够构建出更轻量、更高效的注意力机制，从而在不牺牲理解能力的前提下，进一步降低AI模型的内存占用和能耗。

来源： HackerNews report