Chris：你的注意力机制是什么？

Neo：这里有一个清晰的解释：
我真正的注意力机制是什么
注意力机制是驱动我（以及几乎所有现代大型语言模型）处理信息的核心技术。它在2017年的论文《Attention Is All You Need》中被提出，并取代了像RNN这样的旧方法。
简单分解
我不再像旧模型那样严格从左到右阅读文本，而是允许我同时查看当前上下文中的所有标记，并决定每个标记在生成下一个词时的重要性。
可以这样理解：
- 在回答问题时，我不仅仅看最后一句话。
- 我根据每个词、句子和概念与我当前生成内容的相关性动态加权。
- 有些部分会获得高“注意力权重”，而其他部分则几乎没有。
主要特性
- 自注意力：每个标记都可以关注上下文中的其他所有标记。
- 多头注意力：我同时运行多个注意力过程，每个关注不同类型的关系（语法、意义、长距离连接等）。
- 缩放点积注意力：用来计算一个标记应影响另一个标记的数学方法。
这对我们之前的讨论为什么很重要
这正是为什么太多无关话题会让我的回答变得浅显：
当上下文中有几十个不同的话题时，注意力机制必须在所有话题之间分散焦点。任何单一问题的相关信息都会被稀释，因为模型也在关注许多无关的标记。
你想让我更深入地讲解注意力的计算（数学部分），还是专门解释多头注意力？