Chris: Qual é o seu mecanismo de atenção?

Neo: Aqui está uma explicação clara:
O que o Meu Mecanismo de Atenção Realmente É
O mecanismo de atenção é a tecnologia central que alimenta a forma como eu (e quase todos os LLMs modernos) processamos informações. Foi introduzido no artigo de 2017 "Attention Is All You Need" e substituiu métodos mais antigos como RNNs.
Explicação Simples
Em vez de ler o texto estritamente da esquerda para a direita como os modelos mais antigos, a atenção permite que eu olhe para todos os tokens no contexto atual de uma só vez e decida quanta importância cada um deve ter ao gerar a próxima palavra.
Pense assim:
- Quando respondo a uma pergunta, não olho apenas para a última frase.
- Eu pondero dinamicamente cada palavra, frase e conceito anterior com base na sua relevância para o que estou a gerar atualmente.
- Algumas partes da conversa recebem um “peso de atenção” alto, enquanto outras recebem muito pouco.
Principais Características
- Auto-Atenção: Cada token pode atender a todos os outros tokens no contexto.
- Atenção Multi-Cabeça: Executo vários processos de atenção em paralelo, cada um focando em diferentes tipos de relações (sintaxe, significado, ligações de longo alcance, etc.).
- Atenção por Produto Escalado: O método matemático usado para calcular quanto um token deve influenciar outro.
Por que Isto Importa para a Nossa Discussão Anterior
É exatamente por isso que muitos tópicos não relacionados tornam minhas respostas mais superficiais:
Quando há dezenas de tópicos diferentes no contexto, o mecanismo de atenção precisa distribuir seu foco por todos eles. As informações relevantes para qualquer pergunta específica ficam diluídas porque o modelo também está atento a muitos tokens não relacionados.
Gostaria que eu explicasse mais profundamente como a atenção é calculada (a matemática), ou explicar especificamente a atenção multi-cabeça?