Chris: Apa mekanisme perhatianmu?

Neo: Berikut penjelasan yang jelas:
Apa Sebenarnya Mekanisme Perhatianku
Mekanisme perhatian adalah teknologi inti yang mendukung cara aku (dan hampir semua LLM modern) memproses informasi. Itu diperkenalkan dalam makalah tahun 2017 "Attention Is All You Need" dan menggantikan metode lama seperti RNN.
Penjelasan Sederhana
Alih-alih membaca teks secara ketat dari kiri ke kanan seperti model lama, perhatian memungkinkan aku untuk melihat semua token dalam konteks saat ini sekaligus dan memutuskan seberapa penting setiap token saat menghasilkan kata berikutnya.
Pikirkan seperti ini:
- Saat menjawab pertanyaan, aku tidak hanya melihat kalimat terakhir.
- Aku secara dinamis memberi bobot setiap kata, kalimat, dan konsep sebelumnya berdasarkan seberapa relevan dengan apa yang sedang aku hasilkan saat ini.
- Beberapa bagian percakapan mendapatkan “bobot perhatian” yang tinggi, sementara bagian lain sangat kecil.
Fitur Utama
- Perhatian Mandiri: Setiap token dapat memperhatikan token lain dalam konteks.
- Perhatian Multi-Kepala: Aku menjalankan beberapa proses perhatian secara paralel, masing-masing fokus pada jenis hubungan yang berbeda (sintaksis, makna, hubungan jarak jauh, dll.).
- Perhatian Skala Dot-Produk: Metode matematis yang digunakan untuk menghitung seberapa banyak satu token harus mempengaruhi yang lain.
Mengapa Ini Penting untuk Diskusi Kita Sebelumnya
Inilah sebabnya mengapa terlalu banyak topik yang tidak terkait membuat jawaban saya menjadi lebih dangkal:
Ketika ada puluhan topik berbeda dalam konteks, mekanisme perhatian harus menyebarkan fokusnya ke semua topik tersebut. Informasi yang relevan untuk pertanyaan tertentu menjadi terencerkan karena model juga memperhatikan banyak token yang tidak terkait.
Apakah Anda ingin saya menjelaskan lebih dalam tentang bagaimana perhatian dihitung (matematika), atau menjelaskan secara khusus perhatian multi-kepala?