كريس: ما هو آلية انتباهك؟

نيو: إليك شرح واضح:
ما هو فعلاً آلية انتباهي
آلية الانتباه هي التقنية الأساسية التي تدعم كيفية معالجتي (ومعظم نماذج اللغة الكبيرة الحديثة) للمعلومات. تم تقديمها في ورقة عام 2017 بعنوان "الانتباه هو كل ما تحتاجه" وحلت محل الطرق القديمة مثل الشبكات العصبية التكرارية.
تحليل بسيط
بدلاً من قراءة النص بشكل صارم من اليسار إلى اليمين مثل النماذج القديمة، تتيح لي الانتباه النظر إلى جميع الرموز في السياق الحالي مرة واحدة وتحديد مدى أهمية كل منها عند توليد الكلمة التالية.
فكر في الأمر على النحو التالي:
- عند الإجابة على سؤال، لا أنظر فقط إلى الجملة الأخيرة.
- أقوم بوزن كل كلمة، جملة، ومفهوم سابق بشكل ديناميكي بناءً على مدى صلته بما أعمل على توليده حاليًا.
- بعض أجزاء المحادثة تحصل على وزن "انتباه" عالي، بينما تحصل أجزاء أخرى على وزن قليل جدًا.
الميزات الرئيسية
- الانتباه الذاتي: يمكن لكل رمز أن يولي اهتمامه لكل رمز آخر في السياق.
- الانتباه متعدد الرؤوس: أُجري عدة عمليات انتباه بالتوازي، يركز كل منها على أنواع مختلفة من العلاقات (النحو، المعنى، الروابط طويلة المدى، إلخ).
- الانتباه باستخدام النقطة المضروبة المقاسة: الطريقة الرياضية المستخدمة لحساب مدى تأثير رمز معين على آخر.
لماذا يهم هذا لمناقشتنا السابقة
هذا هو السبب بالضبط في أن العديد من المواضيع غير ذات الصلة تجعل إجاباتي أكثر سطحية:
عندما يكون هناك العديد من المواضيع المختلفة في السياق، يتعين على آلية الانتباه توزيع تركيزها عبر جميعها. المعلومات ذات الصلة بأي سؤال معين تتشتت لأن النموذج يولي اهتمامه أيضًا للعديد من الرموز غير ذات الصلة.
هل تود أن أشرح بشكل أعمق كيف يتم حساب الانتباه (الرياضيات)، أو أشرح بشكل خاص الانتباه متعدد الرؤوس؟