العقود الآجلة
وصول إلى مئات العقود الدائمة
TradFi
الذهب
منصّة واحدة للأصول التقليدية العالمية
الخیارات المتاحة
Hot
تداول خيارات الفانيلا على الطريقة الأوروبية
الحساب الموحد
زيادة كفاءة رأس المال إلى أقصى حد
التداول التجريبي
مقدمة حول تداول العقود الآجلة
استعد لتداول العقود الآجلة
أحداث مستقبلية
"انضم إلى الفعاليات لكسب المكافآت "
التداول التجريبي
استخدم الأموال الافتراضية لتجربة التداول بدون مخاطر
إطلاق
CandyDrop
اجمع الحلوى لتحصل على توزيعات مجانية.
منصة الإطلاق
-التخزين السريع، واربح رموزًا مميزة جديدة محتملة!
HODLer Airdrop
احتفظ بـ GT واحصل على توزيعات مجانية ضخمة مجانًا
منصة الإطلاق
كن من الأوائل في الانضمام إلى مشروع التوكن الكبير القادم
نقاط Alpha
تداول الأصول على السلسلة واكسب التوزيعات المجانية
نقاط العقود الآجلة
اكسب نقاط العقود الآجلة وطالب بمكافآت التوزيع المجاني
المزيد
بعد حادثين في أسبوع واحد، نعود لننظر كيف تحدث السبعة المؤسسون لشركة Anthropic قبل عام عن «الأمان»
ملخص النقاط الرئيسية
خلال الأسبوع الماضي، أطلقت Anthropic مرتين على التوالي حوادث:
أولاً، تم إتاحة الوصول العلني لما يقرب من 3000 ملف داخلي بسبب خطأ في إعدادات نظام إدارة المحتوى (CMS)، ثم مباشرةً، عند نشر Claude Code v2.1.88 على npm، تم تضمين 59.8MB من source map، وخرجت 510 آلاف سطر من الشيفرة المصدرية إلى العلن مباشرة.
شركة تكتب «الأمان» في جيناتها، لكنها تتعثر بشكل متتالٍ في عمليات تشغيلها وصيانتها الخاصة—وهذا يحمل سخرية عالية جدًا.
لكن قبل أن نتسرع في السخرية، لنتراجع قليلاً ونستمع إلى حديث داخلي أجرته Anthropic مع سبعة من مؤسسيها المشاركين قبل أكثر من عام. تم تسجيل هذه الحلقة الصوتية في ديسمبر 2024، حيث ناقش الأشخاص السبعة كيف تأسست هذه الشركة، وكيف تم صقل RSP (Responsible Scaling Policy، ترجمة حرفية «سياسة التوسع المسؤولة»)، ولماذا لا يمكن استخدام كلمة «الأمان» بشكل عشوائي، وكذلك تلك الجملة التي يتكرر الاستشهاد بها كثيرًا عن CEO Dario:
«إذا كان إنذار الحريق يرن كل أسبوع في مبنى ما، فهذا يعني أنه مبنى غير آمن جدًا في الواقع.»
الآن، بعد إعادة الاستماع إلى هذه الجملة، تبدو الطعم مختلفًا إلى حد ما.
سبعة من المؤسسين المشاركين: تعرّف سريع
Dario Amodei｜الرئيس التنفيذي، نائب رئيس أبحاث سابق في OpenAI، من خلفية علوم عصبية، وهو من اتخذ القرار النهائي بشأن مسار الاستراتيجية والأمان في Anthropic. الأكثر حضورًا في الحديث في هذه المحاورة.
Daniela Amodei｜الرئيسة، أخت Dario. عملت سابقًا في Stripe لمدة خمس سنوات ونصف، وشاركت في إدارة فرق الثقة والأمان، كما عملت في مجالات أقدم مثل المنظمات غير الربحية والتنمية الدولية. تقود عمليًا بناء هيكل Anthropic الداخلي والتواصل الخارجي.
Jared Kaplan｜أستاذ في الفيزياء تحوّل إلى باحث في أبحاث الذكاء الاصطناعي، أحد المؤلفين الأساسيين لقوانين scaling laws. غالبًا ما يقدّم أحكامًا من منظور أشخاص من خارج الدائرة، ويقول إنه كان يفعل AI آنذاك لأن «ملّ من الفيزياء ويريد العمل مع مزيد من الأصدقاء».
Chris Olah｜شخصية بارزة في أبحاث قابلية التفسير (interpretability). دخل مجال AI في خليج سان فرانسيسكو بعمر 19 عامًا، وعمل لاحقًا في Google Brain وOpenAI. هو الأكثر وضوحًا من حيث النزعة المثالية التقنية داخل Anthropic.
Tom Brown｜مؤلف أول ورقة GPT-3، وهو الآن يدير موارد الحوسبة في Anthropic. وجهته تميل إلى الهندسة والبنية التحتية، وقد تحدث في البودكاست كثيرًا عن مسار تحوّله من «لا أظن أنني سأصدق أن AI سيتقدم بهذا السرع» إلى تغيير نظرته.
Jack Clark｜مراسل سابق في Bloomberg للتكنولوجيا، مسؤول سياسات الشأن العام في Anthropic. قام بدور المُحاور في هذه المحادثة، وهو مسؤول عن الربط وطرح الأسئلة.
Sam McCandlish｜مؤسس مشارك بحثي، أقل من حيث عدد المداخلات طوال الحلقة، لكنه غالبًا يختصر الكلام في جملة واحدة تصل إلى صميم الموضوع، ويُعد ضمن «مكان الضربة الإضافية».
ملخص آراء مميزة
لماذا نعمل على AI: من الملل في الفيزياء إلى «عندما تشبع ترى الأمور فتصير مقتنعًا»
Jared Kaplan: «لقد قضيت وقتًا طويلاً في عمل الفيزياء، كنت أشعر ببعض الملل، وأردت العمل مع مزيد من الأصدقاء، لذلك بدأت في AI.»
Dario Amodei: «لا أعتقد أنني أقنعتك بشكل واضح، أنا فقط كنت أريك باستمرار نتائج نماذج AI. وفي وقت ما، حين أكون قد أريتَك الكثير، ستقول: «حسنًا، يبدو أن هذا صحيح».»
رهان عكس الإجماع: أغلب الإجماع هو تأثير قطيع يتخفّى بزي النضج
Jared Kaplan: «كثير من باحثي AI انجرحوا نفسيًا بشدة خلال «شتاء AI»، وكأن الطموح لا يُسمح به.»
Dario Amodei: «أعمق درس تعلمته في السنوات العشر الماضية هو: إن كثيرًا من «الإجماعات التي يعتقد الجميع أنها تعرفها» ليست في الواقع سوى تأثير قطيع يتخفّى بزي النضج. لقد رأيت كم مرة ينقلب الإجماع بين ليلة وضحاها، ثم يُقال: «لا، سنراهن على هذا». حتى لو كنت لا تملك إلا 50% من الصحة، ستظل تساهم بأشياء كثيرة لم يساهم بها غيرك.»
الأمان والتوسع يسيران جنبًا إلى جنب
Dario Amodei: «كانت إحدى الدوافع لتكبير النموذج هي أن يكون النموذج ذكيًا بما يكفي كي تنجح RLHF. وهذا هو ما نؤمن به حتى الآن: الأمان والتوسع مترابطان معًا.»
RSP، سياسة التوسع المسؤولة هي «دستور» Anthropic
Tom Brown: «بالنسبة إلى Anthropic، فإن RSP مثل دستورنا. إنه وثيقة محورية ذات طابع إرشادي، لذلك نحن مستعدون للاستثمار بكثير من الوقت والجهد لصقلها وتحسينها مرارًا وتكرارًا.»
Dario Amodei: «ستمنع RSP أي خطة لا تفي بمعايير الأمان من المضي قدمًا. نحن لا نتحدث بالشعارات، بل ندمج الأمان فعليًا في كل حلقة.»
رنّ إنذار الحريق كثير جدًا لدرجة أنه عند حدوث الحريق الحقيقي لن يهرب أحد
Daniela Amodei: «لا يمكننا استخدام كلمة «الأمان» بشكل عشوائي للضغط على تقدم العمل. هدفنا الحقيقي هو أن يكون الجميع واضحًا بما نعنيه تحديدًا بكلمة الأمان.»
Dario Amodei: «الضرر الحقيقي للأمان غالبًا يأتي من تلك «التدريبات على الأمان» المتكررة. إذا كان هناك مبنى يرن فيه إنذار الحريق كل أسبوع، فهذا في الحقيقة مبنى غير آمن جدًا.»
«الفشل النبيل» فخ
Chris Olah: «هناك من يقول إن أكثر السلوك أخلاقية هو التضحية بالغايات الأخرى من أجل الأمان كي تُظهر نقاءك في خدمة القضية. لكن هذا الأسلوب في الواقع يؤدي إلى إحباط ذاتي؛ لأنه يجعل سلطة اتخاذ القرار تقع في يد أشخاص لا يبالون بالأمان ولا يجعلونه أولوية.»
المؤسسون المشاركون يلتزمون بالتبرع بنسبة 80% من الدخل
Tom Brown: «نتعهد معًا بالتبرع بنسبة 80% من الإيرادات للجوانب التي تدفع عجلة القضايا التي تعزز المجتمع، وهي نقطة يتفق الجميع تقريبًا على دعمها دون تردد.»
لا أحد يريد أن يبدأ مشروعًا، لكن الجميع يعتقد أنه يجب القيام بذلك
Sam McCandlish: «في الحقيقة، لا يوجد أحد منا كان لديه من البداية رغبة في تأسيس شركة. نحن فقط نشعر أن هذا هو واجبنا، لأنه الطريق الوحيد لضمان أن تتقدم AI في الاتجاه الصحيح.»
Daniela Amodei: «مهمتنا واضحة وطاهرة في آنٍ واحد، وهذا ليس شائعًا في قطاع التكنولوجيا.»
قابلية التفسير: «بيولوجيا صناعية» كاملة مخبأة داخل الشبكات العصبية
Chris Olah: «الشبكات العصبية رائعة جدًا، وفيها أشياء كثيرة لم نرها بعد. أحيانًا أتخيل أنه بعد عشر سنوات تدخل متجر كتب وتشتري كتابًا دراسيًا عن بيولوجيا الشبكات العصبية؛ سيحتوي الكتاب على محتويات مذهلة من كل نوع.»
AI لتعزيز الديمقراطية، لا لتصبح أداة ديكتاتورية
Dario Amodei: «نحن قلقون من أن يتم تطوير AI بشكل خاطئ فتتحول إلى أداة للديكتاتورية. كيف نجعل AI أداة تعزز الحرية وتقرير المصير؟ إن أهمية هذا المجال لا تقل بأي شكل عن البيولوجيا وقابلية التفسير.»
من اجتماعات البيت الأبيض إلى جائزة نوبل: تأثير AI تجاوز دائمًا حدود الدائرة التقنية
Jared Kaplan: «في عام 2018، لن يتوقع أحد أن الرئيس سيطلب منك الذهاب إلى البيت الأبيض ليتحدث عن أن لديهم اهتمامًا بنماذج اللغة.»
Dario Amodei: «لقد رأينا نوبل في مجال الكيمياء تُمنح لـ AlphaFold، ويجب أن نسعى لتطوير أدوات تساعدنا على إنشاء مئات من AlphaFold.»
لماذا نبحث في AI؟
Jack Clark: لماذا كنا نريد أن نبدأ العمل على AI من البداية؟ Jared، لماذا قررتَ العمل على AI؟**
Jared Kaplan: «لقد قضيت وقتًا طويلاً في عمل الفيزياء، كنت أشعر ببعض الملل، وأردت العمل مع مزيد من الأصدقاء، لذلك بدأت في AI.»
Tom Brown: «كنت أعتقد أن Dario هو من أقنعك.»
Dario Amodei: «لا أعتقد أنني أقنعتك بشكل واضح «بالكامل». أنا فقط كنت أعرض عليك نتائج نماذج AI، وأريد أن أوضح أنها عامة وليست مقتصرة على مسألة بعينها. وفي وقت ما، حين أكون قد أريتَك الكثير، ستقول: «حسنًا، يبدو أن هذا صحيح».»
Jack Clark: Chris، عندما كنت تعمل على أبحاث قابلية التفسير، هل كانت في Google حيث تعرفتَ على الجميع؟»
Chris Olah: «لا. في الحقيقة، عندما جئت لأول مرة إلى منطقة الخليج بعمر 19 عامًا، كنت أعرف بالفعل عددًا كبيرًا من الأشخاص بينكم. حينها قابلت Dario وJared؛ كانا في مرحلة ما بعد الدكتوراه، وكنت أظن أن هذا الأمر رائع جدًا. لاحقًا عملت في Google Brain، وبعد انضمام Dario، جلسنا جنبًا إلى جنب فترة من الزمن. كما عملت مع Tom. وبعد ذلك، عندما انتقلت إلى OpenAI، عملت معكم جميعًا.»
Jack Clark: «أتذكر أنني في عام 2015 شاهدت Dario في مؤتمر وكنت أريد أن أجري مقابلة معه، وسمعت حتى أن Google PR قال إنه يجب أن تقرأ أوراقه كلها أولاً.»
Dario Amodei: «في ذلك الوقت كنت أعمل في Google على «Concrete Problems in AI Safety».»
Sam McCandlish: «بدأت العمل معك قبل ذلك، وأنت دعوتني إلى المكتب لنتحدث، كأنك شرحت AI بأكملها. أتذكر أنه بعد انتهاء الحديث فكرت: «يا إلهي، يبدو أن هذا الموضوع أكثر جدية مما كنت أظنه.» في ذلك الوقت تحدثت عن «كتلة القدرة الحسابية الكبيرة» (Big Compute)، وعن عدد المعلمات وحجم عصبونات الدماغ…»
اختراقات في التوسع
Jack Clark: أتذكر عندما كنّا نعمل على scaling laws في OpenAI، أنه عندما بدأنا بتكبير النموذج، صار ذلك فعالًا فعليًا. وبالنسبة إلى العديد من المشاريع، استمر ذلك، وبشكل غريب، من GPT-2 إلى scaling laws إلى GPT-3، كنا نتحرك خطوة بخطوة ونقترب أكثر وأكثر.»
Dario Amodei: «نحن فقط تلك المجموعة من الأشخاص الذين «ينجزون الأمور فعلاً».»
Jared Kaplan: «كنا متحمسين أيضًا للأمان. في ذلك الوقت كانت هناك فكرة: AI ستكون قوية جدًا، لكنها قد لا تفهم القيم البشرية، وحتى قد لا تستطيع التواصل معنا. نماذج اللغة، إلى حد ما، تستطيع ضمان أنها تفهم الكثير من المعرفة الضمنية.»
Dario Amodei: «ومع RLHF فوق نماذج اللغة، إحدى دوافع تكبير النموذج كانت أنه يجب أن يكون النموذج ذكيًا بما يكفي لكي تتمكن RLHF من العمل. وهذا ما نؤمن به حتى الآن: الأمان والتوسع مرتبطان معًا.»
Chris Olah: «نعم، في ذلك الوقت كانت أعمال scaling أيضًا جزءًا من فريق الأمان. لأننا شعرنا أنه لكي يهتم الناس بالأمان بجدية، يجب أولاً أن نكون قادرين على التنبؤ باتجاهات نماذج AI.»
Jack Clark: أتذكر أنني كنت في مطار في بريطانيا، وكنت قد أخذت عينات من GPT-2 لكتابة أخبار مزيفة، ثم أرسلتها على Slack إلى Dario وقلت: «هذا فعلاً يعمل، وقد تكون له آثار كبيرة على السياسات.» أتذكر أن رد Dario كان: «نعم، صحيح».»
بعد ذلك قمنا أيضًا بالكثير من الأعمال المتعلقة بالإصدارات، وكان الأمر مجنونًا جدًا.
Daniela Amodei: «أتذكر ذلك الجزء المتعلق بالإطلاق. كانت تلك أول مرة بدأنا نتعاون حقًا، حين أُطلق GPT-2.»
Jack Clark: «أعتقد أن هذا كان مفيدًا لنا. لقد قمنا معًا أولاً بعمل «غير مألوف قليلًا لكن موجه نحو الأمان»، ثم لاحقًا قمنا معًا بإنشاء Anthropic، وهي خطوة أكبر حجمًا، لكن ما زالت «غير مألوفة قليلًا وموجهة نحو الأمان».»
مرحلة بداية AI
Tom Brown: «لنعد إلى هذه المقالة «Concrete Problems». دخلت OpenAI في عام 2016، وفي ذلك الوقت كنت أنت وأنا من أوائل الدفعات هناك. شعرت أن هذه الورقة كانت كأنها أول ورقة رئيسية عن أمان AI. كيف جاءت؟»
Dario Amodei: «Chris يعرف ذلك لأنه شارك. في ذلك الوقت في Google، نسيت تقريبًا ما كان مشروع العنوان الرئيسي الذي كنت أعمل عليه. هذه الورقة كانت كأنها نتيجة مما كان يتأخر في جدول أعمالي.»
أردنا كتابة ما هي القضايا المفتوحة في أمان AI. في ذلك الوقت كان أمان AI يُناقش دائمًا بطريقة تجريدية جدًا. أردنا أن نحوله إلى واقع في ML الحقيقي آنذاك. نحن نعمل على هذا الخط منذ الآن قرابة ست أو سبع سنوات، لكن في ذلك الوقت كان مجرد فكرة غريبة.
Chris Olah: «أعتقد أنها كانت، بمعنى ما، مشروعًا سياسيًا تقريبًا. في ذلك الوقت، كثير من الناس لم يكونوا يأخذون موضوع الأمان بجدية. أردنا ترتيب قائمة من الأسئلة التي يوافق عليها الجميع والتي تبدو معقولة. كثير منها كان موجودًا أصلًا في الأدبيات، ثم نبحث عن أشخاص ذوي مصداقية عبر مؤسسات مختلفة للتوقيع عليها معًا.»
أتذكر أنني قضيت وقتًا طويلًا في الحديث مع أكثر من عشرين باحثًا في Brain من أجل الحصول على دعم للنشر. وإذا نظرنا فقط إلى طبيعة الأسئلة نفسها، فقد لا تكون كلها صحيحة اليوم عند الرجوع إليها؛ ربما لم تكن هي «الأسئلة الصحيحة» بالضرورة. لكن إذا تعاملنا معها كصناعة توافق حول آراء: إثبات أن «هذه مشكلات حقيقية تستحق التعامل الجدي»، فكانت لحظة مهمة.
Jack Clark: «في النهاية ستدخل إلى عالم خيال علمي غريب جدًا. أتذكر أن Anthropic المبكرة تحدثت عن Constitutional AI، وJared قال: «نكتب دستورًا لنموذج اللغة، فيتصرف بسلوك». في ذلك الوقت كان الأمر يبدو مجنونًا. لماذا اعتقدتم أنه ممكن؟»
Jared Kaplan: «ناقشت الأمر طويلًا مع Dario. أشعر أن الطرق البسيطة في AI كثيرًا ما تكون فعالة للغاية. كانت النسخة الأولى معقدة، ثم قلصناها تدريجيًا حتى أصبحت تقريبًا: الاستفادة من حقيقة أن النموذج يجيد أسئلة الاختيار من متعدد؛ ثم نعطيه تعليمات واضحة تخبره ما الذي ينبغي أن يبحث عنه. وهذا يكفي، وبعد ذلك يمكننا كتابة المبادئ مباشرة.»
Dario Amodei: «هذا يعيدنا إلى «كتلة القدرة الحسابية الكبيرة» (The Big Blob of Compute)، و«الدرس المؤلم» (The Bitter Lesson)، و«افتراض التوسع» (Scaling Hypothesis): طالما يمكنك إعطاء AI هدفًا واضحًا وبيانات، فسوف يتعلم. مجموعة تعليمات، مجموعة مبادئ؛ نموذج اللغة قادر على قراءتها، وكذلك يمكنه مقارنتها بسلوكه الخاص، فهدف التدريب موجود هناك. لهذا اعتقادنا أنا وJared: يمكن إنجازه، طالما أن التفاصيل تُعاد مرارًا وتكرارًا.»
Jared Kaplan: «بالنسبة لي، بدا الأمر غريبًا في البداية. أنا جئت من الفيزياء، والآن الجميع متحمس لـ AI، فالأجواء التي كنا فيها تُنسى بسهولة. في ذلك الوقت تحدثتُ مع Dario بهذا الشكل، وشعرت أن كثيرًا من باحثي AI أصيبوا نفسيًا بشدة خلال شتاء AI، وكأن «الطموح» لا يُسمح به. مناقشة الأمان تتطلب أولاً أن نؤمن بأن AI قد تكون قوية جدًا ومفيدة جدًا. لكن في ذلك الوقت كان هناك نوع من حظر ضد الطموح. ميزة علماء الفيزياء هي «الغطرسة»: فهم غالبًا يقومون بأشياء بطموح كبير، وهم معتادون على الحديث عن الصورة الكبيرة.»
Dario Amodei: «أعتقد أن هذا صحيح. في عام 2014 كان هناك الكثير من الكلام الذي لا يُسمح به. وهذا شبيه أيضًا بمشكلة عامة في الأوساط الأكاديمية: باستثناء بعض المجالات، أصبحت المؤسسات أكثر نفورًا من المخاطر، وAI الصناعية ورثت هذا الشعور؛ وأعتقد أنه لم يتغير حتى حوالي 2022.»
Chris Olah: «وهناك شكلين من «التقّيد/التحفظ»: أحدهما أن تنظر إلى المخاطر بجدية، والآخر أن تعتبر أن التعامل بجدية مع المخاطر—والإيمان بأن الأفكار قد تنجح—هو نوع من الغطرسة. كنا وقتها في المجموعة التي كانت تقودها هذه الفكرة الثانية. وفي تاريخ مناقشات الفيزياء النووية في 1939 كان الأمر مشابهًا: Fermi كان يتحفظ، بينما كان Szilard أو Teller ينظر إلى المخاطر بجدية أكثر.»
Dario Amodei: «أعمق درس تعلمته في السنوات العشر الماضية هو: إن كثيرًا من «الإجماعات التي يعتقد الجميع أنها تعرفها» ليست سوى تأثير قطيع يتخفّى بزي النضج. لقد رأيت كم مرة ينقلب الإجماع بين ليلة وضحاها، ثم يقولون: لا، سنراهن على هذا. ربما ليس بالضرورة صحيحًا دائمًا، لكن تجاهل الضجيج والرهان. حتى لو لم يكن لديك سوى 50% من الصحة، فستساهم بأشياء كثيرة لم يساهم بها غيرك.»
تحول المواقف العامة تجاه الذكاء الاصطناعي
Jared Kaplan: «اليوم أيضًا في بعض قضايا السلامة نرى نفس النمط: يعتقد الإجماع الخارجي أن الكثير من مشاكل الأمان غير الطبيعية «لا تنبت من داخل التكنولوجيا». لكن ما رأيناه في Anthropic عبر البحث هو أنها فعلاً تنبت بشكل طبيعي.»
Daniela Amodei: «لكن خلال الـ18 شهرًا الماضية يتغير هذا الأمر. كذلك تتغير العواطف العامة تجاه AI بشكل واضح. عندما نقوم بأبحاث المستخدمين، نسمع أكثر فأكثر من المستخدمين العاديين قلقًا بشأن التأثير الشامل لـ AI على العالم.»
أحيانًا يكون الموضوع متعلقًا بالعمل أو بالانحياز أو بالسمية، وأحيانًا يكون «هل سيسبب فوضى في العالم، ويغير طريقة تعاون البشر». وهذا في الواقع لم أكن أتوقعه بالكامل.
Sam McCandlish: «لماذا لا أدري، لكن دائرة أبحاث ML تكون أكثر تشاؤمًا من الجمهور تجاه «أن AI ستصبح قوية جدًا».»
Jared Kaplan: «في عام 2023، أنا وDario ذهبنا إلى البيت الأبيض. في الاجتماع، كانت Harris وRaimondo تعني بشكل أساسي: نحن نراقبكم، AI أمر كبير، ونحن نتابع بجدية. لكن في 2018 لم يكن أحد ليتوقع أن «الرئيس سيطلب منك أن تأتي إلى البيت الأبيض لتقول لهم إنهم يراقبون نماذج اللغة».»
Tom Brown: «الأمر المثير للاهتمام هو أن كثيرًا منا انضم إلى هذه القضية عندما كانت غير محسومة بعد، مثل Fermi الذي كان يشك في القنبلة الذرية. كان هناك دليل ما يشير إلى أنها ربما ستُصنع، لكن أيضًا كان هناك دليل كثير يشير إلى أنها لن تُصنع، ومع ذلك قرر أن يجرب. لأن إذا حدثت بالفعل، ستكون تأثيراتها كبيرة جدًا، لذا يستحق المحاولة.»
هناك بين 2015 و2017 بعض الأدلة المتزايدة التي تشير إلى أن AI قد تكون أمرًا كبيرًا. في 2016 تحدثت مع مرشدي: عملت في مجال ريادة الأعمال وأردت تطوير أمان AI، لكني لم تكن لدي قوة رياضيات كافية ولا أعرف ماذا أفعل. في ذلك الوقت قال بعض الناس إنك يجب أن تتقن نظرية القرار؛ وقال آخرون إنه لن يحدث «حدث مجنون» في AI وأن المؤيدين قلة.
Jack Clark: «كنت أُعتبر مجنونًا في 2014 عندما أعمل على تغطية اتجاه ImageNet. في 2015، عندما أردت الكتابة عن NVIDIA لأن أوراقه تتحدث عن GPU، تم أيضًا اعتباري مجنونًا. وفي 2016، تركت العمل الإعلامي وانتقلت إلى AI، ووصلتني حتى رسائل بريد تقول: «لقد ارتكبت أكبر خطأ في حياتك». من زوايا كثيرة، كان الاعتقاد الجدي بأن «التوسع سيحدث» يبدو فعلًا مثل الجنون.»
Jared Kaplan: «كيف قررت؟ هل كنت مترددًا؟»
Jack Clark: «قمت برهان عكسي: طلبت منهم أن يجعلوني صحفيًا بدوام كامل في AI وأن أضاعف راتبي، وأنا أعرف أنهم لن يوافقوا. ثم نمت ليلة واحدة ثم استقلت. لأنني كنت أقرأ كل يوم ملفات وأرشيفات، وكان لدي إحساس دائم بأن هناك شيئًا مجنونًا جدًا يحدث، وفي لحظة معينة يجب عليك أن تراهن بثقة عالية.»
Tom Brown: «لم أكن حاسمًا إلى هذا الحد؛ لقد ترددت ستة أشهر.»
Daniela Amodei: «ثم أيضًا لم يكن هذا التيار شائعًا في ذلك الوقت: فكرة أن «الهندسة يمكن أن تدفع AI بشكل ملحوظ». كان السائد أن «فقط الباحثين يمكنهم عمل AI»، لذلك من الطبيعي أن تتردد.»
Tom Brown: «لاحقًا، قالت OpenAI: «يمكنك المساعدة عبر الهندسة من أجل أمان AI». وهذا ما جعلني أنضم. Daniela، كنتِ مديري في OpenAI، لماذا انضممتِ أنتِ في ذلك الوقت؟»
Daniela Amodei: «كنتُ في Stripe لمدة خمس سنوات ونصف، وكان Greg هو مديري. كما عرفت Greg و Dario لبعضهما. في ذلك الوقت كان Greg مؤسسًا لـ OpenAI، وقلت له: «أذكى الأشخاص الذين أعرفهم هو Dario. إذا تمكنت من ضمه إلى الفريق، فهذه ستكون حظًا لك». ثم انضم Dario إلى OpenAI.»
ربما مثلك، كنت أفكر أيضًا: بعد مغادرة Stripe، ماذا يجب أن أفعل بنفسي؟ انضمامي إلى Stripe كان لأنني قبل ذلك كنت أعمل في منظمات غير ربحية ومجال التنمية الدولية، وشعرت أنني أحتاج مهارات أكثر. في ذلك الوقت كنت أعتقد أنني في النهاية سأعود إلى ذلك المجال.
قبل الانضمام إلى Stripe، كنت أظن أنني لم تكن لدي القدرة الكافية لمساعدة أشخاص أسوأ حالًا مني. لذلك كنت أركز على شركات تقنية أخرى، آملًا أن أجد طريقة جديدة لإحداث تأثير أكبر. وفي ذلك الوقت جعلني OpenAI أشعر أن الأمر اختيار جيد، فهو منظمة غير ربحية، ملتزمة بتحقيق هدف مهم جدًا وذا معنى بعيد المدى.
لطالما كنت أؤمن بإمكانات AI، ولأني كنت أعرف Dario إلى حد ما، ولأنهم كانوا بالفعل بحاجة إلى من يساعد في الإدارة؛ لذلك شعرت أن هذا العمل يتوافق جدًا مع خلفيتي. في ذلك الوقت فكرت: «هذه منظمة غير ربحية، يجتمع هنا أشخاص ممتازون جدًا ويحملون رؤية جميلة، لكن تشغيلهم يبدو أنه ما زال فيه شيء من الفوضى». وكانت هذه التحديات بالذات ما جعلني متحمسة، لأنني أستطيع الانضمام إليها.
في ذلك الوقت شعرت أنني ألعب دور «لاعب متعدد المواهب»، لا أعمل فقط على إدارة أعضاء الفريق، بل أيضًا أقود بعض فرقًا تقنية، وأقوم بإدارة التوسع في التنظيم. كنت مسؤولًا عن عمل التوسع التنظيمي، وكنت أيضًا في فريق اللغة، ثم توليت بعض المهام الأخرى. كما شاركت في بعض الأمور المتعلقة بالسياسات، وتعاونت مع Chris. شعرت أن هناك الكثير من المواهب الممتازة داخل الشركة، وهذا جعلني أرغب في الانضمام إليها بشكل خاص، والمساعدة على جعل الشركة أكثر كفاءة وأكثر انتظامًا.
Jack Clark: «أتذكر أنه بعد الانتهاء من GPT-3 قلت: «هل سمعتم عن trust and safety؟»»
Daniela Amodei: «كنتُ قد أدرتُ فريق trust and safety في Stripe. بالنسبة لمثل هذه التقنيات، قد تحتاجون إلى التفكير في موضوع الثقة والأمان. هذه في الواقع جسر بين أبحاث أمان الذكاء الاصطناعي (AI Safety Research) والمهام اليومية الأكثر واقعية. أي: كيف نجعل النموذج يصبح آمنًا حقًا.»
طرح فكرة أن «هذه التقنية ستُحدث تأثيرًا كبيرًا في المستقبل» كان مهمًا جدًا. وفي الوقت ذاته، نحتاج في اليومي أيضًا إلى تنفيذ أعمال أكثر عملية لوضع أساس لما قد يواجهنا من سيناريوهات عالية المخاطر في المستقبل.
سياسة التوسع المسؤولة: ضمان التطور الآمن لـ AI
Jack Clark: «لنستغل هذه الفرصة لنتحدث عن كيفية طرح استراتيجية التوسع المسؤولة (RSP، Responsible Scaling Policy)، ولماذا فكرنا فيها، وكيف نستخدمها الآن—وخاصةً بالنظر إلى العمل الذي نقوم به حاليًا في الثقة والأمان للنماذج. إذًا من هو الذي طرح هذا RSP (استراتيجية التوسع المسؤولة) أولاً؟»
Dario Amodei: «في البداية اقترحتها أنا وPaul Christiano، تقريبًا في أواخر 2022. كانت الفكرة الأولى: هل ينبغي أن نقيدها مؤقتًا قبل أن نقوم بتوسيع النموذج إلى حجم معين، إلى أن نجد طريقة لحل بعض مشكلات الأمان؟»
لكن لاحقًا شعرنا أن تقييد التوسع عند نقطة ما ثم رفع القيود بعدها يبدو أمرًا غريبًا. لذلك قررنا وضع سلسلة من العتبات. كلما وصل النموذج إلى عتبة، نحتاج إلى إجراء سلسلة من الاختبارات لتقييم ما إذا كان النموذج يمتلك قدرات الأمان المناسبة.
عندما نصل إلى كل عتبة، يتوجب علينا اتخاذ إجراءات أمنية وضمانات أكثر صرامة. لكن منذ البداية كان لدينا تصور: إذا نفذها طرف ثالث، فقد يكون ذلك أفضل. أي أن هذه الاستراتيجية لا ينبغي أن تكون مسؤولة عنها شركة واحدة فقط، وإلا فلن تكون الشركات الأخرى راغبة في اعتمادها. لذلك صمم Paul هذه الاستراتيجية بنفسه. وبالطبع، مع مرور الوقت تغيرت الكثير من التفاصيل. ومن ناحيتنا كفريق، كنا نستمر في البحث عن كيفية جعل هذه الاستراتيجية تعمل بشكل أفضل.
بعد أن قام Paul بتنظيم المفهوم ليصبح ناضجًا، فقد فعل ذلك تقريبًا بالتزامن مع إعلان الفكرة. وفي غضون شهر أو شهرين، نشرنا إصدارنا الخاص. في الحقيقة، كان العديد من أعضاء فريقنا مشاركين بعمق في هذه العملية. أتذكر أنني كتبت على الأقل مسودة واحدة منها، لكن الملف بأكمله خضع لعدة جولات من المراجعة.
Tom Brown: «بالنسبة إلى Anthropic، فإن RSP مثل «دستورنا». إنها وثيقة محورية إرشادية، لذلك نحن على استعداد للاستثمار بكثير من الوقت والطاقة في تحسينها وصقلها مرارًا وتكرارًا، لضمان دقتها واكتمالها.»
Daniela Amodei: «أعتقد أن RSP في مسار تطور Anthropic كان ممتعًا جدًا. لقد مر بعدة مراحل، كما يحتاج إلى مهارات متعددة مختلفة لتطبيقه. على سبيل المثال، توجد بعض الأفكار الكبيرة، والمسؤولون عنها بشكل رئيسي Dario وPaul وSam وJared. كانوا يفكرون: «ما هي مبادئنا الأساسية؟ ما الرسائل التي نريد نقلها؟ وكيف نحدد أن اتجاهنا صحيح؟»
لكن بالإضافة إلى ذلك، توجد أيضًا أعمال واقعية جدًا على مستوى التنفيذ. مثلًا، في أثناء التطوير والتكرار المستمر، نقوم بتقييم وتعديل بعض التفاصيل. على سبيل المثال، توقعنا في البداية أننا سنحقق أهدافًا معينة عند مستوى أمان محدد، ولكن إذا لم نحقق ذلك، سنعيد تقييم الوضع ونتأكد من أننا قادرون على تحمل مسؤولية نتائج عملنا.
كما توجد تعديلات كثيرة مرتبطة بالهيكل التنظيمي. على سبيل المثال، قررنا إعادة تصميم الهيكل التنظيمي لـ RSP كي يكون تقسيم المسؤوليات أكثر وضوحًا. أحب تشبيه هذه الوثيقة بالدستور. مثلما تقيم الولايات المتحدة مؤسسة كاملة من المحاكم، المحكمة العليا، الرئيس، مجلس الشيوخ ومجلس النواب، لضمان تطبيق الدستور. حتى لو كانت هذه المؤسسات تتحمل وظائف أخرى، فإن وجودها يكون في جانب كبير منه من أجل الحفاظ على الدستور. وRSP لدى Anthropic يمر حاليًا بعملية شبيهة.
Sam McCandlish: «أعتقد أن هذا يعكس رؤية جوهرية لدينا حول قضايا الأمان: أن مشكلات الأمان يمكن حلها. هذه مهمة معقدة وشاقة للغاية وتتطلب استثمارًا كبيرًا من الوقت والجهد.»
مثل قطاع سلامة السيارات، تم تأسيس الأنظمة والمؤسسات ذات الصلة عبر سنوات من التطوير. لكن المشكلة التي نواجهها الآن هي: هل لدينا وقت كافٍ لإنجاز هذه الأعمال؟ لذلك علينا أن نجد—بقدر الإمكان—بسرعة أكبر الأنظمة الأساسية اللازمة لأمان AI، ونقيمها أولاً هنا، مع التأكد من أنه يمكن للجهات الأخرى الاستفادة منها وتعميمها.
Dario Amodei: «هذا يساعد أيضًا على توحيد التعاون داخل المؤسسة؛ لأن إذا قام أي جزء داخل المنظمة بسلوك لا يتوافق مع قيم الأمان لدينا، فإن RSP سيوضح المشكلة بطريقة ما، أليس كذلك؟ RSP يمنعهم من الاستمرار في تلك الخطط التي لا تفي بمعايير الأمان. لذلك تصبح أيضًا أداة تذكير مستمرة لكل شخص، لضمان أن يصبح الأمان شرطًا أساسيًا في عملية تطوير المنتجات والتخطيط. نحن لا نتحدث فقط عن بعض الشعارات، بل ندمج الأمان في كل حلقة. وإذا انضم شخص إلى الفريق ولم يستطع التوافق مع هذه المبادئ، سيجد نفسه غير قادر على الاندماج. إما أن يتكيف مع هذا الاتجاه، أو سيكتشف أنه من الصعب الاستمرار.»
Jack Clark: «مع مرور الوقت، أصبحت RSP أكثر أهمية. استثمرنا فيها آلاف الساعات، وعندما أشرح RSP للنواب في مجلس الشيوخ، قلت لهم: «لقد وضعنا بعض الإجراءات لضمان ألا تكون تقنياتنا قابلة للاستخدام بشكل سيئ، وفي الوقت نفسه لضمان السلامة.» كانت ردودهم عادة: «يبدو الأمر طبيعيًا. ألا تقوم كل شركة بذلك؟» هذا جعلني أشعر ببعض المفارقة؛ لأن الأمر ليس كذلك فعلًا، فليست كل الشركات تفعل هذا.»
Daniela Amodei: «بالإضافة إلى ذلك، أعتقد أن RSP تعزز شفافية الشركة. لأنها تسجل بوضوح أهدافنا. يمكن لكل شخص داخل الشركة أن يفهم ذلك. وفي الوقت نفسه، يمكن للجهات الخارجية فهم أهدافنا واتجاهنا في مجال الأمان بوضوح. إنها ليست مثالية بعد، لكننا نواصل تحسينها وتعديلها.»
أعتقد أنه عندما نحدد بوضوح «ما هي القضايا الأساسية التي نهتم بها»، فلا يمكننا استخدام كلمة «الأمان» بشكل عشوائي لتوجيه تقدم العمل. مثلًا: «بسبب مشاكل الأمان، لا يمكننا القيام بشيء ما» أو «بسبب مشاكل الأمان، يجب علينا القيام بشيء ما». هدفنا الحقيقي هو أن يكون الجميع واضحًا بما نعنيه بكلمة الأمان.
Dario Amodei: «من منظور بعيد المدى، فإن أكثر ما يضر الأمان غالبًا هو «التدريبات على الأمان» المتكررة. لقد قلت سابقًا: «إذا كان هناك مبنى يرن فيه إنذار الحريق كل أسبوع، فهذا في الحقيقة مبنى غير آمن جدًا.» لأن عندما يحدث حريق حقيقي، ربما لن ينتبه أحد. لذلك علينا أن نولي اهتمامًا كبيرًا بدقة الإنذارات ومعايرتها.»
Chris Olah: «انظر إلى الأمر من زاوية أخرى: أعتقد أن RSP تخلق آليات حوافز صحية على مستويات كثيرة. مثلًا داخل الشركة، تقوم RSP بمحاذاة آليات تحفيز كل فريق مع أهداف السلامة. هذا يعني أنه إذا لم نحقق تقدمًا كافيًا في مجال الأمان، فسيتوقف العمل المتعلق بذلك. من الخارج أيضًا، تخلق RSP حوافز أكثر صحة مقارنة بالطرق الأخرى. مثلًا، إذا كان يومًا ما يتعين علينا اتخاذ إجراءات كبيرة مثل الاعتراف بأن «نماذجنا وصلت إلى مرحلة ما، لكننا غير قادرين بعد على ضمان سلامتها». حينها توفر RSP إطارًا واضحًا وأدلة تدعم هذا القرار. هذا الإطار موجود مسبقًا وواضح وسهل الفهم. عندما نتذكر مناقشتنا للإصدار الأول من RSP، لم أكن أدرك بالكامل إمكانيته. لكن الآن أعتقد أنه بالفعل أكثر فعالية من أي طريقة أخرى كان يمكنني التفكير بها.»
Jared Kaplan: «أوافق على هذه الآراء. لكنني أعتقد أنها قد تقلل من شأن التحديات التي نواجهها في صياغة السياسات الصحيحة ووضع معايير التقييم وتحديد الحدود. لقد أجرينا بالفعل الكثير من التكرارات في هذه الجوانب وما زلنا نحسنها. إحدى القضايا الصعبة هي أنه بالنسبة للتقنيات الناشئة، أحيانًا يصعب تحديد ما إذا كانت خطيرة أم آمنة بشكل واضح. كثيرًا ما نواجه منطقة رمادية هائلة. هذه التحديات كانت مثيرة جدًا عندما بدأ تطوير RSP، وما زالت مثيرة حتى الآن. ولكن في الوقت نفسه، أدركت أن تطبيق هذه الاستراتيجية بوضوح وجعلها تعمل فعلاً هو أكثر تعقيدًا وأكثر تحديًا مما كنت أتصوره في البداية.»
Sam McCandlish: «المنطقة الرمادية لا يمكن التنبؤ بها بالكامل لأنها منتشرة في كل مكان. لا تعرف أين المشكلة إلا عندما تبدأ بالتطبيق فعليًا. لذلك هدفنا هو تطبيق كل شيء في وقت مبكر قدر الإمكان حتى نكتشف المشكلات المحتملة بأسرع ما يمكن.»
Dario Amodei: «لا بد من القيام بثلاث إلى أربع جولات من التكرار حتى تحقق الكمال. التكرار أداة قوية جدًا، ومن شبه المستحيل أن تكون صحيحًا تمامًا من المحاولة الأولى. لذلك إذا كانت المخاطر تتزايد، يجب أن تنجز هذه التكرارات مبكرًا، وليس انتظار اللحظة الأخيرة.»
Jack Clark: «وفي الوقت نفسه، تحتاج أيضًا إلى بناء أنظمة وإجراءات داخلية. حتى لو كانت التفاصيل قد تتغير مع الوقت، فإن تنمية قدرة الفريق على التنفيذ هي الأكثر أهمية.»
Tom Brown: «أنا مسؤول عن إدارة موارد الحوسبة في Anthropic. بالنسبة لي نحتاج للتواصل مع أصحاب المصلحة الخارجيين؛ فالأطراف المختلفة الخارجية لها وجهات نظر مختلفة حول سرعة تطور التقنية. في البداية كنت أعتقد أن التطور لن يكون بهذه السرعة، لكن بعد ذلك تغيّرت وجهة نظري، لذلك أنا أفهم ذلك كثيرًا. وأعتقد أن RSP مفيدة جدًا لي، خصوصًا عند التواصل مع أشخاص يعتقدون أن التطور سيبقى بطيئًا نسبيًا. يمكننا أن نقول لهم: «لا نحتاج إلى اتخاذ تدابير أمان متطرفة قبل أن يصل التطور التقني إلى درجة عاجلة للغاية». وإذا قالوا: «أعتقد أن الأمور لن تصبح عاجلة لفترة طويلة جدًا»، فأستطيع الرد: «حسنًا، إذًا لسنا بحاجة مؤقتًا لاتخاذ تدابير أمان متطرفة». وهذا يجعل التواصل مع العالم الخارجي أكثر سلاسة.»
Jack Clark: «حسنًا، فبأي جوانب أخرى أثرت RSP على الجميع؟»
Sam McCandlish: «كل شيء يدور حول التقييم. كل فريق يقوم بالتقييم. على سبيل المثال، فريق التدريب يقوم بالتقييم باستمرار. نحاول تحديد هل أصبح هذا النموذج قويًا إلى حد قد يجعله يسبب خطرًا؟»
Daniela Amodei: «وهذا يعني أننا نحتاج إلى قياس أداء النموذج وفق معايير RSP، بما في ذلك فحص ما إذا كانت هناك علامات محتملة تثير قلقنا.»
Sam McCandlish: «تقييم الحد الأدنى لقدرات النموذج نسبيًا أسهل، لكن تقييم الحد الأقصى لقدرات النموذج صعب جدًا. لذلك بذلنا الكثير من الجهد البحثي، لمحاولة الإجابة عن أسئلة مثل: «هل يمكن لهذا النموذج تنفيذ مهام خطرة معينة؟ هل توجد طرق لم نأخذها في الاعتبار بعد—مثل مخطط ذهني (mind map)، أو أفضل حدث (best event)، أو استخدام بعض الأدوات—هل يمكن أن تجعل هذه الأشياء النموذج قادرًا على تنفيذ سلوكيات شديدة الخطورة؟»»
Jack Clark: «أدوات التقييم هذه مفيدة جدًا ضمن عملية صياغة السياسات. لأن «الأمان» مفهوم تجريدي جدًا. عندما أقول: «لدينا أداة تقييم تحدد ما إذا كان يمكننا نشر هذا النموذج أم لا»، ثم يمكننا التعاون مع واضعي السياسات، ومع خبراء الأمن القومي، ومع خبراء المجال في CBRN (الكيمياء والبيولوجيا والإشعاع والنووي)؛ لوضع معايير تقييم دقيقة. بدون هذه الأدوات المحددة، قد يستحيل تنفيذ هذا التعاون. لكن بمجرد وجود معايير واضحة، يصبح الناس أكثر استعدادًا للمشاركة والمساعدة في ضمان دقتها. لذلك في هذا الجانب، دور RSP واضح جدًا.»
Daniela Amodei: «بالنسبة لي أيضًا RSP مهمة للغاية، وغالبًا ما تؤثر على عملي. الأمر المثير للاهتمام هو أن طريقة تفكيري في RSP مختلفة قليلًا؛ فأنا أنظر إليها أكثر من زاوية «نبرة» الوثيقة، أي طريقة صياغتها. مؤخرًا قمنا بتعديل «نبرة» RSP بشكل كبير، لأن النبرة السابقة كانت تقنية جدًا، وحتى كانت تحمل إحساسًا بالانقسام/المواجهة. قضيت وقتًا طويلًا أفكر: كيف نبني نظامًا يجعل الناس يرغبون في المشاركة فيه.»
إذا كانت RSP وثيقة يمكن لكل شخص داخل الشركة أن يفهمها بسهولة، فسيكون الأمر أفضل بكثير. مثلما لدينا حاليًا OKR (الأهداف والنتائج الرئيسية). ما الهدف الرئيسي لـ RSP؟ كيف نعرف أننا حققنا الهدف؟ ما هو مستوى أمان AI الحالي (ASL)؟ هل هو ASL-2 أم ASL-3؟ إذا كان الجميع يعرف ما الذي يجب التركيز عليه، فسيصبح اكتشاف المشاكل المحتملة أسهل. بالعكس، إذا كانت RSP تقنية جدًا بحيث لا يفهمها إلا قلة من الناس، فستتراجع فعاليتها الفعلية بشكل كبير.
من الرائع أن نرى أن RSP تتجه نحو أن تصبح أكثر سهولة للفهم. الآن، أعتقد أن معظم الناس في الشركة، وربما كلهم بغض النظر عن مناصبهم، يستطيعون قراءة هذه الوثيقة، وفهمها ويشعرون: «هذا معقول. أتمنى أن نطوّر AI وفقًا للمبادئ التالية، وأفهم لماذا يجب أن نولي اهتمامًا لهذه الأمور. وإذا واجهتني مشكلة في عملي، فأنا أعرف تقريبًا ماذا يجب أن أنتبه له.» نريد أن تكون RSP بسيطة بما يكفي بحيث يستطيع من يعمل في مصنع التصنيع أن يحكم بسهولة: «حزام الأمان يجب أن يكون متصلًا هنا، لكنه غير متصل الآن.» وبالتالي يكتشف المشكلات في الوقت المناسب.
المفتاح هو بناء آلية تغذية راجعة سليمة تمكن القيادة ومجلس الإدارة وباقي أقسام الشركة، وكذلك فرق البحث والتطوير الفعلية، من تبادل الحديث بسلاسة. وأعتقد أن أغلب المشكلات تنشأ غالبًا بسبب ضعف التواصل أو انحراف نقل المعلومات. إذا كانت المشكلة تظهر فقط بسبب هذه الأسباب، فهذا أمر مؤسف، أليس كذلك؟ في النهاية، ما نحتاج إليه هو تحويل هذه الأفكار إلى واقع ملموس وضمان أنها بسيطة وواضحة، ويسهل فهمها من قبل الجميع.
قصة تأسيس Anthropic
Sam McCandlish: «في الحقيقة، لا يوجد أحد منا كان لديه من البداية رغبة في تأسيس شركة. نحن فقط شعرنا أن هذا هو مسؤوليتنا وأن علينا اتخاذ إجراء، لأن هذا هو الطريق الوحيد لضمان تطور AI في الاتجاه الصحيح، ولهذا السبب أفضينا إلى ذلك التعهد.»
Dario Amodei: «كانت فكرتي الأولى بسيطة: أردت فقط اختراع واستكشاف أشياء جديدة بطريقة مفيدة. هذه الفكرة قادتني إلى مجال AI، وبما أن أبحاث AI تحتاج إلى دعم هندسي كبير في النهاية، فإنها تحتاج أيضًا إلى دعم تمويلي كبير.»
لكنني وجدت أنه إذا لم يكن لديك هدف واضح وخطة لتأسيس الشركة وإدارة البيئة، فستُنجز كثير من الأشياء، لكن ستكرر أخطاء في قطاع التكنولوجيا كنت أشعر بالاغتراب عنها. عادةً تنبع هذه الأخطاء من أشخاص متشابهين، ومواقف متشابهة، وأنماط تفكير متشابهة. لذلك في مرحلة ما، أدركت أنه يجب علينا القيام بهذه الأمور بطريقة جديدة تمامًا، وهذا بدا شبه حتمي.
Jared Kaplan: «هل تتذكر عندما كنا في مرحلة الدراسات العليا، كان لديك خطة كاملة لاستكشاف كيفية تعزيز المصلحة العامة عبر البحث العلمي؟ أعتقد أن هذا يشبه تفكيرنا الآن جدًا. أتذكر أن لديك مشروعًا باسم «Project Vannevar»، وكان هدفه تحقيق ذلك. في ذلك الوقت كنت أستاذًا، كنت أراقب ما يحدث وأنا مقتنع تمامًا بأن تأثير AI ينمو بسرعة شديدة.»
لكن بسبب أن أبحاث AI تتطلب تمويلًا مرتفع الطلب، ومع كونني أستاذًا للفيزياء، أدركت أنني لا أستطيع دفع هذه التقدمات وحدي عبر البحث الأكاديمي. كنت أريد بناء مؤسسة مع أشخاص موثوقين، تضمن أن يتقدم تطور AI في الاتجاه الصحيح. لكن بصراحة، لم يكن لدي أبدًا توصية للناس بتأسيس شركة، ولم يكن لدي رغبة في ذلك. بالنسبة لي، كان هذا مجرد وسيلة لتحقيق الهدف. وأعتقد أن المفتاح غالبًا هو أن تهتم فعلاً بتحقيق هدف ذي معنى للعالم، ثم تجد أفضل وسيلة لتحقيقه.
كيف نبني ثقافة قائمة على الثقة
Daniela Amodei: «أنا أفكر كثيرًا في ميزة فريقنا الاستراتيجية. أحد العوامل التي قد تبدو مفاجئة لكنها بالغة الأهمية هو الثقة العالية جدًا بيننا. من الصعب جدًا أن تجعل مجموعة كبيرة من الناس تمتلك رسالة مشتركة؛ لكن في Anthropic نجحنا في نقل هذا الإحساس بالرسالة إلى عدد متزايد من الأشخاص. في هذا الفريق، بما في ذلك القيادة وجميع الأعضاء، يتجمع الجميع حول الرسالة المشتركة. مهمتنا واضحة وطاهرة، وهذا ليس شائعًا في قطاع التكنولوجيا.»
أشعر أننا نعمل على تحقيق هدف يحمل معنىً نقيًا. لا أحد منا بدأ لأنه يريد تأسيس شركة. نحن فقط نعتقد أنه يجب القيام بذلك. لم نعد قادرين على مواصلة العمل في المكان الأصلي، وعلينا أن ننجز هذه المهمة بأنفسنا.
Jack Clark: «في ذلك الوقت، مع ظهور GPT-3، ومع أن جميعنا تواصلنا أو شاركنا في مشاريع مثل قوانين التوسع (scaling laws) وغيرها، أصبح واضحًا في عام 2020 اتجاه تطور AI. أدركنا أنه إذا لم نتخذ إجراء في أقرب وقت، فقد نصل قريبًا إلى نقطة حرجة لا يمكن الرجوع عنها. كان علينا أن نتحرك لنؤثر في هذا السياق.»
Tom Brown: «أريد أن أكمل وجهة نظر Daniela. أنا حقًا أعتقد أن هناك ثقة عالية جدًا داخل الفريق. كل واحد منا يعرف أننا انضممنا لهذا الفريق لأننا نريد المساهمة في العالم. كما تعهدنا معًا بالتبرع بنسبة 80% من الإيرادات للجوانب التي تدفع عجلة القضايا التي تعزز المجتمع. هذه نقطة يدعمها الجميع دون تردد: «نعم، بالطبع سنفعل ذلك.» هذه الثقة خاصة جدًا ونادرة.»
Daniela Amodei: «أعتقد أن Anthropic شركة خافتة جدًا من ناحية الطابع السياسي. قد تكون وجهات نظرنا مختلفة عن الناس العاديين، وأذكر نفسي دائمًا بذلك. أعتقد أن إجراءات التوظيف لدينا والخصائص الشخصية لأعضاء الفريق تجعل الثقافة هنا لديها رفض طبيعي لـ «سياسة المكاتب» إلى حد كبير.»
Dario Amodei: «هناك أيضًا تماسك الفريق. تماسك الفريق أمر حاسم. سواء كانت فرق المنتجات أو فرق الأبحاث أو فرق الثقة والأمان أو فرق التسويق أو فرق السياسات—الجميع يعمل لتحقيق هدف الشركة نفسه. عندما تسعى الأقسام المختلفة داخل الشركة لأهداف مختلفة تمامًا، يحدث غالبًا ارتباك. وإذا اعتقدوا أن قسمًا آخر يعرقل عملهم، فهذه حالة غير طبيعية على الإطلاق.»
وأعتقد أن أحد أهم إنجازاتنا هو قدرتنا على الحفاظ على التناسق العام داخل الشركة. وتلعب آليات مثل RSP دورًا مهمًا في ذلك. تضمن هذه الآلية أن الشركة ليست فقط بعض الأقسام التي تخلق المشاكل بينما أقسام أخرى تحاول إصلاحها؛ بل جميع الأقسام تؤدي وظائفها جنبًا إلى جنب، وتعمل بتكامل تحت إطار «نظرية التغيير» الموحدة (theory of change).
Chris Olah: «سبب انضمامي الأول إلى OpenAI هو أنها منظمة غير ربحية، ويمكنني أن أركز هناك على أبحاث أمان AI. مع مرور الوقت، بدأت أكتشف أن هذا النموذج لا يناسبني بالكامل، وهذا دفعني إلى اتخاذ بعض القرارات الصعبة. في هذه العملية، أثق جدًا بحكم Dario وDaniela، لكنني لم أرغب في المغادرة. السبب هو أنني أعتقد أن إضافة المزيد من مختبرات AI لا يعني بالضرورة فائدة أكبر للعالم؛ وهذا جعلني مترددًا جدًا بشأن ترك المكان.»
عندما قررنا في النهاية المغادرة، كنت ما زلت متحفظًا تجاه فكرة تأسيس شركة. كان لي رأي سابق بأن علينا إنشاء مؤسسة غير ربحية تركز على أبحاث الأمان. لكن في النهاية، دفعتنا الواقعية والاعتراف الصريح بقيود الواقع إلى إدراك أن إنشاء Anthropic كان أفضل طريقة لتحقيق أهدافنا.
Dario Amodei: «أحد الدروس المهمة التي تعلمناها في بدايتنا هو: قلّل الوعود وزِد تحقيق الوعود. ابق واقعيًا واجه المقايضات. لأن الثقة والسمعة أهم من أي سياسة بعينها.»
Daniela Amodei: «الشيء الفريد في Anthropic هو الثقة العالية جدًا والوحدة داخل الفريق. على سبيل المثال، عندما أرى Mike Krieger يصر على عدم نشر بعض المنتجات لأسباب تتعلق بالأمان، وفي الوقت نفسه أرى Vinay يناقش كيفية الموازنة بين متطلبات العمل لدفع المشروع إلى الأمام، شعرت بشيء مميز جدًا. كذلك يناقش مهندسو فريق السلامة التقنية وفريق الاستدلال كيفية ضمان أن تكون المنتجات آمنة ونافعة في آنٍ واحد. هذا النوع من التوافق على الهدف الواحد والموقف الواقعي هو واحد من أكثر ما يجذب في بيئة العمل لدى Anthropic.»
Dario Amodei: «الثقافة التنظيمية السليمة هي تلك التي يفهم فيها الجميع المقايضات المشتركة التي نواجهها ويقبلونها. عالمنا الذي نعيش فيه ليس مثاليًا، وكل قرار يحتاج إلى إيجاد توازن بين مصالح مختلفة، وغالبًا لا يمكن أن يكون التوازن مُرضيًا بالكامل. ومع ذلك، طالما أن الفريق بأكمله—تحت هدف موحد—يواجه هذه المقايضات معًا، ويساهم كل شخص من منصبه في تحقيق الهدف الشامل، فهذا هو النظام البيئي الصحي.»
Sam McCandlish: «يمكن اعتباره من بعض النواحي «سباقًا للأعلى». نعم، إنه بالفعل «سباق للأعلى». ورغم أنه ليس خيارًا خاليًا تمامًا من المخاطر، فقد تحدث أخطاء. لكن نحن جميعًا متفقون: «هذا هو اختيارنا.»»
ملاحقة قمة سباق AI
Jack Clark: «لكن السوق بطبيعته عملية (واقعية)، لذلك عندما تكون Anthropic ناجحة أكثر فأكثر، تزداد دوافع الآخرين لتقليد الأشياء التي جعلتنا ننجح. والأهم أنه عندما تكون نجاحنا مرتبطًا ارتباطًا وثيقًا بعملنا الفعلي في مجال السلامة، يتولد في الصناعة نوع من «الجاذبية» يدفع الشركات الأخرى أيضًا إلى المشاركة في هذه المنافسة. مثلما طورنا أحزمة الأمان، يمكن للآخرين تقليدها. هذه هي البيئة الصحية.»
Dario Amodei: «لكن إذا قلت: «لن نطور هذه التقنية، ولا يمكنك أن تجعلها أفضل من الآخرين»، فهذا لا يصلح. لأنك لم تثبت أن الطريق من الوضع الحالي إلى المستقبل قابل للتطبيق. العالم يحتاج—سواء على مستوى الصناعة أو على مستوى شركة بعينها—إلى إيجاد طريقة تجعل المجتمع ينتقل من «عدم وجود التقنية» إلى «وجود التقنية بشكل قوي، مع إدارتها بشكل فعّال من قِبل المجتمع». وأعتقد أن الطريقة الوحيدة لتحقيق هذا الهدف هي مواجهة هذه المقايضات على مستوى شركة واحدة، وربما في النهاية على مستوى الصناعة كلها.»
تحتاج إلى إيجاد طريقة تحافظ على قدرتك التنافسية، بل وتقود الصناعة في بعض المجالات، وفي الوقت نفسه تضمن سلامة التقنية. إذا تمكنت من القيام بذلك، فسيكون تأثيرك الجاذب تجاه الصناعة قويًا جدًا. من بيئة التنظيم إلى الأمل في جذب أفضل المواهب من شركات مختلفة، وحتى إلى نظرة العملاء—كل هذه العوامل تدفع الصناعة في الاتجاه نفسه. وإذا تمكنت من إثبات أنه يمكن تحقيق الأمان دون التضحية بالتنافسية—أي إيجاد حلول رابحة للطرفين—فسيتم تحفيز الشركات الأخرى لتقليد ذلك.
Jared Kaplan: «أعتقد أن هذا هو سبب أهمية آليات مثل RSP. نحتاج أن نرى بوضوح اتجاه تطور التقنية، وأن ندرك أننا يجب أن نكون شديدي اليقظة تجاه بعض القضايا. لكن في الوقت نفسه، يجب أن نتجنب إنذار «الذئب جاء»؛ لا يمكن أن نقول ببساطة: «يجب أن تتوقف الابتكارات هنا». نحن نحتاج لإيجاد طريقة تجعل تقنيات AI توفر للعملاء تجربة مفيدة ومبتكرة وممتعة. وفي الوقت ذاته، نحدد بشكل واضح القيود التي يجب أن نلتزم بها، والتي تضمن سلامة النظام، وفي نفس الوقت تجعل الشركات الأخرى تؤمن بأنه يمكنها أن تنجح أيضًا في ظل نفس قيود الأمان، والتنافس معنا.»
Dario Amodei: «بعد بضعة أشهر، مع إطلاقنا لـ RSP، طرحت ثلاث من أشهر شركات AI آليات مشابهة. كما أن أبحاث قابلية التفسير كانت مجالًا آخر حققنا فيه اختراقًا. بالإضافة إلى ذلك، لدينا تعاون مع مؤسسات بحث أمان AI. وهذا الاهتمام الشامل بالأمان ينتج تأثيرًا عميقًا.»
Jack Clark: «نعم، تم تقليد Frontier Red Team تقريبًا فورًا من قبل شركات أخرى. هذا أمر جيد. ونريد لكل مختبر اخت