مناقشة بين سبعة مؤسسين مشاركين، كيف وُجدت شركة Anthropic؟

«لا أحد يريد بدء مشروع، لكن يَشعر أنه يجب أن يفعل ذلك.»

تنسيق & تجميع: Deep Tide TechFlow

الضيوف: Chris Olah، Jack Clark، Daniela Amodei، Sam McCandlish، Tom Brown، Dario Amodei، Jared Kaplan من شركة Anthropic (نائب/مسؤولون تنفيذيون)

مصدر البودكاست: Anthropic

العنوان الأصلي: Building Anthropic | A conversation with our co-founders

تاريخ النشر: 20 ديسمبر 2024

ملخص النقاط الرئيسية

خلال الأسبوع الماضي، أصدرت Anthropic على التوالي حادثتين:

أولاً، تم الكشف عن ما يقرب من 3000 ملف داخلي بشكلٍ غير مقصود بسبب خطأ في إعدادات نظام إدارة المحتوى (CMS)، ثم مباشرةً نشر Claude Code v2.1.88 على npm ومعه خرائط المصدر (source map) بحجم 59.8MB، إذ انكشفت مباشرةً 510 آلاف سطر من الكود.

شركة تكتب «الأمان» في جيناتها، لكنها تتعثر بشكل متتابع في عملياتها وتشغيلها الداخلي—وهذا ساخر إلى أقصى حد.

لكن قبل أن نُسرع في السخرية، يجدر بنا أن نعود للاستماع إلى محادثة داخلية أجراها سبعة من مؤسسي Anthropic قبل أكثر من عام بقليل. سُجل هذا البودكاست في ديسمبر 2024، وتحدث الجميع عن كيفية نشوء هذه الشركة، وكيف تم تنقيح RSP (سياسة التوسع المسؤولة، ترجمة حرفية: «سياسة التوسع المسؤولة») وصولاً إلى صورتها، ولماذا لا يمكن استخدام كلمة «الأمان» على عواهنها، وأيضاً عن مقولة المدير التنفيذي Dario التي أُعيد الاستشهاد بها مراراً:

«إذا كانت عمارة ما تُطلق إنذار الحريق كل أسبوع، فهي في الحقيقة عمارة غير آمنة للغاية.»

ومع سماع هذه الجملة الآن، يصبح مذاقها مختلفاً بالفعل.

سبعة من المؤسسين، تعريف سريع بالهوية

Dario Amodei｜الرئيس التنفيذي، نائب رئيس أبحاث سابق في OpenAI، من خلفية في علم الأعصاب؛ وهو صاحب القرار الأخير في المسار الاستراتيجي والأمني لدى Anthropic. هو الأكثر حضوراً في هذه المحادثة.

Daniela Amodei｜الرئيسة، أخت Dario. عملت سابقاً في Stripe لمدة خمس سنوات ونصف، وقيّدت فرق الثقة والسلامة، ثم عملت في وقت أبكر في مجالات غير ربحية وتنمية دولية. بناء تنظيم Anthropic والتواصل الخارجي تقوده في الأساس.

Jared Kaplan｜أستاذ في الفيزياء تحوّل إلى باحث في أبحاث الذكاء الاصطناعي، واحد من المؤلفين الأساسيين لقوانين التوسع (scaling laws). كثيراً ما يقدّم أحكاماً من منظور «شخص خارجي»، ويقول إنه اتجه إلى AI لأن «عمل الفيزياء أصبح مملّاً».

Chris Olah｜من أبرز الأسماء في أبحاث القابلية للتفسير (interpretability). دخل مجال AI في خليج سان فرانسيسكو بعمر 19 عاماً، وعمل لاحقاً في Google Brain وOpenAI. هو صاحب الطابع الأكثر مثاليةً تكنولوجياً داخل Anthropic.

Tom Brown｜كاتب ورقة GPT-3، وهو الآن يدير موارد الحوسبة في Anthropic. توجهه أقرب للهندسة والبنية التحتية، وقد تحدث كثيراً في البودكاست عن رحلته من «لا أصدق أن AI سيتقدم بهذا السرعة» إلى تغيير نظرته.

Jack Clark｜مراسل سابق في Bloomberg للعلوم التقنية، ومسؤول سياسات وشؤون عامة في Anthropic. يعمل كمنسق/مقدّم لهذه المحادثة، ويتولى ربط الأسئلة والتعمق فيها.

Sam McCandlish｜شريك بحثي. الأقل من حيث عدد الكلمات في كامل الجلسة، لكنه غالباً ما يلتقط جوهر الفكرة بجملة واحدة—وهو مكان «ضربة الختام».

ملخص آراء مميزة

لماذا نعمل في AI: من الملل في الفيزياء إلى «يكفي، سأصدق»

Jared Kaplan: «لقد قضيت وقتاً طويلاً في دراسة الفيزياء، وكان ذلك مملّاً نوعاً ما، وأردت العمل مع أصدقاء أكثر، لذلك بدأت بالعمل في مجال AI.»

Dario Amodei: «لا أعتقد أنني قدّمْتُ لك إقناعاً واضحاً. كنت فقط أعرض عليك نتائج نماذج AI. في مرحلة ما، عندما أعرضها عليك بما يكفي، ستقول: «حسناً، يبدو أنه صحيح».»

رهان عكس الإجماع: كثير من الإجماع هو تأثير قطيع مُقنّع على أنه نضج

Jared Kaplan: «يتأذى كثير من الباحثين في AI نفسياً بشدة خلال شتاء AI، ويشعرون أنه لا يُسمح لأحد أن يكون لديه طموح.»

Dario Amodei: «أعمق درس تعلمته خلال العقد الماضي هو: كثير من «الإجماعات التي يعرفها الجميع» ليست في الواقع سوى تأثير قطيع يتخفّى بزيّ النضج. سترى الإجماع يُقلب بين ليلة وضحاها عدة مرات، وبعدها سيقال: «لا، سنراهن على هذا». حتى لو كنت لا تملك إلا 50% صحة، ستساهم بالكثير مما لم يساهم به الآخرون.»

الأمان والتوسع (التحجيم) متشابكان معاً

Dario Amodei: «كان من بين دوافعنا لتوسيع النموذج أن يصبح النموذج أولاً ذكياً بما يكفي، بحيث يمكن لـ RLHF أن تنجح. وهذا بالضبط ما نؤمن به حتى الآن: الأمان والتوسع متشابكان معاً.»

RSP، سياسة التوسع المسؤولة هي «دستور» Anthropic

Tom Brown: «بالنسبة إلى Anthropic، فإن RSP يشبه دستورنا. إنها وثيقة مركزية ذات دلالة إرشادية، ولذلك فنحن على استعداد للاستثمار بكثير من الوقت والجهد في صقلها مراراً.»

Dario Amodei: «RSP يمنع استمرار خطط لا تستوفي معايير الأمان. لسنا نتحدث بشعارات فارغة؛ بل ندمج الأمان فعلياً في كل حلقة من حلقات العمل.»

إنذار الحريق يتكرر كثيراً؛ وعندما يشتعل الحريق فعلاً لن يهرب أحد

Daniela Amodei: «لا يمكننا استخدام كلمة «الأمان» للتحكم في مسار التقدم بشكل اعتباطي. هدفنا الحقيقي هو أن نضمن أن الجميع يفهم بوضوح ما الذي نعنيه بالأمان.»

Dario Amodei: «غالباً ما يضر الأمان فعلاً أولئك الذين يقومون كثيراً بـ«تدريبات الأمان». إذا كان هناك مبنى يطلق فيه إنذار الحريق كل أسبوع، فهذا يعني أنه مبنى غير آمن جداً.»

«الفشل النبيل» فخ

Chris Olah: «توجد مقولة تقول إن أكثر السلوك أخلاقية هو التضحية بأهداف أخرى من أجل الأمان، لإظهار نقاء المرء تجاه القضية. لكن هذا الأسلوب، في الواقع، يكون مثبطاً للذات. لأنه يؤدي إلى وصول سلطة اتخاذ القرار إلى أيدي الأشخاص الذين لا يعطون الأولوية للأمان.»

المؤسسون يلتزمون بالتبرع بنسبة 80% من الدخل

Tom Brown: «نلتزم معاً بالتبرع بنسبة 80% من الإيرادات لقضايا من شأنها دفع المجتمع إلى الأمام—وهي قضية يدعمها الجميع دون تردد.»

لا أحد يريد بدء مشروع، لكن الجميع يعتقد أنه يجب فعل ذلك

Sam McCandlish: «في الحقيقة، ليس هناك أحد منا كان لديه رغبة من البداية في تأسيس شركة. نحن فقط نرى أنها مسؤوليتنا، لأنها الطريق الوحيد لضمان أن يتطور AI باتجاه الاتجاه الصحيح.»

Daniela Amodei: «إن رسالتنا واضحة ونقية—وهو أمر غير شائع في قطاع التكنولوجيا.»

القابلية للتفسير: «علم أحياء اصطناعي» كامل مختبئ داخل الشبكات العصبية

Chris Olah: «الشبكات العصبية رائعة جداً؛ وفي داخلها الكثير مما لم نره بعد. أحياناً أتخيل أنه بعد عشر سنوات، ندخل مكتبة فنشتري كتاباً مدرسياً عن بيولوجيا الشبكات العصبية، وفي الكتاب سيكون هناك كل ما هو مذهل.»

AI لتعزيز الديمقراطية، وليس أداة للتحكم الاستبدادي

Dario Amodei: «نحن قلقون من أنه إذا تم تطوير AI بشكل خاطئ، فقد يصبح أداة بيد النزعة الاستبدادية. كيف نجعل AI أداة لتعزيز الحرية وتقرير المصير؟ أهمية هذا المجال ليست أقل بأي حال من الأهمية التي تتمتع بها البيولوجيا والقابلية للتفسير.»

من اجتماعات البيت الأبيض إلى جائزة نوبل: تأثير AI تجاوز منذ زمن الحدود التقنية

Jared Kaplan: «في عام 2018، ما كنت لتتوقع أن الرئيس سيطلب منك الذهاب إلى البيت الأبيض ليخبرهم أنهم يراقبون نماذج اللغة.»

Dario Amodei: «لقد رأينا جوائز نوبل في مجال الكيمياء تُمنح لـ AlphaFold. ينبغي لنا أن نبذل جهداً لتطوير أدوات تساعدنا على إنشاء مئات من AlphaFold.»

لماذا نبحث في AI؟

Jack Clark: لماذا كنا نريد أصلًا تطوير AI؟ Jared، لماذا اخترت العمل في AI؟

Jared Kaplan：

لقد قضيت وقتاً طويلاً في دراسة الفيزياء، وكان ذلك مملّاً نوعاً ما، وأردت العمل مع أصدقاء أكثر، لذلك بدأت بالعمل في مجال AI.

Tom Brown：

كنت أظن أن Dario هي التي أقنعتك.

Dario Amodei：

لا أعتقد أنني قدّمت لك إقناعاً واضحاً. أنا فقط كنت أعرض عليك نتائج نماذج AI، وأحاول توصيل أنها نتائج عامة، وليست مناسبة لسؤال واحد بعينه فقط. في مرحلة ما، عندما أعرضها عليك بما يكفي، ستقول: «حسناً، يبدو أنه صحيح».

**Jack Clark：Chris، عندما كنت تجري أبحاث القابلية للتفسير، هل كنت تعرف الناس من خلال Google؟ **

Chris Olah：

لا. في الحقيقة، كنت أعرف عدداً كبيراً من الأشخاص ضمن مجموعتكم منذ أن جئت لأول مرة إلى خليج سان فرانسيسكو بعمر 19 عاماً. آنذاك رأيت Dario وJared، كانا في مرحلة ما بعد الدكتوراه، وكان ذلك يبدو لي مذهلاً جداً. لاحقاً، عندما كنت في Google Brain، وبعد انضمام Dario، كنا نجلس جنباً إلى جنب لفترة. كما عملت مع Tom، وبعد ذلك انتقلنا إلى OpenAI وبدأنا العمل معكم جميعاً.

Jack Clark：

أتذكر أنني في 2015 حضرت اجتماعاً ورأيت Dario يريد أن يُجري مقابلة معك، وكان Google PR يقول إن عليّ أولاً أن أقرأ أوراقك بالكامل.

Dario Amodei：

كنت أكتب في Google مقالاً بعنوان 《Concrete Problems in AI Safety》.

Sam McCandlish：

قبل أن نعمل معاً، بدأت العمل معك عندما دعوتني إلى مكتبك وتحدثنا وكأنك ألقيت نظرة عامة على AI بالكامل. أتذكر أنني بعد انتهاء الحديث فكرت: «اتضح أن هذا الموضوع أكثر جدية مما كنت أتصوره». في ذلك الوقت شرحت «كتلة القدرة الحاسوبية الكبرى»، وعدد المعلمات، وحجم عصبونات الدماغ البشري.

الانطلاقات عبر التوسع المذهل

Jack Clark： أتذكر أنه عندما كنا نعمل في OpenAI على قوانين التوسع (scaling laws)، فإن تكبير النموذج بدأ ينجح بالفعل. وفي كثير من المشاريع، استمر هذا النجاح وكان غريباً—كان ينجح باستمرار وبشكل غير متوقع—من GPT-2 إلى scaling laws إلى GPT-3. وبسبب ذلك، كنا نقترب أكثر فأكثر.

Dario Amodei： نحن تلك «الكتلة» من الأشخاص الذين يجعلون الأشياء تتحقق.

Jared Kaplan： كنا متحمسين أيضاً لسلامة AI. في ذلك الوقت كانت هناك فكرة: AI سيكون قوياً جداً، لكنه ربما لن يفهم القيم الإنسانية، وحتى لن يتمكن من التواصل معنا. من خلال نماذج اللغة، يمكن—إلى حد ما—أن نضمن أنها تفهم الكثير من المعرفة الضمنية.

Dario Amodei：

وكذلك RLHF فوق نماذج اللغة. كان من بين دوافعنا لتوسيع النموذج أن يصبح النموذج أولاً ذكياً بما يكفي، بحيث يمكن لـ RLHF أن تنجح. وهذا بالضبط ما نؤمن به حتى الآن: الأمان والتوسع متشابكان معاً.

Chris Olah：

نعم، في ذلك الوقت كان عمل scaling جزءاً من فريق السلامة أيضاً. وذلك لأننا اعتقدنا أنه لكي يهتم الناس بجدية بالأمان، يجب أولاً أن يكون بوسعنا التنبؤ باتجاهات AI.

Jack Clark： أتذكر أنني كنت في مطار في المملكة المتحدة، كنت أُنتج عينات لكتابة أخبار كاذبة من GPT-2، ثم أرسلتها إلى Dario على Slack وقلت: «هذا فعلاً يعمل، وقد يكون له تأثير كبير على السياسات». أتذكر أن رد Dario كان: «نعم».

وبعد ذلك قمنا بعمل الكثير من الأبحاث المتعلقة بالإصدارات/النشر، وهذا كان مجنوناً.

Daniela Amodei：

أتذكر تلك المرحلة من النشر. كانت هذه هي المرة الأولى التي بدأنا فيها التعاون بشكل حقيقي، عندما تم إطلاق GPT-2 في ذلك الوقت.

Jack Clark：

أعتقد أن ذلك كان مفيداً لنا جداً. بدأنا معاً بإنجاز شيء «غريب بعض الشيء لكنه موجه نحو الأمان». ثم لاحقاً قمنا معاً بعمل Anthropic، وهو شيء أكبر نطاقاً، وغريب بعض الشيء أيضاً لكنه موجه نحو الأمان.

مرحلة البداية لـ AI

Tom Brown： دعنا نعود إلى مقال 《Concrete Problems》. عندما انضممت إلى OpenAI في عام 2016، كان كلانا ضمن أقدم مجموعة—وكان شعوري أن هذا المقال يشبه أول ورقة سائدة في مجال سلامة AI. كيف نشأ هذا المقال؟

Dario Amodei：

Chris كان يعرف ذلك؛ لأنه شارك. في ذلك الوقت، في Google، نسيت تماماً ما هو مشروعنا الرئيسي آنذاك. كان الأمر أشبه بأنني أخرجه من التسويف.

كان هدفنا أن نكتب ما هي القضايا المفتوحة في سلامة AI. في ذلك الوقت، كانت سلامة AI تُقدَّم كثيراً بشكل تجريدي. أردنا تحويلها إلى ما كان يحدث فعلاً في مجال ML في ذلك الحين. الآن، لدينا بالفعل ست أو سبع سنوات نعمل على هذا المسار، لكن في ذلك الوقت كان هذا مجرد فكرة غريبة.

Chris Olah：

أعتقد أنها، إلى حد ما، كانت مشروعاً سياسياً. في ذلك الوقت، لم يكن الكثيرون يأخذون السلامة بجدية. أردنا تجميع قائمة من القضايا التي يوافق عليها الناس بأنها معقولة—وقضايا كثيرة كانت موجودة أصلاً في الأدبيات—ثم نبحث عن أشخاص ذوي مصداقية من مؤسسات مختلفة ليضعوا أسماءهم عليها.

أتذكر أنني قضيت وقتاً طويلاً، وتواصلت مع أكثر من عشرين باحثاً في Brain، لأكسب الدعم من أجل النشر. إذا نظرت فقط إلى طبيعة القضايا نفسها، فقد لا يكون كل ما هو صحيح اليوم حين نعود بالنظر إلى ذلك. ربما لم تكن هذه هي الأسئلة الأكثر دقة. لكن إذا نظرت إلى الأمر باعتباره بناءً للإجماع: إثبات «أن هنا توجد قضايا حقيقية تستحق المعالجة بجدية»، فهذا كان لحظة مهمة.

Jack Clark：

في النهاية، ستصل إلى عالم خيال علمي غريب جداً. أتذكر أن Anthropic في بدايتها كانت تتحدث عن Constitutional AI. وقال Jared: «نكتب دستوراً للنماذج اللغوية، وسيسلك سلوكاً مطابقاً». في ذلك الوقت كان يبدو أمراً مجنوناً. لماذا اعتقدتم أنه ممكن؟

Jared Kaplan：

ناقشت ذلك مع Dario كثيراً. شعوري كان أن الطرق البسيطة غالباً ما تؤدي أداءً ممتازاً في AI. كانت النسخة الأولى معقدة نسبياً، ثم قمنا بتقليل التعقيد باستمرار حتى أصبحت الفكرة: الاستفادة من حقيقة أن النماذج جيدة في أسئلة الاختيار من متعدد؛ وأن نقدم لها تلميحاً واضحاً يخبرها بما الذي يجب أن تبحث عنه. هذا يكفي. ثم يمكننا كتابة المبادئ مباشرةً.

Dario Amodei：

هذا يعيدنا إلى «كتلة القدرة الحاسوبية الكبرى» (The Big Blob of Compute) و«الدرس المرير» (The Bitter Lesson) و«فرضية التوسع» (Scaling Hypothesis): طالما أمكنك إعطاء AI هدفاً واضحاً وبيانات، فستتعلم. مجموعة تعليمات، ومجموعة مبادئ. نموذج اللغة يمكنه قراءتها، ويمكنه أيضاً مطابقتها مع سلوكه الداخلي. لذلك تكون أهداف التدريب موجودة هناك. ومن وجهة نظرنا أنا وJared: يمكن إنجاح الأمر، طالما أن التفاصيل تُكرر مراراً وتكراراً بشكل صحيح.

Jared Kaplan：

بالنسبة لي، كان الأمر غريباً في البداية. أنا قدمت من الفيزياء، والناس الآن متحمسون لـ AI. من السهل أن تنسى الجو العام في ذلك الوقت. عندما تحدثت مع Dario عن هذه الأمور، شعرت أن كثيراً من الباحثين في AI كانوا يتأذون نفسياً بسبب شتاء AI، ويبدو كما لو أن «وجود طموح» غير مسموح به. ومن المهم مناقشة السلامة أولاً: تصديق أن AI قد يكون قوياً جداً ومفيداً جداً. لكن في ذلك الوقت كان هناك نوع من حظر ضد الطموح. ميزة الفيزيائيين هي «الغرور»: فهم غالباً يقومون بأشياء طموحة للغاية، ومعتادون على التحدث عن الصورة الكبيرة.

Dario Amodei：

أعتقد أن هذا صحيح. في عام 2014، كان هناك الكثير من الكلمات التي لا يمكن قولها. وهذا يشبه المشكلة الشائعة في الأوساط الأكاديمية. باستثناء بعض المجالات، أصبحت المؤسسات أكثر كراهية للمخاطرة. وAI الصناعية ورثت هذا المزاج. وأنا أعتقد أن الأمر لم يبدأ بالانفراج إلا حوالي 2022.

Chris Olah：

هناك أيضاً شكلتان من «التحفظ». إحداهما هي التعامل بجدية مع المخاطر. والأخرى هي اعتبار أن التعامل بجدية مع المخاطر، والإيمان بأن الأفكار يمكن أن تنجح، نوع من الغرور. كنا في ذلك الوقت تحت تأثير الشكل الثاني. تاريخياً، كان هناك شيء مشابه في نقاشات فيزياء نووية في عام 1939: Fermi كان متحفظاً، بينما كان Szilard أو Teller أكثر جدية في النظر إلى المخاطر.

Dario Amodei：

أعمق درس تعلمته خلال العقد الماضي هو: كثير من «الإجماعات التي يعرفها الجميع» ليست في الواقع سوى تأثير قطيع يتخفى بزيّ النضج. لقد رأيت الإجماع ينقلب عدة مرات بين ليلة وضحاها، ثم سيقال: «لا، سنراهن على هذا». ربما ليس بالضرورة أن يكون صحيحاً. لكن تجاهل الضجيج والرهان. حتى لو كان لديك 50% فقط من الصحة، فستساهم بأشياء كثيرة لم يساهم بها الآخرون.

تحول الموقف العام من الذكاء الاصطناعي

Jared Kaplan： اليوم أيضاً، في بعض قضايا السلامة، يحدث شيء مشابه. فالإجماع لدى الناس في الخارج يقول إن الكثير من مسائل السلامة غير الطبيعية لا يمكن أن تنشأ من داخل التكنولوجيا، لكننا في Anthropic وجدنا من خلال الأبحاث أنها تنشأ بالفعل بشكل طبيعي.

Daniela Amodei：

لكن في آخر 18 شهراً كان ذلك يتغير، وكذلك مشاعر العالم تجاه AI أصبحت واضحة التغير. عندما نجري أبحاثاً للمستخدمين، نسمع أكثر من ذي قبل أن المستخدمين العاديين قلقون بشأن التأثير الشامل لـ AI على العالم.

أحياناً يكون القلق متعلقاً بالعمل، أو بالتحيز، أو بالسُمّية. وأحياناً يكون: «هل سيُحدث فوضى في العالم؟ وهل سيغير طريقة تعاون البشر؟» في الحقيقة، لم أتوقع ذلك بالكامل.

am McCandlish：

لا أدري لماذا، لكن مجتمع أبحاث ML غالباً ما يكون أكثر تشاؤماً من الجمهور تجاه فكرة «أن AI سيصبح قوياً جداً».

Jared Kaplan：

في عام 2023، أنا وDario ذهبنا إلى البيت الأبيض. في الاجتماع، كان المعنى الذي حمله Harris وRaimondo تقريباً: «نراقبكم». AI أمر مهم، ونحن نركز بجدية. لكن في عام 2018، ما كنت ستتوقع أن «الرئيس سيطلب منك الذهاب إلى البيت الأبيض ليخبرهم أنهم يركزون على نماذج اللغة».

Tom Brown：

والأمر المثير هو أن كثيراً منا دخل هذه القصة في وقت كانت الأمور ما تزال غير مؤكدة بالنسبة لها. مثل Fermi إزاء القنبلة الذرية: كان متشككاً. كانت هناك بعض الأدلة التي تقول إن القنبلة قد تُصنع، لكن أيضاً كانت هناك أدلة كثيرة تقول إنها لن تُصنع. ومع ذلك في النهاية قرر أن يجرب. لأن لو حدث الأمر فسيكون تأثيره كبيراً جداً، لذلك كان يستحق التجربة.

في الفترة 2015-2017 كانت هناك بعض الأدلة التي تتزايد باستمرار على أن AI قد تكون قضية كبيرة. في عام 2016، تحدثت مع مرشدي: لقد قمت ببعض ريادة الأعمال، وأردت أن أعمل في سلامة AI، لكن لم تكن لدي قوة رياضية كافية، ولم أعرف ماذا أفعل. حينها قال بعض الناس: عليك أن تتقن نظرية اتخاذ القرار؛ وقال آخرون: لن تحدث أحداث AI مجنونة، لكن أنصار هذا الرأي كانوا قليلين.

Jack Clark：

في عام 2014، في تقرير اتجاهات ImageNet، اعتبروني مجنوناً. في عام 2015، عندما أردت كتابة مقال عن NVIDIA لأن الأبحاث جميعها تحدثت عن GPUs، اعتبروني مجنوناً أيضاً. في عام 2016، تركت العمل في الأخبار للانتقال إلى AI، وكانت هناك رسائل تقول لي: «لقد ارتكبت أكبر خطأ في حياتك». من زوايا كثيرة كان الرهان الجاد على أن «التوسع سيحدث» يبدو فعلاً كأنه جنون.

Jared Kaplan: كيف قررت؟ هل كنت متردداً؟

Jack Clark：

قمت برهان عكسي: طلبت منهم أن يكونوا بحاجة إلى مراسل AI بدوام كامل، وطلبت مضاعفة راتبي. كنت أعرف أنهم لن يوافقوا. ثم نمت ليلة واحدة ثم استقلت. لأنني كنت كل يوم أقرأ ملفات الأرشيف، كنت دائماً أشعر أن هناك شيئاً مجنوناً للغاية يحدث، وأن هناك لحظة يتوجب عليك أن تراهن بثقة عالية في ذلك الوقت.

Tom Brown：

أنا لم أكن حاسماً بهذا الشكل. ترددت لمدة ستة أشهر.

Daniela Amodei：

وأيضاً في ذلك الوقت لم يكن الأمر mainstream أن «الهندسة يمكنها أن تدفع AI بشكل مؤثر». كان الشائع حينها هو: «الأبحاثيون فقط يمكنهم فعل AI»، لذلك من غير المستغرب أن تتردد.

Tom Brown：

لاحقاً قال OpenAI: «يمكنك المساعدة في سلامة AI من خلال الهندسة»، وهذا هو ما جعلني أنضم. Daniela، كنتِ مديري في OpenAI. لماذا انضممتِ آنذاك؟

Daniela Amodei：

عملت في Stripe لمدة خمس سنوات ونصف، وكان Greg مديراً لي. كما عرفتُ Greg وDario ببعضهما. في ذلك الوقت كان Greg يؤسس OpenAI، وقال لي: «أعرف أذكى شخص هو Dario. إذا تمكنت من ضمه إلى الفريق، فهذه حظّك». ثم انضم Dario إلى OpenAI.

ربما كنتُ أفكر مثلك أيضاً: بعد مغادرة Stripe، ماذا سأفعل بنفسي. انضمامي إلى Stripe كان لأنني قبل ذلك كنت أعمل في منظمات غير ربحية ومجال التنمية الدولية، وشعرت أنني بحاجة إلى مهارات أكثر. وفي ذلك الوقت، كنت أظن في النهاية أنني سأعود إلى ذلك المجال.

قبل الانضمام إلى Stripe، كنت أشعر أنني لا أملك القدرة الكافية لمساعدة أولئك الذين هم أقل حظاً مني. لذلك كنت أركز على شركات تقنية أخرى بحثاً عن طريقة جديدة يمكنها أن تُحدث أثراً أكبر. وفي ذلك الوقت، بدت OpenAI خياراً جيداً جداً. إنها منظمة غير ربحية، مكرسة لتحقيق هدف مهم للغاية وله معنى بعيد المدى.

كنت دائماً أؤمن بإمكانيات AI. ومع أنني كنت أعرف بعض الأشياء عن Dario، فهم أيضاً يحتاجون إلى من يساعد في الإدارة، لذلك شعرت أن هذه الوظيفة تتماشى جداً مع خلفيتي. فكرت آنذاك: «هذه مؤسسة غير ربحية. هنا تتجمع مجموعة من الأشخاص الاستثنائيين الذين لديهم رؤى جميلة، لكن طريقة عملهم تبدو وكأنها فيها بعض الفوضى.» لكن تحدي «ترتيب الأمور» هو ما جعلني متحمسة للانضمام.

في ذلك الوقت شعرت أنني مثل لاعب متعدد الأدوار: لم أكن مسؤولية عن إدارة أعضاء الفريق فقط، بل أيضاً عن قيادة بعض الفرق التقنية، وإدارة توسع المنظمة. كنت مسؤولاً عن أعمال التوسع التنظيمي، وكنت أيضاً أعمل ضمن فرق اللغات (language team)، ثم توليت بعض المهام الأخرى. شاركت أيضاً في بعض الأمور المتعلقة بالسياسات، وتعاونت مع Chris. أعتقد أن هناك الكثير من المواهب الرائعة داخل الشركة، وهذا بالذات جعلني أرغب بشدة في الانضمام والمساعدة في جعل الشركة أكثر كفاءة وأكثر تنظيماً.

Jack Clark：أتذكر أنك بعد الانتهاء من GPT-3 قلت: «هل سمعتم عن trust and safety؟»

Daniela Amodei：

كنت قد أدرت فريق trust and safety في Stripe. بالنسبة لتقنيات مثل هذه، قد تحتاجون أن تفكروا في موضوع الثقة والسلامة. إنه جسراً بين أبحاث سلامة الذكاء الاصطناعي (AI Safety Research) والعمل اليومي الأكثر عملية. بمعنى آخر: كيف نجعل النماذج آمنة فعلاً.

ومن المهم جداً طرح فكرة أن هذه التقنية المستقبلية ستؤثر بشكل كبير. وفي الوقت نفسه، يجب أن ننجز في الحياة اليومية أعمالاً أكثر عملية لتأسيس الأساس لمواجهة سيناريوهات عالية المخاطر في المستقبل.

سياسة التوسع المسؤولة: ضمان تطور AI بأمان

Jack Clark：لننتقل مباشرة إلى موضوع سياسة التوسع المسؤولة (RSP، Responsible Scaling Policy). كيف تم طرحها؟ ولماذا فكرتم فيها؟ وكيف نطبقها حالياً—وخاصةً في ضوء عملنا الحالي في مجال الثقة والسلامة للنماذج؟ وبالطبع، من هو أول من اقترح RSP (سياسة التوسع المسؤولة)؟

Dario Amodei：

في البداية، نحن أنا وPaul Christiano طرحناها، وكان الوقت تقريباً في أواخر 2022. كانت الفكرة الأولية: هل ينبغي أن نقيد التوسع في النموذج مؤقتاً قبل الوصول إلى حجم محدد، إلى أن نجد طريقة لمعالجة بعض مشاكل السلامة؟

لكن لاحقاً شعرنا أن مجرد تقييد التوسع عند نقطة ثم إطلاق العنان بعد ذلك يبدو غريباً. لذا قررنا وضع سلسلة من العتبات. في كل مرة يصل النموذج إلى عتبة، يجب إجراء سلسلة من الاختبارات لتقييم ما إذا كان النموذج يمتلك القدرات الأمنية المناسبة.

في كل مرة نصل إلى عتبة، نحتاج إلى اتخاذ إجراءات أمنية وضمانات أكثر صرامة. لكن في البداية كان لدينا أيضاً شعور: ربما يكون من الأفضل لو كان التنفيذ بواسطة طرف ثالث. أي أن هذه السياسة لا ينبغي أن يتحمل مسؤوليتها شركة واحدة فقط، لأن الشركات الأخرى قد لا ترغب في تبنّيها. ولهذا صمم Paul السياسة بنفسه. بالطبع، مع مرور الوقت، تغيّرت كثير من التفاصيل. وفريقنا استمر في البحث حول كيفية جعل السياسة تعمل بشكل أفضل.

عندما قام Paul بتجميع هذا المفهوم في صورة واضحة، كان الأمر كأنه يعلن المفهوم في نفس الوقت الذي نشرنا فيه نسختنا خلال شهر أو شهرين. والحقيقة أن كثيراً من أعضاء فريقنا شاركوا بعمق في هذه العملية. أتذكر على الأقل أنني كتبت مسودة أولى واحدة. لكن الملف كله مر بتعديلات متعددة.

Tom Brown：

بالنسبة لـ Anthropic، فإن RSP مثل «دستورنا». إنها وثيقة مركزية إرشادية، لذلك نحن مستعدون لاستثمار وقت وجهد كبيرين لصقلها مراراً لضمان الدقة والكمال.

Daniela Amodei：

أجد أن مسار تطوير RSP داخل Anthropic مثير حقاً. لقد مر بعدة مراحل، كما تطلب تنفيذها مهارات متنوعة. على سبيل المثال، توجد أفكار كبيرة على المستوى الفكري، وهذه مسؤولية Dario وPaul وSam وJared وغيرهم. كانوا يفكرون: «ما هي مبادئنا الأساسية؟ ما الرسالة التي نريد نقلها؟ وكيف نحدد اتجاهنا أنه صحيح؟»

لكن بالإضافة إلى ذلك، توجد أيضاً أعمال عملية جداً على مستوى التشغيل. خلال التكرار/التحسين المستمر، نقوم بتقييم وتعديل بعض التفاصيل. على سبيل المثال، كنا نتوقع أن يحقق النموذج أهدافاً عند مستوى أمان معين، لكن إذا لم يحدث ذلك، نعيد تقييم الأمر ونضمن أننا مسؤولون عن نتائج عملنا.

إضافة إلى ذلك، هناك أيضاً تغييرات كثيرة مرتبطة بالهيكل التنظيمي. على سبيل المثال، قررنا إعادة تصميم الهيكل التنظيمي لِـ RSP كي نقسم المسؤوليات بشكل أوضح. أحب تشبيه هذه الوثيقة بالدستور. مثلما أن أمريكا، لضمان تطبيق الدستور، أنشأت نظاماً كاملاً من المؤسسات: المحاكم، المحكمة العليا، الرئيس، مجلسي النواب والشيوخ. حتى لو كانت هذه المؤسسات تقوم بمهام أخرى، فإن وجودها إلى حد كبير بهدف الحفاظ على الدستور. وهذا بالضبط ما يمر به RSP لدى Anthropic—عملية مشابهة.

Sam McCandlish：

أعتقد أن هذا يعكس وجهة نظرنا الأساسية حول السلامة: إن مسائل السلامة يمكن حلها. إنها مهمة معقدة وصعبة جداً وتتطلب استثماراً كبيراً من الوقت والجهد.

تماماً مثل مجال سلامة السيارات: فهناك أنظمة ومؤسسات تم بناؤها على مدار سنوات. لكن ما نواجهه الآن هو: هل لدينا وقت كافٍ لإنجاز هذه الأعمال؟ لذلك علينا أن نحدد بأسرع ما يمكن، وبقدر الإمكان، المؤسسات الرئيسية التي تحتاج إليها سلامة AI، وأن نبنيها أولاً هنا، مع ضمان أن يمكن الاستفادة منها في أماكن أخرى أيضاً.

Dario Amodei：

هذا يساعد أيضاً على توحيد التعاون داخل المنظمة. لأنه إذا كان هناك جزء من المنظمة لا ينسجم سلوكه مع قيم السلامة لدينا، فإن RSP سيكشف المشكلة بطريقة ما—أليس كذلك؟ RSP سيمنعهم من المضي في خطط لا تتوافق مع معايير السلامة. وبذلك يصبح RSP أيضاً أداة تذكير مستمرة للجميع، كي تصبح السلامة شرطاً أساسياً في عملية تطوير المنتجات والتخطيط. فنحن لا نتحدث عن شعارات؛ بل ندمج السلامة فعلياً في كل حلقة. إذا انضم شخص إلى الفريق ولم يستطع التوافق مع هذه المبادئ، سيجد أنه غير قادر على الاندماج. إما أن يتكيف مع الاتجاه، وإما أن يكتشف أنه من الصعب أن يستمر.

Jack Clark：

مع مرور الوقت، أصبحت RSP أكثر أهمية. لقد استثمرنا آلاف الساعات في ذلك، وحين كنت أشرح RSP للنواب في مجلس الشيوخ، قلت: «لقد وضعنا إجراءات تضمن أن تقنياتنا ليست سهلة سوء الاستخدام، وفي الوقت نفسه تضمن السلامة.» كانت ردودهم غالباً: «يبدو هذا طبيعياً. ألا تقوم كل شركة بذلك؟» وهذا جعلني أضحك وأتعجب—في الواقع، ليست كل شركة تفعل ذلك.

Daniela Amodei：

وأعتقد أيضاً أن RSP تعزز شفافية الشركة، إضافة إلى مواءمة قيم الفريق. لأنها توثق بوضوح ما هي أهدافنا. يفهم كل شخص داخل الشركة ما نريد. وفي الوقت نفسه، يمكن للطرف الخارجي أن يعرف بوضوح ما هي أهدافنا واتجاهنا في مجال السلامة. رغم أنها ليست مثالية بعد، إلا أننا نواصل تحسينها وتطويرها.

وأعتقد أن أهم شيء هو تحديد بوضوح: «ما هي القضايا الأساسية التي نهتم بها». لا يمكننا استخدام كلمة «السلامة» بشكل اعتباطي لتوجيه التقدم، مثل: «بسبب مسائل السلامة، لا يمكننا فعل شيء ما» أو «بسبب مسائل السلامة، يجب أن نفعل شيئاً ما». هدفنا الحقيقي هو أن يعرف الجميع ما الذي نعنيه بكلمة الأمان بالضبط.

Dario Amodei：

على المدى الطويل، فإن الشيء الذي يضر الأمان غالباً هو تلك «التدريبات على الأمان» المتكررة بشكل مفرط. لقد قلت سابقاً: «إذا كانت هناك عمارة كل أسبوع يُسمع فيها إنذار الحريق، فهذا يعني أنها عمارة غير آمنة جداً.» لأن عندما يحدث حريق فعلياً، ربما لا يهتم أحد. لذلك يجب أن نضمن دقة الإنذارات ومعايرتها بشكل شديد.

Chris Olah：

ومن زاوية أخرى، أعتقد أن RSP تخلق حوافز صحية على مستويات كثيرة. على سبيل المثال، داخل الشركة، تقوم RSP بمحاذاة حوافز كل فريق مع أهداف السلامة. هذا يعني أنه إذا لم نحقق تقدماً كافياً في السلامة، سيتم إيقاف العمل المتعلق بذلك.

وعلى صعيد خارجي، تستطيع RSP أيضاً أن تخلق حوافز صحية أكثر من أساليب أخرى. على سبيل المثال، إذا أصبح في يوم ما ضروراً اتخاذ إجراء كبير—أن نعترف مثلًا: «إن نماذجنا تطورت إلى مرحلة ما، لكننا لا نستطيع حالياً ضمان سلامتها بشكل كامل»—فإن RSP يقدم إطاراً واضحاً وأدلة لدعم هذا القرار. هذا الإطار موجود مسبقاً وواضح وسهل الفهم. عندما نعود إلى نقاشاتنا حول نسخة RSP المبكرة، لم أكن أدرك بالكامل قوتها. لكن الآن أعتقد أنها فعلاً أكثر فاعلية من أي أسلوب آخر يمكنني تخيله.

Jared Kaplan：

أنا أتفق مع هذه الآراء، لكنني أظن أنها قد تُقلل من شأن التحديات التي نواجهها عند صياغة السياسات الصحيحة وتحديد معايير التقييم ورسم الحدود. لقد أجرينا الكثير من التكرارات في هذه الجوانب وما زلنا نواصل التحسين. إحدى القضايا الصعبة هي أن بعض التقنيات الناشئة يكون أحياناً من الصعب تحديد ما إذا كانت خطرة أم آمنة. وفي كثير من الأحيان نواجه منطقة رمادية كبيرة. هذه التحديات جعلتني متحمساً جداً في المراحل الأولى من تطوير RSP، وما زلت كذلك حتى الآن. لكن في الوقت نفسه أدركت أن جعل هذه السياسة واضحة للتطبيق، وأن تجعلها تعمل فعلاً، هو أكثر تعقيداً وتحدياً مما تخيلت في البداية.

Sam McCandlish：

المناطق الرمادية لا يمكن التنبؤ بها بالكامل، لأنها في كل مكان. لا يمكنك اكتشاف المشكلة إلا عندما تبدأ في تنفيذها فعلياً. لذلك هدفنا هو تطبيق كل شيء في وقت مبكر قدر الإمكان، لنكتشف أي مشاكل محتملة بأسرع ما يمكن.

Dario Amodei：

لا بد من إجراء ثلاث إلى أربع تكرارات لتصل إلى درجة الكمال. التكرار أداة قوية للغاية، ومن شبه المستحيل أن تكون الأمور صحيحة تماماً في المرة الأولى. لذلك إذا كانت المخاطر في تزايد، عليك إنجاز هذه التكرارات في وقت مبكر، ولا تنتظر حتى النهاية.

Jack Clark：

وفي الوقت نفسه، تحتاج أيضاً إلى تأسيس أنظمة وإجراءات داخلية. حتى لو كانت التفاصيل قد تتغير بمرور الوقت، فإن الأهم هو تنمية قدرة الفريق على التنفيذ.

Tom Brown：

أنا مسؤول عن إدارة موارد الحوسبة في Anthropic. بالنسبة لي نحتاج إلى التواصل مع أصحاب المصلحة الخارجيين، لأن مختلف الأطراف الخارجية لديهم وجهات نظر مختلفة حول سرعة تطور التكنولوجيا. في البداية اعتقدت أيضاً أن التكنولوجيا لن تتطور بسرعة كبيرة، لكن وجهة نظري تغيرت، وهذا أمر أستطيع فهمه جداً. أجد أن RSP مفيدة جداً بالنسبة لي، خصوصاً عند التواصل مع أشخاص يعتقدون أن تطور التكنولوجيا سيكون أبطأ. يمكننا أن نقول لهم: «حتى تصل التكنولوجيا إلى درجة استعجالية، لا نحتاج إلى اتخاذ إجراءات أمان قصوى.» وإذا قالوا: «لا، أعتقد أن الأمور لن تصبح استعجالية لفترة طويلة»، يمكنني الرد: «حسناً، إذن لا نحتاج حالياً إلى اتخاذ إجراءات أمان قصوى.» هذا يجعل التواصل مع الأطراف الخارجية أكثر سلاسة.

Jack Clark：

فما هي المجالات الأخرى التي أثرت فيها RSP على الجميع؟

Sam McCandlish：

كل شيء يتمحور حول التقييم، وكل فريق يقوم بالتقييم. مثلاً، فريق التدريب يقوم دائماً بعمل التقييمات؛ نحاول تحديد ما إذا كان النموذج قد أصبح قوياً بما يكفي بحيث قد يسبب خطراً.

Daniela Amodei：

هذا يعني أننا بحاجة إلى قياس أداء النموذج وفق معايير RSP، بما في ذلك التحقق مما إذا كانت هناك إشارات قد تثير قلقنا.

Sam McCandlish：

تقييم الحد الأدنى من قدرات النموذج نسبياً أسهل، لكن تقييم الحد الأعلى للقدرة أصعب بكثير. لذلك استثمرنا كثيراً من الجهد البحثي لمحاولة الإجابة عن سؤال: «هل يستطيع هذا النموذج تنفيذ مهام خطرة معينة؟ وهل توجد طرق لم نكن قد فكرنا فيها بعد، مثل خرائط الذهن (mind maps)، أو أفضل حدث (best event)، أو استخدام بعض الأدوات—ويمكن لهذه الأمور أن تجعل النموذج قادراً على أداء سلوك شديد الخطورة؟»

Jack Clark：

هذه أدوات التقييم مفيدة جداً في عملية صياغة السياسات. لأن «السلامة» مفهوم تجريدي جداً. عندما أقول: «لدينا أداة تقييم تحدد ما إذا كان يمكننا نشر هذا النموذج»، يمكننا التعاون مع صانعي السياسات وخبراء الأمن القومي، ومع خبراء المجال في CBRN (الكيميائي والبيولوجي والإشعاعي والنووي)، لوضع معايير تقييم دقيقة. بدون هذه الأدوات المحددة، قد لا يكون هذا التعاون ممكناً من الأساس. لكن عندما تصبح المعايير واضحة، يصبح الناس أكثر استعداداً للمشاركة والمساعدة في التأكد من دقتها. لذلك، فإن دور RSP في هذا المجال واضح جداً.

Daniela Amodei：

RSP مهمة جداً بالنسبة لي أيضاً، وغالباً ما تؤثر على طريقتي في العمل. الأمر المثير للاهتمام هو أنني أفكر في RSP بطريقة مختلفة قليلاً، من حيث «نبرة» RSP، أي أسلوب التعبير. في الآونة الأخيرة، قمنا بتعديل نبرة RSP بشكل كبير، لأن النبرة السابقة كانت تقنية جداً، بل وحتى كانت تشعر ببعض المواجهة. لقد قضيت وقتاً طويلاً أفكر في كيفية بناء نظام يتيح للناس أن يرغبوا بالمشاركة فيه.

إذا كانت RSP وثيقة يستطيع الجميع في الشركة فهمها بسهولة، فسيكون الأمر أفضل بكثير. كما هو الحال الآن مع OKR (الأهداف والنتائج الرئيسية). مثل: ما هو الهدف الرئيسي لـ RSP؟ كيف نعرف أننا حققناه؟ ما هو مستوى سلامة AI الحالي (ASL)؟ هل هو ASL-2 أم ASL-3؟ إذا كان الجميع يعرفون ما الذي يجب أن يركزوا عليه، فسيصبح اكتشاف المشكلات المحتملة أسهل. وعلى العكس، إذا كانت RSP تقنية بشكل مفرط ولا يفهمها إلا قلة من الناس، فسيقل تأثيرها الفعلي بشكل كبير.

يسعدني أن أرى RSP تتجه تدريجياً نحو كونها أكثر قابلية للفهم. الآن، أعتقد أن أغلب الناس في الشركة، وربما الجميع، بغض النظر عن مناصبهم، يمكنهم قراءة هذه الوثيقة وفهمها، وأن يقولوا: «هذا منطقي. أريد أن نطوّر AI تحت توجيه هذه المبادئ، وأفهم أيضاً لماذا يجب التركيز على هذه القضايا. وإذا واجهت مشكلة في عملي، فأنا أعرف تقريباً ما الذي يجب الانتباه إليه.» نحن نريد لـ RSP أن تكون بسيطة بما يكفي، بحيث يتمكن شخص يعمل في مصنع—من نوع «وصلات حزام الأمان يجب أن تكون هنا لكننا لا نرى أنها موصولة»—من اكتشاف المشكلة في وقت مبكر.

المفتاح هو بناء آلية ردود فعل صحية تمكّن القيادة ومجلس الإدارة وباقي أقسام الشركة، وكذلك فرق البحث والتطوير التي تقوم فعلياً بالعمل، من التواصل بسلاسة. وأعتقد أن معظم المشكلات تنتج بسبب سوء التواصل أو انحراف نقل المعلومات. إذا حدثت مشكلة فقط بسبب هذه الأسباب، فهذا سيكون أمراً مؤسفاً، أليس كذلك؟ في النهاية، ما نحتاجه هو تطبيق هذه المبادئ عملياً والتأكد أنها بسيطة وواضحة وسهلة الفهم للجميع.

قصة تأسيس Anthropic

Sam McCandlish： في الحقيقة، ليس هناك أحد منا كان يرغب في تأسيس شركة من البداية. لقد شعرنا فقط أنها مسؤوليتنا، وأن علينا التحرك، لأن هذا هو الطريق الوحيد لضمان تطور AI باتجاه الاتجاه الصحيح، وهذا هو سبب قيامنا بذلك التعهد.

Dario Amodei：

كانت فكرتي في البداية بسيطة: أردت أن أكتشف وأخترع شيئاً جديداً بطريقة مفيدة. قادتني هذه الفكرة إلى مجال AI. لكن أبحاث AI تحتاج إلى دعم هندسي كبير، وفي النهاية تحتاج أيضاً إلى دعم مالي كبير.

ومع ذلك، اكتشفت أن الكثير من الأمور قد تُنجز، لكن إن لم يكن هناك هدف وخطة واضحة لتأسيس شركة وإدارة بيئة العمل، فمن الممكن أن تتكرر أخطاء صناعة التكنولوجيا التي شعرت أنها تُبعدني عنها. وهذه الأخطاء غالباً ما تنبع من الأشخاص أنفسهم، والمواقف نفسها، وأنماط التفكير نفسها. لذلك في مرحلة ما، أدركت أننا يجب أن نفعل ذلك بطريقة جديدة تماماً. وهذا كان، شبه حتمي، أمراً ضرورياً.

Jared Kaplan：

هل تتذكر عندما كنا في المدرسة العليا/الدراسات العليا، كان لديك خطة كاملة لاستكشاف كيف يمكن للبحث العلمي أن يخدم المنفعة العامة؟ أعتقد أن هذا يشبه جداً طريقة تفكيرنا الآن. أتذكر أن لديك مشروعاً اسمه «Project Vannevar»، وكان هدفه تحقيق ذلك. في ذلك الوقت كنت أستاذاً، ورأيت ما كان يحدث، وكنت مقتنعاً بشدة بأن تأثير AI يزداد بسرعة هائلة.

لكن بسبب أن أبحاث AI تتطلب تمويلاً كبيراً، بالإضافة إلى أنني كأستاذ في الفيزياء، أدركت أنني لا يمكنني دفع هذه التطورات وحدي عبر البحث الأكاديمي. أردت أن أبني مؤسسة مع أشخاص موثوقين، لضمان أن تتطور AI في الاتجاه الصحيح. لكن بصراحة، لم أفكر أبداً في أن أنصح الآخرين بتأسيس شركة، ولم يكن لدي رغبة في ذلك. بالنسبة لي، كانت مجرد وسيلة لتحقيق الهدف. أعتقد أنه في العادة، العامل الحاسم في النجاح هو أن تهتم بصدق بتحقيق هدف ذي معنى للعالم، ثم تجد أفضل وسيلة لتحقيق هذا الهدف.

كيف نبني ثقافة الثقة

Daniela Amodei： أفكر كثيراً في الميزة الاستراتيجية التي نتمتع بها كفريق. أحد العوامل—قد يبدو مفاجئاً—لكن هو عامل مهم جداً: الثقة العالية بيننا. من الصعب للغاية أن تجعل مجموعة كبيرة من الناس تشترك في نفس الرسالة. لكن في Anthropic، نجحنا في نقل هذا الشعور بالرسالة إلى عدد متزايد من الأشخاص. في هذا الفريق، بما في ذلك القيادة وجميع الأعضاء، تجمعنا جميعاً الرسالة المشتركة. رسالتنا واضحة ونقية، وهذا أمر نادر في قطاع التكنولوجيا.

أعتقد أن الهدف الذي نحاول تحقيقه مليء بمعنى نقي. لا أحد منا بدأ هذا لأن لديه رغبة في تأسيس شركة. نحن نشعر فقط أنه يجب علينا فعل ذلك. لا يمكننا الاستمرار في الدفع للأمام في مكاننا السابق. يجب أن ننجز الأمر بأنفسنا.

Jack Clark：

في ذلك الوقت، ومع ظهور GPT-3، ومع أن كل واحد منا كان قد تعامل أو شارك في مشاريع مثل توسيع القوانين (scaling laws) وغيرها، كانت اتجاهات تطور AI واضحة بالفعل في عام 2020. أدركنا أنه إذا لم نتخذ إجراءً بسرعة، فقد نصل قريباً إلى نقطة حرجة لا يمكن الرجوع عنها. كان علينا أن نتخذ إجراءات، حتى نتمكن من إحداث تأثير في هذا السياق.

Tom Brown：

أريد أن أتابع كلام Daniela. أعتقد فعلاً أن هناك ثقة عالية داخل الفريق. كل واحد منا يعلم أننا انضممنا إلى هذا الفريق لأننا نريد أن نساهم في خدمة العالم. كما أننا نتعهد معاً بالتبرع بنسبة 80% من الأرباح للقضايا التي تدفع المجتمع إلى الأمام—وهي فكرة لا يتردد أي شخص في دعمها: «نعم، بالطبع سنفعل ذلك». هذه الثقة مميزة جداً ونادرة.

Daniela Amodei：

أعتقد أن Anthropic شركة ذات طابع سياسي خافت جداً. بالطبع قد تختلف وجهات نظرنا عن وجهات نظر الناس العاديين، وهذا شيء أذكر نفسي به باستمرار. أعتقد أن عملية التوظيف وخصائص أعضاء الفريق تجعل الثقافة هنا تمتلك نوعاً من الرفض الطبيعي لـ«سياسة المكاتب».

Dario Amodei：

وتماسك الفريق مهم جداً أيضاً. سواء كان فريق المنتجات، أو فريق الأبحاث، أو فريق الثقة والسلامة، أو فريق التسويق، أو فريق السياسات—الجميع يعمل من أجل تحقيق الهدف نفسه للشركة. عندما تكون الأقسام المختلفة داخل الشركة تبحث عن أهداف مختلفة تماماً، فإن ذلك كثيراً ما يؤدي إلى فوضى. وإذا اعتقدوا أن قسمًا آخر يعطل عملهم، فهذا غير طبيعي تماماً.

أعتقد أن واحدة من أهم إنجازاتنا هي أننا نجحنا في الحفاظ على اتساق الشركة ككل. تلعب آليات مثل RSP دوراً مهماً جداً هنا. تضمن هذه الآلية أن الشركة لا يحدث فيها شيء مثل: بعض الأقسام تصنع المشاكل، ثم الأقسام الأخرى تحاول إصلاحها. بدلاً من ذلك، تؤدي جميع الأقسام وظائفها معاً، في تناغم ضمن إطار نظرية التغيير (theory of change) الموحدة.

Chris Olah：

انضممت إلى OpenAI أولاً لأنني اعتقدت أنها منظمة غير ربحية، ومن ثم يمكنني التركيز على أبحاث سلامة AI. لكن مع مرور الوقت اكتشفت أن هذا النموذج لا يناسبني تماماً، وهذا دفعني لاتخاذ قرارات صعبة. في تلك العملية، كان لدي ثقة كبيرة في تقدير Dario وDaniela، لكنني لم أكن أرغب في المغادرة. لأنني كنت أعتقد أن إضافة المزيد من مختبرات AI قد لا يكون مفيداً للعالم. لهذا ترددت جداً بشأن الرحيل.

عندما قررنا في النهاية المغادرة، كان لدي تحفظ بشأن فكرة تأسيس شركة. كنت قد دفعت لفكرة إنشاء منظمة غير ربحية تركز على أبحاث السلامة. لكن في النهاية، جعلنا الواقعية تجاه قيود الواقع ندرك أن تأسيس Anthropic هو أفضل طريقة لتحقيق أهدافنا.

Dario Amodei：

كان درس مهم تعلمناه في بدايتنا: التعهدات القليلة، والتنفيذ الكثير. كونوا واقعيين، وواجهوا المقايضات بشكل مباشر، لأن الثقة والسمعة أهم من أي سياسة محددة.

Daniela Amodei：

من الأشياء الفريدة في Anthropic هي الثقة العالية والوحدة داخل الفريق. مثلاً، عندما أرى Mike Krieger يصرّ على عدم نشر بعض المنتجات لأسباب تتعلق بالسلامة، وفي الوقت نفسه أرى Vinay يناقش كيفية موازنة متطلبات العمل لدفع المشروع إلى الأمام، أشعر أن الأمر مدهش. أيضاً، يتناقش مهندسو فريق السلامة التقنية وفريق الاستدلال حول كيفية ضمان أن المنتج آمن وعملي في آن واحد. هذه الوحدة في الهدف والواقعية—من أكثر الأشياء جذباً في بيئة العمل لدى Anthropic.

Dario Amodei：

الثقافة التنظيمية الصحية هي أن الجميع يفهم ويقبل المقايضات المشتركة. العالم الذي نعيش فيه ليس مثالياً. كل قرار يتطلب إيجاد توازن بين مصالح مختلفة، وغالباً ما يكون من المستحيل إرضاء الجميع تماماً. لكن طالما أن الفريق ككل يستطيع مواجهة هذه المقايضات تحت هدف موحد، وأن يساهم كل واحد من موقعه في تحقيق الهدف العام—فإن هذا هو ما يجعل النظام البيئي سليماً.

Sam McCandlish：

من بعض النواحي، هذه «منافسة صاعدة». نعم، إنها منافسة صاعدة. صحيح أنها ليست اختياراً خالياً تماماً من المخاطر؛ قد يحدث خطأ. لكننا جميعاً اتفقنا: «هذا هو الخيار الذي اخترناه».

سباق قمم AI

Jack Clark： لكن من حيث جوهر الأمر، السوق واقعي. لذلك كلما أصبحت Anthropic أكثر نجاحاً، زادت رغبة الآخرين في تقليد ما جعلنا نحقق هذا النجاح. والأهم، عندما يكون نجاحنا مرتبطاً ارتباطاً وثيقاً بعملنا الفعلي في مجال السلامة، فإن هذا النجاح سيخلق «جاذبية» داخل الصناعة تجذب الشركات الأخرى للمشاركة في هذه المنافسة. كما هو الحال عندما طورنا حزام الأمان—يمكن للآخرين تقليده. هذه بيئة تنافسية صحية.

Dario Amodei：

لكن إذا قلت: «لن نطوّر هذه التقنية، ولا يمكنك أن تفعل أفضل منا»، فهذا لا يعمل. لأنك لم تُثبت أن مساراً من الواقع إلى المستقبل قابل للتحقق. ما يحتاجه العالم هو—سواء على مستوى الصناعة أو شركة بعينها—أن يجد طريقة تجعل المجتمع ينتقل من «لا توجد تقنية» إلى «التقنية موجودة بشكل قوي، ويتم إدارتها بشكل فعال من قبل المجتمع». وأعتقد أن الطريقة الوحيدة لتحقيق ذلك هي مواجهة المقايضات على مستوى شركة واحدة، بل وحتى في النهاية على مستوى الصناعة كلها.

تحتاج إلى إيجاد طريقة تحقق القدرة التنافسية—بل وتستطيع أن تقود الصناعة في بعض المجالات—وفي الوقت نفسه تضمن سلامة التقنية. إذا تمكنت من فعل ذلك، فستكون جاذبيتك لصالح الصناعة كبيرة جداً. من بيئة التنظيم، إلى رغبة توظيف أفضل المواهب من شركات مختلفة، وحتى نظرة العملاء—كل هذه العوامل ستدفع الصناعة نحو الاتجاه نفسه. وإذا تمكنت من إثبات أنه يمكن تحقيق السلامة دون التضحية بالقدرة التنافسية، أي إيجاد حلول تحقق «مكاسب للطرفين»، فسيشجع ذلك الشركات الأخرى أيضاً على تقليد هذا الأسلوب.

Jared Kaplan：

أعتقد أن هذه هي بالضبط لماذا تُعد آليات مثل RSP مهمة جداً. نحن نرى بشكل واضح اتجاه تطور التقنية، ونفهم أنه يجب أن نكون شديدي اليقظة تجاه بعض القضايا. وفي الوقت نفسه، يجب أن نتجنب إطلاق إنذارات خاطئة من نوع «الذئب جاء» وأن نقول ببساطة: «يجب أن تتوقف الابتكارات هنا». نحن نحتاج إلى إيجاد طريقة تتيح لتقنيات AI أن تقدم تجربة مفيدة ومبتكرة وممتعة للعملاء، مع تحديد القيود التي يجب الالتزام بها بوضوح. هذه القيود تضمن سلامة النظام، وفي الوقت نفسه تجعل الشركات الأخرى تؤمن أنها أيضاً يمكنها تحقيق النجاح في بيئة آمنة والتنافس معنا.

Dario Amodei：

بعد بضعة أشهر، وبمجرد إطلاق RSP، بدأت كبرى ثلاث شركات AI المعروفة أيضاً في طرح آليات مشابهة. مجال قابلية التفسير كان واحداً من مجالاتنا الأخرى التي حققت اختراقاً. كذلك أجرينا تعاوناً مع مؤسسات أبحاث سلامة AI. هذا الاهتمام الشامل بالسلامة بدأ يترك أثراً بعيد المدى.

Jack Clark：

نعم، تم تقليد Frontline Red Team تقريباً فوراً من قبل شركات أخرى. وهذه خطوة جيدة. نريد أن تختبر كل مختبرات تلك الألغام الأمنية عالية المخاطر المحتملة.

Daniela Amodei：

Jack كان قد ذكر أيضاً أن العملاء يهتمون جداً بقضايا السلامة. العملاء لا يريدون أن تنتج نماذج معلومات غير صحيحة، ولا يريدون أن يسهل التحايل على قيود السلامة. يريدون أن يكون النموذج مفيداً وغير مؤذٍ. ونحن نسمع كثيراً من العملاء في التواصل