Sept co-fondateurs discutent : comment Anthropic est-il né ?

«Personne ne veut se lancer dans l’entrepreneuriat, mais l’impression que c’est nécessaire s’impose.»

Référencé & compilé : Deep Tide TechFlow

Invités : Chris Olah, responsable de l’innovation (COO/CTO) chez Anthropic ; Jack Clark ; Daniela Amodei ; Sam McCandlish ; Tom Brown ; Dario Amodei ; Jared Kaplan

Source du podcast : Anthropic

Titre original : Building Anthropic | A conversation with our co-founders

Date de diffusion : 20 décembre 2024

Points clés

Au cours de la semaine passée, Anthropic a enchaîné deux incidents :

D’abord, près de 3 000 documents internes ont été exposés par erreur à un accès public en raison d’une configuration défectueuse du CMS ; ensuite, lors de la mise en ligne sur npm, Claude Code v2.1.88 a embarqué 59,8 Mo de source map, et 510 000 lignes de code source se sont retrouvées en accès direct.

Une entreprise qui a inscrit la « sécurité » dans ses gènes a, dans ses propres opérations, enchaîné les pannes : l’ironie est à son comble.

Mais avant de se hâter pour se moquer, il vaut la peine de réécouter le dialogue interne des sept cofondateurs, mené il y a plus d’un an. Cet épisode a été enregistré en décembre 2024 : les sept personnes y discutent de la manière dont cette société s’est construite, de la façon dont le RSP (Responsible Scaling Policy, « politique d’expansion responsable ») a été mûri, pourquoi le mot « sécurité » ne peut pas être utilisé à la légère, et enfin de la phrase du CEO Dario — une citation maintes fois reprise :

« Si un immeuble sonne l’alarme incendie chaque semaine, c’est en réalité un immeuble très peu sûr. »

Aujourd’hui, quand on réentend cette phrase, le goût n’est clairement plus le même.

Sept cofondateurs, identification rapide

Dario Amodei｜PDG, ancien vice-président de la recherche chez OpenAI, formation en neurosciences, décideur final pour la stratégie et la feuille de route « sécurité » chez Anthropic. C’est aussi celui qui parle le plus dans cette discussion.

Daniela Amodei｜Présidente, sœur de Dario. Elle a travaillé pendant cinq ans et demi chez Stripe, a dirigé des équipes de confiance et sécurité, et a travaillé plus tôt dans le secteur à but non lucratif et celui du développement international. Chez Anthropic, la structuration de l’organisation et la communication externe sont essentiellement pilotées par elle.

Jared Kaplan｜Professeur de physique devenu chercheur en IA, l’un des auteurs centraux des scaling laws. Souvent, il apporte des jugements depuis le point de vue d’un observateur extérieur ; il dit avoir fait de l’IA parce que « la physique, c’était devenu ennuyeux ».

Chris Olah｜Figure de référence de la recherche en explicabilité (interpretability) ; il entre dans le cercle de l’IA de la baie à 19 ans, puis a travaillé successivement chez Google Brain et OpenAI. La personne la plus teintée d’idéalisme technique au sein d’Anthropic.

Tom Brown｜Auteur principal du papier sur GPT-3 ; aujourd’hui, il gère les ressources de calcul d’Anthropic. Son angle est plutôt orienté ingénierie et infrastructures ; dans le podcast, il parle de pas mal d’étapes, de « je ne pense pas que l’IA ira aussi vite » jusqu’au moment où son avis a changé.

Jack Clark｜Ancien journaliste tech chez Bloomberg, responsable des politiques et des affaires publiques chez Anthropic. Dans cette discussion, il joue le rôle de modérateur : il relie les questions et fait des relances.

Sam McCandlish｜Co-responsable de la recherche : celui qui prend le moins la parole, mais qui vise souvent juste en une phrase ; il est du type « porter le coup final ».

Résumé des idées marquantes

Pourquoi faire de l’IA : de l’ennui en physique à « j’en ai assez, alors j’y crois »

Jared Kaplan : « J’ai fait de la physique pendant très longtemps, c’était un peu ennuyeux, et je voulais aussi travailler avec plus d’amis, donc j’ai fait de l’IA. »

Dario Amodei : « Je ne pense pas t’avoir clairement convaincu ; je t’ai juste montré les résultats des modèles d’IA. À un moment, j’en t’ai montré assez, et tu as dit : “Eh bien, ça a l’air juste.” »

Miser à contre-courant : la plupart des consensus sont un effet de troupeau déguisé en maturité

Jared Kaplan : « Beaucoup de chercheurs en IA ont été psychologiquement très touchés par l’hiver de l’IA ; comme si avoir des ambitions n’était pas autorisé. »

Dario Amodei : « La leçon la plus profonde que j’ai apprise au cours des dix dernières années, c’est la suivante : beaucoup de “consensus que tout le monde connaît” sont en réalité des effets de troupeau déguisés en maturité. Tu as déjà vu quelques consensus s’inverser du jour au lendemain, puis les gens te disent : non, on mise sur celui-ci. Même si tu n’as que 50 % raison, tu peux contribuer beaucoup de choses que d’autres n’auraient pas contribué. »

Sécurité et mise à l’échelle sont intrinsèquement liées

Dario Amodei : « L’une des raisons qui nous a motivés à agrandir le modèle, c’était de faire en sorte qu’il soit d’abord suffisamment intelligent pour que le RLHF puisse être mis en œuvre. C’est ce en quoi nous croyons encore aujourd’hui : sécurité et mise à l’échelle sont étroitement liées. »

Le RSP, la politique d’expansion responsable : la “constitution” d’Anthropic

Tom Brown : « Pour Anthropic, le RSP, c’est comme notre constitution. C’est un document central à valeur de guide ; c’est pourquoi nous sommes prêts à y investir énormément de temps et d’efforts pour le polir et le perfectionner de manière itérative. »

Dario Amodei : « Le RSP empêche la poursuite des plans qui ne répondent pas aux standards de sécurité. Nous ne nous contentons pas de slogans : nous intégrons concrètement la sécurité dans chaque étape. »

Trop d’alarmes incendie, et quand le feu est vraiment là, plus personne ne court

Daniela Amodei : « Nous ne pouvons pas utiliser le mot “sécurité” pour piloter arbitrairement l’avancement du travail. Notre objectif réel est de faire en sorte que chacun sache clairement de quelle sécurité nous parlons. »

Dario Amodei : « En réalité, ce qui nuit vraiment à la sécurité, ce sont ces “exercices de sécurité” fréquents. Si, dans un immeuble, l’alarme incendie retentit chaque semaine, alors c’est en réalité un immeuble très peu sûr. »

Le piège du “l’échec noble”

Chris Olah : « Il existe une idée selon laquelle le comportement le plus moral consiste à sacrifier d’autres objectifs pour la sécurité, afin de prouver sa pureté envers la cause. Mais en réalité, cette manière de faire est autodestructrice. Car cela fait tomber le pouvoir de décision entre les mains de personnes qui ne considèrent pas la sécurité comme une priorité. »

Les cofondateurs s’engagent à reverser 80 % des revenus

Tom Brown : « Nous nous engageons ensemble à faire don de 80 % de nos revenus à des causes capables de faire progresser la société : c’est quelque chose que tout le monde soutient sans hésitation. »

Personne ne veut créer une entreprise, mais on pense que c’est nécessaire

Sam McCandlish : « En fait, parmi nous, personne n’avait au départ l’intention de fonder une entreprise. Nous avons juste le sentiment que c’est notre responsabilité, parce que c’est la seule façon de garantir que le développement de l’IA avance dans la bonne direction. »

Daniela Amodei : « Notre mission est à la fois claire et pure — ce genre de situation n’est pas courant dans l’industrie technologique. »

Explicabilité : une “biodémo” entière cachée dans les réseaux de neurones

Chris Olah : « Les réseaux de neurones sont vraiment merveilleux ; il y a plein de “beautés” que nous n’avons pas encore vues. Parfois, j’imagine qu’on entrera dans une librairie dans dix ans, qu’on achètera un manuel sur la biologie des réseaux de neurones, et que le livre contiendra toutes sortes de choses étonnantes. »

L’IA pour renforcer la démocratie, pas pour devenir un outil de dictature

Dario Amodei : « Nous nous inquiétons de ceci : si l’IA est développée de manière incorrecte, elle pourrait devenir un outil au service du despotisme. Comment faire en sorte que l’IA devienne un outil qui favorise la liberté et l’autodétermination ? L’importance de ce domaine n’est pas moindre que celle de la biologie et de l’explicabilité. »

De réunions à la Maison-Blanche au prix Nobel : l’influence de l’IA dépasse depuis longtemps le seul milieu tech

Jared Kaplan : « En 2018, on n’aurait jamais pensé que le président t’appellerait à la Maison-Blanche pour dire qu’il suit l’attention portée aux modèles de langage. »

Dario Amodei : « Nous avons déjà vu des prix Nobel en chimie être décernés à AlphaFold. Nous devrions nous efforcer de développer des outils capables de nous aider à créer des centaines d’AlphaFold. »

Pourquoi étudier l’IA ?

Jack Clark : Pourquoi, dès le départ, voulons-nous faire de l’IA ? Jared, pourquoi as-tu fait de l’IA ?

Jared Kaplan :

J’ai fait de la physique pendant très longtemps, un peu ennuyeux, et je voulais aussi travailler avec plus d’amis, donc j’ai fait de l’IA.

Tom Brown :

Je pensais que c’était Dario qui t’avait convaincu.

Dario Amodei :

Je ne pense pas t’avoir “convaincu” de manière explicite ; je t’ai juste montré tout le temps des résultats de modèles d’IA, pour te faire comprendre que c’était quelque chose de très général, pas seulement applicable à un problème unique. À un moment donné, j’en ai montré assez, et tu as dit : “Eh bien, ça a l’air juste.”

Jack Clark : Chris, quand tu faisais de la recherche en explicabilité, est-ce que tu connaissais déjà les gens à travers Google ?

Chris Olah :

Non. En fait, je connaissais déjà pas mal de personnes d’entre vous dès ma première arrivée dans la baie à 19 ans. À ce moment-là, j’ai vu Dario et Jared ; ils étaient en post-doc, et à l’époque, je les trouvais particulièrement cool. Plus tard, quand j’étais chez Google Brain, après l’arrivée de Dario, on s’est assis côte à côte un moment ; j’ai aussi travaillé avec Tom, puis plus tard, quand je suis allé chez OpenAI, j’ai fait équipe avec vous tous.

Jack Clark :

Je me rappelle qu’en 2015, lors d’une conférence, j’ai vu Dario vouloir t’interviewer. Et même Google PR a dit que je devais d’abord avoir lu tous tes papiers.

Dario Amodei :

À l’époque, j’écrivais chez Google “Concrete Problems in AI Safety”.

Sam McCandlish :

Avant de travailler avec toi, tu m’avais invité à ton bureau pour qu’on discute, un peu comme si tu m’expliquais toute l’IA. Je me souviens que, après la conversation, j’ai pensé : « D’accord, ce sujet est beaucoup plus sérieux que ce que j’avais réalisé. » À ce moment-là, tu as parlé de “gros paquets de calcul”, du nombre de paramètres, de l’échelle des neurones du cerveau, etc.

Expansion révolutionnaire

Jack Clark : Je me souviens qu’à OpenAI, quand on faisait des scaling laws, dès qu’on a commencé à rendre les modèles plus grands, ça a réellement commencé à marcher, et sur pas mal de projets ça a continué à marcher, de façon bizarrement constante — de GPT-2 aux scaling laws jusqu’à GPT-3 : on a l’impression d’être allés de plus en plus près.

Dario Amodei : C’est justement cette bande de gens qui savent faire avancer les choses.

Jared Kaplan : On était aussi très excités par la sécurité. À l’époque, l’idée était : l’IA peut devenir très puissante, mais peut-être qu’elle ne comprendra pas les valeurs humaines, voire qu’elle ne pourra pas communiquer avec nous. Les modèles de langage peuvent, dans une certaine mesure, garantir qu’ils apprennent une grande quantité de connaissances implicites.

Dario Amodei :

Et au-dessus des modèles de langage, il y a le RLHF. L’une des motivations qui nous a poussés à agrandir le modèle, c’était de faire en sorte qu’il soit suffisamment intelligent d’abord, pour que le RLHF puisse être mis en place. C’est encore ce en quoi nous croyons aujourd’hui : sécurité et mise à l’échelle sont liées.

Chris Olah :

Oui. À l’époque, le travail sur les scaling, faisait aussi partie de l’équipe sécurité. Parce que nous pensions que pour amener les gens à prendre la sécurité au sérieux, il faut d’abord pouvoir prédire les tendances de l’IA.

Jack Clark : Je me rappelle qu’à un aéroport au Royaume-Uni, j’ai fait un sampling de GPT-2 pour écrire de fausses actualités, puis je l’ai envoyé à Dario sur Slack en disant : « Ça marche vraiment ; ça pourrait avoir d’énormes impacts politiques. » Et je me rappelle que la réponse de Dario était : « Oui. »

Après, nous avons fait beaucoup de travaux liés aux publications. C’était fou.

Daniela Amodei :

Je me rappelle de la publication à ce moment-là — c’était notre toute première vraie collaboration ; GPT-2 était publié à l’époque.

Jack Clark :

Je pense que ça nous a beaucoup aidés. On a fait d’abord quelque chose d’un peu étrange mais orienté sécurité, puis on a fait avec Anthropic une autre chose à plus grande échelle, toujours un peu étrange mais orientée sécurité.

La phase de démarrage de l’IA

Tom Brown : Revenons à cet article, “Concrete Problems”. Je suis entré chez OpenAI en 2016. À l’époque, toi et moi étions parmi les tout premiers. Pour moi, cet article ressemblait au premier papier mainstream sur la sécurité de l’IA. Comment il est né ?

Dario Amodei :

Chris savait ; il y a participé. À ce moment-là, chez Google, j’ai oublié quel était exactement mon projet principal, mais cet article ressemblait à une chose que j’ai traînée et retardée jusqu’à ce que je la produise.

Nous voulions écrire sur les questions ouvertes de la sécurité de l’IA. À ce moment-là, la sécurité de l’IA était toujours discutée de manière très abstraite. Nous voulions l’ancrer dans du ML réel à l’époque. Maintenant, cela fait déjà six ou sept ans que cette ligne de travail existe, mais à ce moment-là, c’était juste une idée bizarre.

Chris Olah :

Je pense que, dans un sens, c’était presque un projet politique. Beaucoup de gens à l’époque ne prenaient pas vraiment la sécurité au sérieux. Nous voulions compiler une liste de questions jugées raisonnables et acceptées par tous. Beaucoup de ces questions existaient déjà dans la littérature ; puis nous avons cherché des personnes jouissant d’une crédibilité inter-institutionnelle, afin qu’elles signent ensemble.

Je me souviens avoir passé beaucoup de temps à discuter avec plus de vingt chercheurs chez Brain, pour obtenir leur soutien pour publication. Si on regarde uniquement le contenu des questions, peut-être que, quand on revient aujourd’hui, ce n’est pas que tout soit encore valable, ou que ce soit exactement les “meilleures” questions. Mais si tu le vois comme de la construction de consensus : prouver que « ici il y a de vraies questions, qui méritent d’être traitées sérieusement », alors c’était un moment important.

Jack Clark :

**Finalement, tu te retrouveras dans un monde de science-fiction assez particulier. Je me rappelle qu’au début, Anthropic parlait de “Constitutional AI”. Jared a dit : “On écrit une constitution au modèle de langage, et alors son comportement s’y conforme.” » À l’époque, ça sonnait complètement fou. Pourquoi vous pensiez que c’était faisable ?

Jared Kaplan :

J’ai discuté longtemps avec Dario. Je pense qu’en IA, des méthodes simples fonctionnent souvent extrêmement bien. La version initiale était assez complexe ; puis elle a été réduite et réduite encore et encore. À la fin, ça s’est résumé à : exploiter le fait que le modèle est doué pour des QCM — lui donner des instructions claires sur ce qu’il doit chercher, ça suffit. Et ensuite, on peut écrire les principes directement.

Dario Amodei :

Ça revient au “gros tas de calcul” (The Big Blob of Compute) — la “leçon amère” (The Bitter Lesson) — et l’“hypothèse de mise à l’échelle” (Scaling Hypothesis) : tant que tu peux donner à l’IA un objectif clair et des données, elle saura apprendre. Un ensemble d’instructions, un ensemble de principes : le modèle de langage peut les lire et aussi les mettre en regard avec son propre comportement ; l’objectif d’entraînement est là. Donc mon point de vue, et celui de Jared, c’est : c’est faisable ; il suffit que les détails soient itérés à répétition.

Jared Kaplan :

Pour moi, c’était étrange au début. Je viens de la physique. Maintenant tout le monde est excité par l’IA, donc on oublie facilement l’ambiance à l’époque. J’en ai discuté avec Dario : je sentais que beaucoup de chercheurs en IA avaient été très blessés psychologiquement par l’hiver de l’IA ; comme si “avoir des ambitions” n’était pas permis. Discuter la sécurité nécessitait d’abord de croire que l’IA pourrait être très forte, très utile ; mais il y avait une sorte d’interdiction anti-ambition à ce moment-là. Un atout des physiciens, c’est l’“arrogance” : ils font souvent des choses très ambitieuses ; ils sont habitués à parler de grands panoramas.

Dario Amodei :

Je pense que c’est vrai. En 2014, il y avait plein de choses qu’il ne fallait pas dire. Ça ressemble aussi à un problème répandu dans le monde académique : à part certains domaines, les institutions deviennent de plus en plus hostiles au risque. L’IA industrielle a hérité de ce tempérament, et je pense que ce n’est qu’autour de 2022 qu’on est sorti de ça.

Chris Olah :

Il y a aussi deux formes de “conservatisme” : l’une est de prendre le risque au sérieux, l’autre est de considérer comme de l’arrogance le fait de prendre au sérieux les risques tout en croyant que les idées peuvent réussir. À ce moment-là, nous étions surtout dominés par la seconde forme. Historiquement, il y avait aussi quelque chose d’analogue dans les discussions sur la physique nucléaire en 1939 : Fermi se méfiait ; Szilard ou Teller prenaient davantage les risques au sérieux.

Dario Amodei :

Ma leçon la plus profonde des dix dernières années, c’est : beaucoup de consensus “tout le monde sait ça” sont en réalité des effets de troupeau déguisés en maturité. Tu as vu des consensus être renversés quelques fois du jour au lendemain, et alors les gens disent : non, on mise sur ça. Pas forcément que c’est correct, mais on ignore le bruit pour miser. Même si tu n’as que 50 % de chances d’avoir raison, tu contribues beaucoup de choses que d’autres n’auraient pas contribué.

Le changement d’attitude du public envers l’intelligence artificielle

Jared Kaplan : Aujourd’hui encore, sur certains sujets de sécurité, c’est la même logique : l’opinion extérieure pense que beaucoup de problèmes de sécurité “naturels” ne surgiraient pas de la technologie elle-même ; mais chez Anthropic, on voit que ça surgit effectivement de façon naturelle.

Daniela Amodei :

Mais au cours des 18 derniers mois, cela change ; en plus, l’émotion du monde envers l’IA a nettement évolué. Pendant nos recherches utilisateurs, on entend plus souvent des utilisateurs lambda s’inquiéter de l’impact global de l’IA sur le monde.

Parfois, c’est le travail, les biais, la toxicité ; parfois c’est : « Est-ce qu’elle va bouleverser le monde, changer la manière dont les humains collaborent ? » — et en fait, je ne l’avais pas anticipé à ce point.

am McCandlish :

Je ne sais pas pourquoi, mais dans le cercle de recherche ML, on est souvent plus pessimiste que le public à propos de “l’IA qui devient très forte”.

Jared Kaplan :

En 2023, Dario et moi sommes allés à la Maison-Blanche. Dans la réunion, Harris et Raimondo — l’idée générale, c’était : « On vous observe. L’IA est un gros sujet. On surveille avec sérieux. » Mais en 2018, tu n’aurais pas imaginé que « le président t’appellerait à la Maison-Blanche pour dire qu’il suit l’attention portée aux modèles de langage ».

Tom Brown :

Ce qui est intéressant, c’est que beaucoup d’entre nous sont entrés dans le sujet alors qu’il n’était pas encore clair. Un peu comme Fermi et la bombe atomique : il doutait. Il y avait des preuves indiquant qu’on pourrait peut-être fabriquer la bombe, mais aussi beaucoup de preuves qu’on ne la fabriquerait pas ; et pourtant, il a finalement décidé d’essayer. Parce que si c’est vrai, les impacts seront énormes, donc ça vaut la peine.

Entre 2015 et 2017, il y a eu des preuves — et de plus en plus — que l’IA pourrait être une très grosse affaire. En 2016, j’ai discuté avec mon mentor : j’avais fait de l’entrepreneuriat, je voulais faire de la sécurité de l’IA, mais j’étais pas assez fort en mathématiques, je ne savais pas quoi faire. À l’époque, on m’a dit : « Tu dois maîtriser la théorie de la décision. » D’autres disaient : « Il n’y aura pas d’événement d’IA folle ; il y a très peu de gens réellement convaincus. »

Jack Clark :

En 2014, quand j’ai couvert la tendance ImageNet, on m’a pris pour un fou. En 2015, j’ai voulu écrire sur NVIDIA, à cause de leurs GPU dans les papiers ; on m’a aussi dit que j’étais fou. En 2016, j’ai quitté la presse pour l’IA, et il y avait même des emails disant : « Tu fais l’erreur la plus grande de ta vie. » À ce moment-là, de nombreux angles faisaient que miser sérieusement sur le fait que la mise à l’échelle “va se produire” ressemblait vraiment à du délire.

Jared Kaplan : comment l’as-tu décidé ? Tu hésitais ?

Jack Clark :

J’ai fait un pari à l’envers : j’ai demandé d’être un journaliste d’IA à plein temps, et j’ai demandé un double salaire. Je savais qu’ils ne répondraient pas favorablement. Ensuite, je suis allé dormir, et au réveil j’ai démissionné. Parce que je passais mes journées à lire des documents d’archives ; j’avais toujours l’impression qu’une chose folle et énorme était en train de se produire, et qu’à un moment donné, il fallait miser avec une confiance très élevée.

Tom Brown :

Je n’étais pas aussi tranché ; j’ai hésité pendant six mois.

Daniela Amodei :

Et à l’époque, l’idée que “les ingénieurs peuvent aussi faire avancer significativement l’IA” n’était pas mainstream. C’était : “seuls les chercheurs peuvent faire de l’IA”. Donc ton hésitation n’a rien d’étonnant.

Tom Brown :

Plus tard, OpenAI a dit : « Tu peux aider la sécurité de l’IA via l’ingénierie. » C’est ce qui m’a donné envie de rejoindre. Daniela, tu étais mon manager chez OpenAI. Pourquoi tu as rejoint ?

Daniela Amodei :

J’étais chez Stripe pendant cinq ans et demi ; Greg avait été mon patron. Je les ai aussi présentés : j’ai mis Greg et Dario en relation. À ce moment-là, il créait OpenAI et je lui ai dit : « Les personnes les plus intelligentes que je connaisse, c’est Dario. Si tu peux l’amener dans ton équipe, alors c’est ta chance. » Et plus tard, Dario a rejoint OpenAI.

Comme toi sans doute, je me posais aussi la question de ce que je pourrais faire après avoir quitté Stripe. Si j’ai rejoint Stripe, c’était parce que, quand j’avais travaillé dans des organisations à but non lucratif et dans le développement international, je pensais qu’il me fallait davantage de compétences ; en fait, j’imaginais que je finirais peut-être par revenir dans ce domaine.

Avant de rejoindre Stripe, je pensais ne pas avoir assez d’aptitudes pour aider des gens qui étaient dans une situation moins favorable que la mienne. Donc je regardais d’autres entreprises technologiques : je cherchais une façon nouvelle d’avoir un impact plus important. À l’époque, OpenAI m’a semblé être un très bon choix. C’est une organisation à but non lucratif, dédiée à un objectif extrêmement important et porteur d’une ambition considérable.

J’ai toujours eu beaucoup de foi dans le potentiel de l’IA, parce que je connaissais aussi un peu Dario, et qu’ils avaient réellement besoin de gens pour aider à la gestion. Donc je sentais que ce travail correspondait très bien à mon parcours. Je pensais : « C’est une organisation à but non lucratif ; il y a ici un groupe de personnes vraiment excellentes, porteuses d’une vision formidable ; mais leur fonctionnement semble encore un peu chaotique. » Et c’est justement ce défi qui m’excitait, parce que je pouvais rejoindre ce contexte.

À l’époque, je me sentais comme un joueur “toutes positions” : je ne m’occupais pas seulement de gérer les membres de l’équipe, mais aussi de mener certains groupes techniques ; je gérais aussi l’expansion de l’organisation. Je m’occupais du travail d’expansion organisationnelle, j’ai aussi travaillé au sein de l’équipe “langage”, et ensuite j’ai pris en charge d’autres tâches. Je me suis aussi impliquée dans certains sujets de politique ; j’ai aussi collaboré avec Chris. J’ai l’impression qu’il y a beaucoup de talents exceptionnels dans l’entreprise, et ça m’a particulièrement donné envie de venir, d’aider la société à devenir plus efficace, plus structurée.

Jack Clark : Je me rappelle qu’après GPT-3, tu as dit : « Vous connaissez trust and safety ? »

Daniela Amodei :

J’ai déjà dirigé une équipe trust and safety chez Stripe. Pour des technologies comme celle-ci, vous devez probablement prendre la question de la confiance et sécurité en compte. C’est une passerelle entre la recherche sur la sécurité de l’intelligence artificielle (AI Safety Research) et le travail quotidien plus pragmatique : autrement dit, comment rendre les modèles vraiment sûrs.

Il est très important d’affirmer : « cette technologie aura un impact majeur dans le futur ». Mais en même temps, nous devons aussi faire dans le quotidien des travaux plus concrets pour poser des bases afin d’affronter des scénarios à risques plus élevés.

Politique d’expansion responsable : garantir un développement sûr de l’IA

Jack Clark : On parle justement de la façon dont la stratégie d’expansion responsable (RSP, Responsible Scaling Policy) a été formulée, pourquoi nous l’avons envisagée, et comment aujourd’hui nous l’appliquons, notamment en considérant le travail que nous faisons actuellement en matière de confiance et de sécurité des modèles. Alors, qui a proposé en premier ce RSP (politique d’expansion responsable) ?

Dario Amodei :

Au départ, c’est moi et Paul Christiano qui l’avons proposé, vers la fin de 2022. L’idée initiale était : est-ce qu’on devrait restreindre temporairement l’expansion des modèles jusqu’à une taille donnée, jusqu’à ce qu’on trouve une manière de résoudre certains problèmes de sécurité ?

Mais ensuite, nous avons pensé que juste restreindre à un certain point, puis relâcher, c’était un peu bizarre. Donc nous avons décidé de mettre en place une série de seuils : chaque fois que le modèle atteint un seuil, il faut mener une série de tests pour évaluer s’il possède les capacités de sécurité correspondantes.

À chaque seuil atteint, nous devons appliquer des mesures de sécurité et de garde-fous plus stricts. Mais au départ, nous avions déjà une idée : si cette tâche était exécutée par un tiers, ce serait probablement mieux. Autrement dit, cette stratégie ne devrait pas relever de la responsabilité d’une seule entreprise ; sinon, d’autres entreprises pourraient ne pas vouloir l’adopter. C’est donc Paul qui a conçu lui-même ce cadre. Bien sûr, avec le temps, bon nombre de détails ont évolué. De notre côté, l’équipe a continué à étudier comment faire fonctionner ce cadre de façon encore meilleure.

Quand Paul a structuré ce concept, il a pratiquement publié notre version à peu près au même moment — dans un délai d’un ou deux mois. En fait, beaucoup de membres de notre équipe ont participé en profondeur à tout ce processus. Je me souviens avoir écrit au moins un des premiers brouillons, mais l’ensemble du document a fait l’objet de multiples révisions.

Tom Brown :

Pour Anthropic, le RSP ressemble à notre “constitution”. C’est un document central qui guide nos décisions ; c’est pourquoi nous sommes prêts à investir énormément de temps et d’énergie pour l’affiner de manière répétée, afin d’en assurer la précision et la complétude.

Daniela Amodei :

Je trouve que le RSP, dans le processus de développement d’Anthropic, est vraiment très intéressant. Il est passé par plusieurs étapes, et il nécessite aussi des compétences diverses pour être mis en œuvre. Par exemple, il y a de grandes idées, principalement portées par Dario, Paul, Sam et Jared : quand ils réfléchissent à « quelles sont nos valeurs de base ? quel message voulons-nous transmettre ? comment déterminons-nous que notre direction est la bonne ? »

Mais en plus, il y a aussi un travail très concret au niveau opérationnel : au fil des itérations, nous évaluons et ajustons des détails. Par exemple, nous avions prévu d’atteindre certains objectifs à un certain niveau de sécurité ; si cela ne se produit pas, on réévalue et on s’assure qu’on peut rendre compte de nos résultats de travail.

Ensuite, il y a aussi beaucoup de changements liés à l’organisation. Par exemple, nous avons décidé de redessiner la structure organisationnelle du RSP afin de clarifier la répartition des responsabilités. J’aime beaucoup l’analogie avec la constitution : comme aux États-Unis, pour assurer l’exécution de la constitution, on met en place tout un ensemble de systèmes et d’institutions — tribunaux, Cour suprême, président, chambres du Congrès, etc. Même si ces institutions ont aussi d’autres responsabilités, leur existence est, dans une large mesure, pour protéger et faire respecter la constitution. Et chez Anthropic, le RSP suit un parcours similaire.

Sam McCandlish :

Je pense que cela reflète une vision fondamentale que nous avons sur les problèmes de sécurité : les problèmes de sécurité sont quelque chose qui peut se résoudre. C’est une tâche extrêmement complexe et difficile, qui demande énormément de temps et d’énergie.

Comme dans le domaine de la sécurité automobile : les institutions et mécanismes associés ont été construits au fil des années. Mais notre problème aujourd’hui est : avons-nous assez de temps pour faire tout ça ? Donc nous devons identifier le plus tôt possible les mécanismes clés dont dépend la sécurité de l’IA, et les mettre d’abord en place chez nous, tout en s’assurant qu’ils puissent être utilisés et adoptés ailleurs.

Dario Amodei :

Cela aide aussi à l’alignement de la collaboration au sein de l’organisation. Parce que si une partie de l’organisation adopte un comportement incompatible avec nos valeurs de sécurité, le RSP, d’une manière ou d’une autre, fera remonter et exposera le problème, n’est-ce pas ? Le RSP empêchera alors la poursuite de plans qui ne respectent pas les standards de sécurité. Ainsi, il devient aussi un outil qui rappelle constamment à tout le monde de s’assurer que la sécurité est une exigence de base dans le processus de développement et de planification de produit. Nous ne parlons pas de slogans : nous intégrons concrètement la sécurité dans chaque étape. Si quelqu’un ne peut pas s’aligner sur ces principes en rejoignant l’équipe, il se rendra compte qu’il ne s’intègre pas. Soit il s’adapte à cette direction, soit il trouvera difficile de continuer.

Jack Clark :

Avec le temps, le RSP est devenu de plus en plus important. Nous lui avons consacré des milliers d’heures. Et quand j’explique le RSP aux sénateurs, je leur dis : « Nous avons pris des mesures pour que notre technologie ne soit pas facile à détourner, tout en garantissant la sécurité. » Leur réaction est généralement : « Ça a l’air tout à fait normal. N’est-ce pas comme ça que font toutes les entreprises ? » C’est plutôt drôle et frustrant, en fait, parce que ce n’est pas comme ça que font toutes les entreprises.

Daniela Amodei :

De plus, je pense que le RSP améliore aussi la transparence de l’entreprise, au-delà de l’alignement des valeurs de l’équipe. Parce qu’il documente clairement ce que sont nos objectifs. À l’intérieur, tout le monde comprend ; et à l’extérieur, les gens comprennent aussi clairement ce que nous visons en matière de sécurité et la direction que nous suivons. Même si ce n’est pas parfait, nous l’optimisons et l’améliorons continuellement.

Je pense qu’en précisant clairement « quels sont nos problèmes de sécurité centraux », nous ne pouvons pas simplement utiliser le mot « sécurité » pour piloter arbitrairement l’avancement du travail. Par exemple : « à cause des problèmes de sécurité, nous ne pouvons pas faire X » ou « à cause des problèmes de sécurité, nous devons faire X ». Notre objectif réel est de faire en sorte que chacun sache clairement de quelle sécurité nous parlons.

Dario Amodei :

À long terme, ce qui nuit vraiment à la sécurité, ce sont les “exercices de sécurité” fréquents. Je l’ai déjà dit : « Si un immeuble sonne l’alarme incendie chaque semaine, alors c’est un immeuble très peu sûr. » Parce que quand un incendie réel survient, personne ne s’en soucie peut-être ; nous devons donc être très attentifs à la précision et à l’étalonnage des alarmes.

Chris Olah :

En changeant d’angle, je pense que le RSP crée des mécanismes d’incitations sains sur beaucoup de plans. Par exemple, en interne, le RSP aligne les incitations de chaque équipe avec les objectifs de sécurité. Cela signifie : si nous n’avons pas suffisamment progressé sur la sécurité, le travail associé est mis en pause.

Et en externe aussi, le RSP crée des mécanismes d’incitations plus sains que d’autres méthodes. Par exemple : si un jour nous devons prendre des actions importantes, comme admettre « nos modèles ont évolué jusqu’à un certain stade, mais nous ne pouvons pas encore garantir leur sécurité », alors le RSP fournit un cadre clair et des preuves pour soutenir cette décision. Ce cadre existe à l’avance et est clair. Quand je repense à la discussion de notre version initiale du RSP, je n’avais pas pleinement réalisé son potentiel. Mais maintenant je pense qu’il est vraiment plus efficace que les autres approches que je pouvais imaginer.

Jared Kaplan :

Je suis d’accord avec ces points, mais je pense que cela sous-estime peut-être les défis auxquels nous faisons face quand nous définissons les bonnes politiques, évaluons les critères et fixons les limites. Nous avons déjà fait beaucoup d’itérations sur ces sujets, et nous continuons encore à optimiser. Un point difficile est qu’avec certaines technologies émergentes, il est parfois difficile de déterminer clairement si elles sont dangereuses ou sûres. Souvent, nous nous retrouvons dans une grande zone grise. Ces défis m’ont rendu très excité dès le début du développement du RSP — et c’est encore le cas aujourd’hui. Mais en même temps, je me rends compte que le rendre clair et le déployer de façon effective, pour qu’il fonctionne vraiment, est plus compliqué et plus exigeant que ce que j’avais imaginé au départ.

Sam McCandlish :

Les zones grises ne peuvent pas être entièrement prédites, parce qu’elles sont partout. C’est seulement quand tu commences vraiment à mettre en œuvre que tu découvres où est le problème. Donc notre objectif est de mettre en œuvre le plus tôt possible tout ce qui doit l’être, afin de découvrir le plus vite possible les problèmes potentiels.

Dario Amodei :

Tu dois faire de trois à quatre itérations pour que ça devienne réellement parfait. Les itérations sont un outil très puissant : il est quasiment impossible de le faire totalement juste dès le premier coup. Donc si le niveau de risque augmente, tu dois terminer ces itérations tôt, plutôt que d’attendre la toute fin.

Jack Clark :

En même temps, il faut aussi mettre en place des institutions et des processus internes. Même si les détails spécifiques peuvent changer au fil du temps, le plus important est de développer la capacité d’exécution de l’équipe.

Tom Brown :

Je suis responsable de la gestion des ressources de calcul chez Anthropic. Pour moi, nous devons communiquer avec des parties prenantes externes : différentes personnes externes ont des avis différents sur la vitesse d’évolution de la technologie. Au départ, je pensais aussi que la technologie ne progresserait pas aussi vite. Mais mon avis a changé, et je peux très bien le comprendre. Je pense que le RSP m’aide particulièrement quand je discute avec des gens qui pensent que la technologie progressera lentement. On peut leur dire : « Tant que la technologie n’atteint pas un niveau d’urgence extrême, nous n’avons pas besoin de mesures de sécurité extrêmes. » S’ils disent : « Je pense que les choses ne deviendront pas urgentes avant longtemps », je peux répondre : « D’accord, alors on n’a pas besoin de mesures de sécurité extrêmes pour le moment. » Cela rend la communication avec le monde extérieur beaucoup plus fluide.

Jack Clark :

Et sur quels autres aspects le RSP a-t-il eu un impact pour les gens ?

Sam McCandlish :

Tout tourne autour de l’évaluation. Chaque équipe procède à des évaluations. Par exemple, ton équipe de training fait toujours des évaluations ; on essaie de déterminer si ce modèle est déjà devenu assez puissant pour potentiellement poser des dangers.

Daniela Amodei :

Cela veut dire concrètement que nous devons mesurer la performance du modèle selon les standards du RSP : vérifier s’il y a des signaux qui pourraient déclencher nos inquiétudes.

Sam McCandlish :

Évaluer les capacités minimales du modèle est relativement plus facile, mais évaluer sa capacité maximale est beaucoup plus difficile. Donc nous avons investi beaucoup d’efforts de recherche pour répondre à des questions comme : « Est-ce que ce modèle peut accomplir certaines tâches dangereuses ? Est-ce qu’il y a des méthodes que nous n’avons pas encore envisagées, comme des cartes mentales, un best event, ou l’utilisation de certains outils — et est-ce que ces éléments permettraient au modèle d’adopter des comportements très dangereux ? »

Jack Clark :

Dans l’élaboration des politiques, ces outils d’évaluation sont très utiles. Parce que « la sécurité » est un concept extrêmement abstrait. Quand je dis : « Nous avons un outil d’évaluation qui détermine si nous pouvons déployer ce modèle », alors on peut coopérer avec les décideurs politiques, des experts de sécurité nationale, ainsi que des experts dans le domaine CBRN (chimique, biologique, radiologique et nucléaire), pour définir ensemble des critères d’évaluation précis. Sans ces outils concrets, une telle coopération ne serait peut-être même pas possible. Mais une fois que les critères sont clairement définis, les gens sont plus enclins à s’impliquer et à nous aider à garantir leur précision. Donc, sur ce point, le rôle du RSP est très significatif.

Daniela Amodei :

Pour moi aussi, le RSP est très important, et il influence souvent mon travail. Ce qui est intéressant, c’est que je réfléchis au RSP d’une manière un peu particulière : davantage à partir de son “ton”, de sa façon de s’exprimer. Récemment, nous avons beaucoup ajusté le ton du RSP, parce que l’ancien ton était trop technique et même un peu en opposition. J’ai passé beaucoup de temps à réfléchir à comment construire un système dans lequel les gens auront envie de participer.

Si le RSP était un document que tout le monde dans une entreprise peut comprendre facilement, alors ce serait bien mieux. Comme nos OKR (Objectifs et résultats clés). Par exemple : quels sont les objectifs principaux du RSP ? Comment sait-on si on a atteint les objectifs ? Quel est le niveau actuel de sécurité de l’IA (ASL) ? Est-ce que c’est ASL-2 ou ASL-3 ? Si tout le monde sait sur quoi il faut porter attention, alors trouver des problèmes potentiels devient plus facile. En revanche, si le RSP est trop technique et que seuls quelques initiés peuvent le comprendre, son utilité réelle en souffrira énormément.

Je suis heureuse de voir que le RSP évolue vers un format plus facile à comprendre. Aujourd’hui, je pense que la plupart des gens dans l’entreprise — et peut-être même tout le monde, quelle que soit leur fonction — peuvent lire ce document, et se dire : « C’est logique. Je comprends pourquoi on doit développer l’IA avec ces principes ; je comprends aussi pourquoi il faut porter attention à ces questions. Si je rencontre un problème dans mon travail, je sais à peu près sur quoi faire attention. » Nous voulons rendre le RSP suffisamment simple, comme si les gens qui travaillent dans une usine peuvent immédiatement juger : « La ceinture de sécurité devrait être connectée ici, mais maintenant elle n’est pas bien branchée. » De cette manière, on peut repérer le problème assez tôt.

Le point clé consiste à créer un mécanisme de retour (feedback) sain, pour que les dirigeants, le conseil d’administration, les autres départements de l’entreprise et les équipes qui font réellement de la R&D puissent échanger sans friction. Je pense que la plupart des problèmes proviennent souvent d’un manque de communication ou d’une transmission d’informations déviée. Si le problème apparaît uniquement pour ces raisons, ce serait bien dommage, n’est-ce pas ? Au final, ce qu’il faut faire, c’est traduire ces idées concrètement en pratique, et veiller à ce qu’elles soient simples et claires, afin que tout le monde puisse les comprendre.

L’histoire de la création d’Anthropic

Sam McCandlish : En fait, parmi nous, personne n’avait l’intention de fonder une entreprise dès le départ. Nous avons juste estimé que c’était notre responsabilité ; nous devions agir, parce que c’est la seule façon de s’assurer que le développement de l’IA avance dans la bonne direction. Et c’est pour cette raison que nous avons pris cet engagement.

Dario Amodei :

Au départ, mon idée était simple : inventer et explorer des choses nouvelles d’une manière qui soit utile. Cette idée m’a conduit vers le domaine de l’IA. Et la recherche en IA a besoin de beaucoup d’ingénierie ; au final, elle a aussi besoin de beaucoup de financement.

Mais j’ai réalisé qu’en l’absence d’un objectif et d’une planification clairs pour établir l’entreprise et organiser l’environnement, beaucoup de choses peuvent être réalisées, certes — mais elles peuvent aussi se répéter avec les mêmes erreurs du secteur tech, des erreurs qui m’avaient éloigné. Ces erreurs viennent souvent des mêmes personnes, des mêmes attitudes, des mêmes modes de pensée. Donc à un moment donné, j’ai compris qu’il fallait faire les choses d’une manière radicalement nouvelle ; et c’était presque inévitable.

Jared Kaplan :

Tu te rappelles qu’à l’école supérieure, tu avais un plan complet pour explorer comment la recherche scientifique pourrait servir l’intérêt public. Je pense que c’est très similaire à notre façon de penser actuelle. Je me souviens que tu avais un projet appelé “Project Vannevar”, visant précisément à accomplir cela. À l’époque, j’étais professeur ; j’observais la situation et j’étais convaincu que l’impact de l’IA augmentait à une vitesse extrêmement rapide.

Mais à cause des besoins en financement très élevés de la recherche en IA, et parce que j’étais aussi professeur de physique, je me suis rendu compte que je ne pouvais pas pousser ces avancées uniquement avec la recherche académique. Je voulais construire une institution avec des personnes fiables, pour s’assurer que le développement de l’IA avance dans la bonne direction. Mais honnêtement, je n’ai jamais conseillé à quelqu’un de créer une entreprise, et je n’ai jamais eu ce genre de désir. Pour moi, c’était juste un moyen d’atteindre un objectif. Je pense que, généralement, la clé du succès, c’est que tu te soucies vraiment de réaliser un objectif significatif pour le monde, puis que tu trouves le meilleur moyen de parvenir à cet objectif.

Comment bâtir une culture de la confiance

Daniela Amodei : Je réfléchis souvent à nos avantages stratégiques en tant qu’équipe. L’un des facteurs possibles — même si ça peut paraître un peu inattendu — est, et c’est très important : notre niveau élevé de confiance mutuelle. Il est extrêmement difficile de faire partager une mission commune à un grand nombre de personnes. Mais chez Anthropic, nous avons réussi à transmettre ce sentiment de mission à un nombre de personnes toujours plus grand. Dans cette équipe, y compris la direction et tous les membres, chacun se rassemble grâce à cette mission commune. Notre mission est à la fois claire et pure ; dans l’industrie tech, ce genre de situation n’est pas courant.

Je pense que l’objectif que nous essayons de poursuivre a un sens très pur. Nous n’avons commencé par rien d’autre que l’idée que nous devions le faire. Nous ne pouvions pas continuer notre travail à l’endroit précédent : il fallait que nous le fassions nous-mêmes.

Jack Clark :

À cette époque, avec l’arrivée de GPT-3 et avec tous les projets auxquels nous avons été confrontés ou auxquels nous avons participé — comme les scaling laws — on avait déjà clairement vu en 2020 les tendances du développement de l’IA. Nous avons compris que si on ne faisait pas quelque chose rapidement, on arriverait très vite à un point critique irréversible. Nous devions agir pour influencer l’environnement.

Tom Brown :

Je veux prolonger le point de vue de Daniela. Je pense vraiment qu’il existe un niveau élevé de confiance au sein de l’équipe. Chacun comprend que si nous avons rejoint cette équipe, c’est pour contribuer au monde. Nous nous engageons aussi ensemble à donner 80 % de nos revenus à des causes qui feront progresser la société : c’est quelque chose que tout le monde soutient sans hésitation. « Oui, bien sûr, on fera ça. » Cette confiance est très particulière et rare.

Daniela Amodei :

Je pense que le caractère d’Anthropic est assez peu politique. Bien sûr, notre perspective peut être différente de celle du grand public, et je me le rappelle en permanence. Je pense que notre processus de recrutement et les caractéristiques des membres de l’équipe font que notre culture rejette naturellement ce qu’on appelle les “jeux de bureau”.

Dario Amodei :

Et aussi la cohésion de l’équipe : la cohésion de l’équipe est cruciale. Qu’il s’agisse de l’équipe produit, de l’équipe recherche, de l’équipe confiance et sécurité, de l’équipe marketing ou de l’équipe politiques : tout le monde travaille pour atteindre le même objectif de l’entreprise. Quand les différents départements de l’entreprise poursuivent des objectifs complètement différents, cela crée souvent du chaos. Et s’ils estiment que les autres départements sabotent leur travail, c’est encore plus anormal.

Je pense que l’une de nos réalisations les plus importantes, c’est d’avoir réussi à maintenir l’alignement global de l’entreprise. Des mécanismes comme le RSP y ont joué un rôle essentiel. Ce mécanisme fait en sorte que ce ne soit pas certains départements qui créent des problèmes, tandis que d’autres essaient de les réparer ; au contraire, tous les départements remplissent leurs rôles, et coopèrent dans un cadre unifié de théorie du changement (theory of change).

Chris Olah :

J’ai rejoint OpenAI au départ parce que c’était une organisation à but non lucratif, et je pouvais me concentrer sur la recherche en sécurité de l’IA. Mais avec le temps, j’ai progressivement compris que ce modèle ne me convenait pas totalement, et cela m’a aussi forcé à prendre des décisions difficiles. Pendant tout ce processus, j’avais énormément confiance dans le jugement de Dario et de Daniela, mais je ne voulais pas partir. Parce que je pensais que l’ajout de davantage de laboratoires d’IA n’était pas forcément bénéfique pour le monde — ce qui me rendait très hésitant à partir.

Quand nous avons finalement décidé de partir, j’avais encore des réserves sur l’idée de créer une entreprise. J’avais déjà soutenu l’idée qu’on devrait créer une organisation à but non lucratif dédiée à la recherche sur la sécurité. Mais l’attitude pragmatique et la transparence sur les contraintes réelles nous ont fait comprendre que créer Anthropic était la meilleure manière d’atteindre nos objectifs.

Dario Amodei :

L’une des leçons importantes que nous avons apprises au début est : faire moins de promesses et tenir davantage. Rester réaliste et affronter les arbitrages : la confiance et la crédibilité comptent plus que n’importe quelle politique spécifique.

Daniela Amodei :

Une particularité d’Anthropic, c’est la forte confiance et l’unité de l’équipe. Par exemple, quand je vois Mike Krieger s’entêter à ne pas publier certains produits pour des raisons de sécurité, tout en voyant Vinay discuter de la façon d’équilibrer les besoins de l’entreprise pour faire avancer le projet, je trouve ça vraiment spécial. De plus, des ingénieurs de l’équipe technique sécurité et de l’équipe de l’inférence discutent aussi de comment s’assurer que les produits sont à la fois sûrs et utiles. Cette unité d’objectif et cette attitude pragmatique font partie des choses les plus attractives de l’environnement de travail chez Anthropic.

Dario Amodei :

Une culture organisationnelle saine, c’est quand chacun comprend et accepte les arbitrages communs. Le monde dans lequel nous vivons n’est pas parfait ; chaque décision exige de trouver un équilibre entre des intérêts différents, et cet équilibre ne peut souvent pas satisfaire pleinement. Cependant, tant que toute l’équipe peut faire face ensemble à ces arbitrages sous un objectif unifié, et contribuer à l’objectif global depuis leurs postes respectifs, alors cela crée un écosystème sain.

Sam McCandlish :

D’une certaine manière, c’est une compétition “vers le haut”. Oui, c’est bien une compétition “vers le haut”. Ce n’est pas un choix sans risque ; les choses peuvent mal tourner. Mais nous sommes tous d’accord sur ceci : « C’est notre choix. »

Courir vers le sommet de la compétition en IA

Jack Clark : Mais le marché, par nature, est pragmatique. Donc plus Anthropic réussit en tant qu’entreprise, plus les autres ont envie d’imiter les façons qui nous ont permis d’atteindre ce succès. Et lorsque notre succès est étroitement lié à notre travail réel dans la sécurité, ce succès crée dans l’industrie une “attraction” qui pousse aussi d’autres sociétés à rejoindre la compétition. Un peu comme si nous avons développé une ceinture de sécurité : alors d’autres peuvent l’imiter. C’est une dynamique saine.

Dario Amodei :

Mais si tu dis : « Nous ne développerons pas cette technologie, et tu ne pourras pas faire mieux que les autres », alors ça ne marche pas. Parce que tu n’as pas prouvé que la voie du présent vers le futur était réalisable. Le monde a besoin que, que ce soit au niveau de l’industrie ou d’une seule entreprise, on trouve une manière de faire passer la société de « la technologie n’existe pas » à « la technologie existe sous une forme puissante et est gérée efficacement par la société ». Je pense que la seule façon de réaliser cela, c’est d’affronter ces arbitrages au niveau d’une entreprise — voire, finalement, au niveau de toute l’industrie.

Tu dois trouver une méthode qui te permette de rester compétitif, voire de mener dans certains domaines, tout en garantissant la sécurité de la technologie. Si tu parviens à le faire, alors l’attrait pour l’industrie deviendra très fort. Du contexte réglementaire, aux talents excellents qui souhaitent rejoindre des entreprises différentes, jusqu’à la perception des clients : tous ces facteurs pousseront l’industrie dans la même direction. Si tu peux prouver que tu peux réaliser la sécurité sans sacrifier la compétitivité — autrement dit, trouver des solutions gagnant-gagnant — alors d’autres entreprises seront incitées à imiter.

Jared Kaplan :

Je pense que c’est précisément pour cela que des mécanismes comme le RSP sont si importants. On peut voir clairement la direction du progrès technologique, et comprendre qu’il faut rester très vigilant sur certains points. Mais en même temps, nous devons éviter de lancer de fausses alertes de type “au loup !”. On ne peut pas simplement dire : « l’innovation doit s’arrêter ici ». Nous avons besoin de trouver une façon pour que la technologie de l’IA offre aux clients une expérience utile, innovante et agréable, tout en précisant les contraintes que nous devons respecter : ces contraintes doivent garantir la sécurité du système, et en même temps faire croire aux autres entreprises qu’elles peuvent aussi réussir avec la sécurité comme prérequis — et nous concurrencer.

Dario Amodei :

Quelques mois après le lancement du RSP, les trois entreprises d’IA les plus connues ont aussi publié des mécanismes similaires. L’explicabilité est aussi un autre domaine où nous avons franchi une étape. En plus, nous collaborons avec des organismes de recherche en sécurité de l’IA : cette attention globale à la sécurité produit des effets profonds.

Jack Clark :

Oui. Le Frontier Red Team a été imité presque immédiatement par d’autres sociétés. C’est une bonne chose : nous voulons que tous les laboratoires testent les vulnérabilités potentielles à haut risque.

Daniela Amodei :

Jack a aussi déjà mentionné que les clients se soucient beaucoup de la sécurité. Ils ne veulent pas que les modèles produisent de fausses informations, ni qu’ils soient faciles à contourner les limites de sécurité. Ils veulent des modèles utiles et inoffensifs. Dans nos échanges avec les clients, on entend souvent : « On choisit Claude parce qu’on sait qu’il est plus sûr. » Je pense que cela a un impact énorme sur le marché. Nous pouvons fournir des modèles dignes de confiance et fiables, ce qui met aussi une pression commerciale non négligeable sur les concurrents.

Chris Olah :

On peut peut-être développer davantage le point de vue de Dario. Il existe une idée selon laquelle le comportement le plus moral, c’est « l’échec noble ». Autrement dit, tu devrais sacrifier d’autres objectifs pour la sécurité, même en agissant d’une manière irréaliste, pour montrer la pureté de ta passion. Mais je pense que cette façon de faire est en réalité autodestructrice.

D’abord, ce comportement conduit le pouvoir de décision entre les mains de personnes qui ne considèrent pas la sécurité, ou ne la priorisent pas. Ensuite, si au contraire tu t’efforces de trouver une manière d’aligner les incitations, de placer les décisions difficiles dans des endroits où elles sont le plus fortement soutenues par la meilleure preuve, alors tu peux déclencher la “compétition vers le haut” décrite par Dario. Dans cette compétition, ce ne sont pas ceux qui ne s’intéressent pas à la sécurité qui sont marginalisés ; ce sont plutôt d’autres qui sont obligés de suivre votre pas et de rejoindre la compétition.

Regarder vers l’avenir de l’intelligence artificielle

Jack Clark : Alors, pour la suite, qu’est-ce qui vous enthousiasme le plus tous ?

Chris Olah :

Je pense qu’il existe de nombreuses raisons pour être excité par l’explicabilité. Bien sûr, il y a une raison évidente liée à la sécurité. Mais il y a aussi une autre raison : sur le plan émotionnel, je pense que ça m’excite tout autant — ou que ça a une signification particulière — parce que je pense que les réseaux de neurones sont vraiment merveilleux, et qu’il y a beaucoup de “beautés” que nous n’avons pas encore vues. On traite toujours les réseaux de neurones comme une boîte noire, et on ne s’intéresse pas particulièrement à leur structure interne. Mais quand tu commences à les étudier en profondeur, tu découvres que leur intérieur est rempli de structures étonnantes.

C’est un peu comme quand on regarde la biologie. Certains pourraient penser : « L’évolution, c’est ennuyeux ; c’est juste un processus simple, qui a duré très longtemps, puis ça a créé les animaux. » Mais en réalité, chaque animal créé par l’évolution porte des niveaux incroyables de complexité et de structure. Et je pense que l’évolution est un processus d’optimisation, un peu comme entraîner un réseau de neurones. À l’intérieur des réseaux de neurones, il y a aussi toute une structure complexe, qui ressemble à une sorte de “biodémo artificielle”. Si tu es prêt à te plonger dedans, tu découvriras plein de choses étonnantes.

Je pense que nous ne faisons que commencer à lever doucement le voile. C’est tellement incroyable, il y a tellement de choses à découvrir. On vient juste d’ouvrir la porte, et je pense que les découvertes à venir seront vraiment extraordinaires. Parfois, j’imagine qu’on entrera dans une librairie dans dix ans, qu’on y achètera un manuel sur l’explicabilité des réseaux de neurones, ou un livre qui raconte vraiment la “biologie” des réseaux de neurones : et qu’il y aura toutes sortes de contenus stupéfiants. Je crois qu’au cours des dix prochaines années, voire même des prochaines années, nous commencerons à vraiment découvrir ces choses. Ce sera un voyage fou et magnifique.

Jack Clark :

Il y a quelques années, si quelqu’un avait dit : « Le gouvernement va créer de nouvelles institutions pour tester et évaluer les systèmes d’IA, et ces institutions seront très compétentes et auront un vrai rôle », tu n’aurais probablement pas cru que c’était vrai. Et pourtant, ça arrive. On peut dire que le gouvernement a déjà construit un “nouvel ambassade” pour gérer cette nouvelle catégorie technologique. Je suis impatient de voir où ça va mener. Je pense que cela signifie en fait que les États ont la capacité de gérer une transformation sociétale de ce type, et pas seulement de compter sur les entreprises. Je suis heureux de pouvoir y contribuer.

Daniela Amodei :

Je suis déjà enthousiasmée à ce sujet. Mais imaginer simplement ce que l’IA pourrait faire pour l’humanité, c’est difficile de ne pas ressentir de l’excitation. Même maintenant, les signaux indiquant que Claude peut aider à développer des vaccins, mener des recherches sur le cancer et des études en biologie, c’est déjà incroyable. Voir ce que cela permet déjà est stupéfiant. Et quand je me projette sur les trois à cinq prochaines années, imaginer que Claude puisse vraiment résoudre de nombreux problèmes fondamentaux auxquels nous, humains, faisons face — surtout dans le domaine de la santé — ça me rend vraiment excitée. En repensant à mon époque dans le développement international : si Claude avait pu m’aider à accomplir, à ce moment-là, des tâches inefficaces, ce serait incroyable.

Tom Brown :

Du point de vue personnel, j’aime vraiment utiliser Claude dans mon travail. Ces derniers temps, chez moi aussi, j’ai souvent discuté avec Claude. Le changement le plus important, récemment, c’est le code. Il y a six mois, je n’avais encore jamais utilisé Claude pour des tâches de programmation ; et dans notre équipe, on l’utilisait très peu pour écrire du code. Mais maintenant, la situation a beaucoup changé. Par exemple, la semaine dernière, à un événement organisé par Y Combinator, j’ai fait une présentation. Au début, je demandais : « Combien de personnes utilisent Claude pour programmer ? » Et le résultat, c’est que presque 95 % des gens ont levé la main. Presque tout le monde a levé la main ; c’est totalement différent de la situation il y a quatre mois.

Dario Amodei :

Quand je pense à ce qui m’excite, je pense entre autres à un consensus dont je parlais tout à l’heure : là où ce consensus est en train d’être remis en question. L’un des éléments, c’est l’explicabilité. Je pense que l’explicabilité est non seulement un élément clé pour guider et garantir la sécurité des systèmes d’IA ; elle apporte aussi des enseignements profonds sur les problèmes d’optimisation de l’intelligence et sur le fonctionnement du cerveau humain. J’avais déjà dit que Chris Olah obtiendrait un prix Nobel de médecine un jour.

Je le dis parce que j’ai été neuroscientifique. Et pour beaucoup de maladies mentales que nous n’avons pas encore résolues — comme la schizophrénie ou les troubles émotionnels — je soupçonne qu’elles sont liées à des problèmes systémiques de niveau supérieur. Cependant, en raison de la complexité du cerveau humain et du fait qu’on ne peut pas les étudier directement, ces problèmes sont difficiles à comprendre entièrement. Même si les réseaux de neurones ne sont pas une analogie parfaite, ils ne sont pas aussi difficiles à “démêler” et à interagir que le cerveau humain. Avec le temps, les réseaux de neurones deviendront un outil d’analogie encore meilleur.

Un autre domaine connexe, c’est l’utilisation de l’IA en biologie. La biologie est un problème extrêmement complexe ; pour de multiples raisons, les gens y restent sceptiques, mais je pense que ce consensus de scepticisme commence à s’effriter. Nous avons déjà vu des prix Nobel en chimie décernés à AlphaFold : c’est un accomplissement remarquable. Nous devrions nous efforcer de développer des outils qui nous aideront à créer des centaines de “AlphaFold”.

Enfin, le dernier point : utiliser l’IA pour renforcer la démocratie. Nous nous inquiétons du fait que si l’IA est développée de manière incorrecte, elle pourrait devenir un outil au service du despotisme. Alors, comment faire en sorte que l’IA devienne un outil pour promouvoir la liberté et l’autodétermination ? Je pense que ce domaine pourrait progresser un peu plus tôt que les deux premiers, mais son importance n’est pas du tout inférieure.

Jared Kaplan :

Je pense qu’il y a au moins deux choses qui font écho à ce que tu as dit. L’une, c’est : je pense que beaucoup de personnes rejoignent Anthropic parce qu’elles sont extrêmement curieuses de la science de l’IA. Avec l’avancement de la technologie de l’IA, elles se rendent progressivement compte qu’il ne suffit pas de pousser le développement ; il faut aussi mieux comprendre le fonctionnement et s’assurer de la sécurité. Je trouve excitant de pouvoir travailler avec de plus en plus de personnes qui partagent cette vision — celle du développement de l’IA et celle de la responsabilité. Et