Siete cofundadores discuten, ¿cómo nació Anthropic?

«Nadie quiere emprender, pero cree que debe hacerlo.»

Recopilación & compilación: Deep Tide TechFlow

Invitados: Chris Olah, codirector de Anthropic; Jack Clark; Daniela Amodei; Sam McCandlish; Tom Brown; Dario Amodei; Jared Kaplan

Fuente del podcast: Anthropic

Título original: Building Anthropic | A conversation with our co-founders

Fecha de emisión: 20 de diciembre de 2024

Resumen de ideas clave

En el transcurso de la semana pasada, Anthropic sufrió dos accidentes consecutivos:

Primero, casi 3000 documentos internos quedaron accesibles públicamente debido a un error de configuración del CMS; justo después, cuando se publicó Claude Code v2.1.88 en npm, incluía 59,8 MB de source map, y 510.000 líneas de código fuente quedaron expuestas sin protección.

Una empresa que escribe «seguridad» en los genes falla de forma consecutiva en la operación interna, y el sarcasmo llega al máximo.

Pero antes de burlarnos con prisa, conviene escuchar de nuevo la conversación interna entre sus siete cofundadores, celebrada más de un año atrás. Este podcast se grabó en diciembre de 2024; las siete personas hablaron de cómo se construyó esta compañía, de cómo se fue puliendo el RSP (Responsible Scaling Policy, traducción literal: «política de ampliación responsable»), de por qué la palabra «seguridad» no puede usarse a la ligera, y también de la frase del CEO Dario, repetida una y otra vez:

«Si un edificio suena la alarma de incendio todas las semanas, en realidad es un edificio muy inseguro».

Ahora, al volver a escucharla, el sabor sí cambia.

Siete cofundadores, reconocimiento rápido

Dario Amodei｜CEO, ex vicepresidente sénior de investigación en OpenAI, formación en neurociencia, quien da la última aprobación en la ruta estratégica y de seguridad de Anthropic. Es quien más interviene en esta conversación.

Daniela Amodei｜Presidenta, hermana de Dario. Antes trabajó durante cinco años y medio en Stripe, lideró equipos de confianza y seguridad, y trabajó aún antes en ámbitos sin fines de lucro y de desarrollo internacional. La estructura organizativa de Anthropic y la comunicación hacia el exterior, en lo esencial, la lideró ella.

Jared Kaplan｜Profesor de física convertido en investigador de IA; es uno de los autores centrales de los scaling laws. A menudo aporta juicios desde la perspectiva de un observador externo; suele decir que empezó con IA porque «se cansó de hacer física».

Chris Olah｜Una figura representativa de la investigación en interpretabilidad (interpretability), entró en el círculo de IA de la Bahía con 19 años; trabajó sucesivamente en Google Brain y OpenAI. La persona con más idealismo tecnológico dentro de Anthropic.

Tom Brown｜Autor principal del paper de GPT-3; ahora gestiona los recursos de cómputo de Anthropic. Su perspectiva es más de ingeniería e infraestructura; en el podcast habla bastante del proceso en el que pasa de «no creo que la IA vaya a ser tan rápida» a cambiar de opinión.

Jack Clark｜Ex periodista tecnológico de Bloomberg; responsable de políticas y asuntos públicos de Anthropic. En esta conversación actúa como moderador, encadena temas y hace repreguntas.

Sam McCandlish｜Cofundador de investigación; interviene menos en todo el grupo, pero con frecuencia una sola frase da en el punto clave, perteneciendo al rol de «dar el golpe final».

Resumen de ideas destacadas

Por qué hacer IA: de la física aburrida al «ya me cansa, pero ahora sí creo»

Jared Kaplan: «Hice física durante mucho tiempo; un poco aburrido, además quería trabajar con más amigos, así que hice IA».

Dario Amodei: «No creo que te haya convencido de manera explícita; lo único que hice fue mostrarte resultados de modelos de IA. En cierto punto, después de mostrarte suficientes, tú dices: “Ajá, parece que es correcto”».

Apuesta contraria al consenso: la mayoría de los consensos son el efecto de manada disfrazado de madurez

Jared Kaplan: «Muchos investigadores de IA resultan psicológicamente muy heridos por el invierno de la IA; parece que tener ambición no está permitido».

Dario Amodei: «La lección más profunda que aprendí en la última década es esta: muchos “consensos que todo el mundo conoce” en realidad son el efecto de manada disfrazado de madurez. Si has visto varias veces cómo el consenso se revierte en una noche, entonces dirías: “No, apostamos por esto”. Aunque tú solo tengas un 50% de razón, aun así contribuirías con muchas cosas que otros no han aportado».

La seguridad y la escalabilidad van entrelazadas

Dario Amodei: «Una de las motivaciones de expandir el modelo entonces era que el modelo necesitaba primero ser lo suficientemente inteligente para que RLHF pudiera funcionar. Ese es el motivo por el que todavía creemos esto: la seguridad y la escalabilidad van entrelazadas».

El RSP, la política de ampliación responsable es la “constitución” de Anthropic

Tom Brown: «Para Anthropic, el RSP es como nuestra constitución. Es un documento central con valor de guía; por eso estamos dispuestos a invertir mucho tiempo y esfuerzo para pulirlo una y otra vez».

Dario Amodei: «El RSP evita que se sigan adelantando planes que no cumplan estándares de seguridad. No estamos hablando de eslóganes; de verdad integramos la seguridad en cada etapa».

Las alarmas de incendio suenan demasiadas veces; cuando de verdad arde, nadie corre

Daniela Amodei: «No podemos usar la palabra “seguridad” para dirigir el avance del trabajo a capricho. Nuestro objetivo real es que todos tengan claro qué entendemos por seguridad».

Dario Amodei: «Lo que realmente daña la seguridad suelen ser esas “simulaciones de seguridad” frecuentes. Si en un edificio las alarmas de incendio suenan cada semana, entonces en realidad es un edificio muy inseguro».

“Fracaso noble” es una trampa

Chris Olah: «Hay una versión según la cual la conducta más moral es sacrificar otros objetivos por seguridad, para demostrar la pureza de tu compromiso con la causa. Pero esa manera, en realidad, es autodestructiva. Porque hace que el poder de decisión caiga en manos de quienes no valoran la seguridad».

Los cofundadores se comprometen a donar el 80% de los ingresos

Tom Brown: «Nosotros, en conjunto, nos comprometemos a donar el 80% de los ingresos a causas que impulsen el progreso social; es algo que todos apoyan sin dudarlo».

Nadie quiere emprender, pero cree que debe hacerlo

Sam McCandlish: «En realidad, ninguno de nosotros tenía intención de fundar una empresa al principio. Solo sentimos que es nuestra responsabilidad, porque esta es la única manera de asegurar que el desarrollo de la IA avance en la dirección correcta».

Daniela Amodei: «Nuestra misión es clara y pura, y en la industria tecnológica no es algo común».

Interpretabilidad: una especie de “biología artificial” escondida dentro de redes neuronales

Chris Olah: «Las redes neuronales son fascinantes; dentro hay muchas cosas que todavía no hemos visto. A veces me imagino que dentro de diez años entro en una librería y compro un libro de texto sobre biología de redes neuronales, y en ese libro habría todo tipo de contenido asombroso».

La IA para fortalecer la democracia, no para convertirse en una herramienta de dictadura

Dario Amodei: «Nos preocupa que, si la IA se desarrolla de forma incorrecta, pueda convertirse en una herramienta para el autoritarismo. ¿Cómo lograr que la IA sea una herramienta que promueva la libertad y la autodeterminación? La importancia en este ámbito no es menor que la de la biología y la interpretabilidad».

De reuniones en la Casa Blanca a premios Nobel: la influencia de la IA ya supera el ámbito técnico

Jared Kaplan: «En 2018, no te imaginas que un presidente te llamaría a decirle en la Casa Blanca que están prestando atención a los modelos de lenguaje».

Dario Amodei: «Ya hemos visto el premio Nobel en el campo de la química otorgado a AlphaFold. Deberíamos esforzarnos por desarrollar herramientas que nos ayuden a crear cientos de AlphaFolds».

Por qué investigar IA?

Jack Clark: ¿Por qué empezamos a hacer IA? Jared, por qué hiciste IA?

Jared Kaplan:

Hice física durante mucho tiempo; un poco aburrido, además quería trabajar con más amigos, así que hice IA.

Tom Brown:

Pensé que fue Dario quien te convenció.

Dario Amodei:

No creo que te haya convencido de forma explícita; lo único que hice fue mostrarte resultados de modelos de IA, para expresar que son bastante generales y no solo se aplican a un problema específico. En cierto punto, después de mostrarte suficientes, tú dices: “Ajá, parece que es correcto”.

Jack Clark: Chris, cuando hacías investigación en interpretabilidad, ¿los conociste en Google?

Chris Olah:

No. En realidad, cuando vine por primera vez a la Bahía con 19 años, ya conocía a varios de ustedes. Entonces vi a Dario y a Jared: eran posdoctorales, y yo los consideraba especialmente geniales. Más tarde, en Google Brain, cuando Dario se unió, estuvimos sentados lado a lado durante un tiempo; también trabajé con Tom, y después, al ir a OpenAI, trabajamos con todos ustedes.

Jack Clark:

Recuerdo que en 2015, en una conferencia, vi a Dario queriendo entrevistarte; incluso Google PR dijo que primero debía leer tus papers.

Dario Amodei:

En ese momento yo escribía en Google “Concrete Problems in AI Safety”.

Sam McCandlish:

Antes de empezar a trabajar contigo, me invitaste a hablar en la oficina, como si nos explicaras la IA en general. Recuerdo que después de hablar pensé: “Vaya, esto es mucho más serio de lo que yo me imaginaba”. Entonces mencionaste “grandes bloques de cómputo”, el número de parámetros, y la escala de neuronas del cerebro humano.

Expansión innovadora

Jack Clark: Recuerdo que en OpenAI, cuando hacían scaling laws y empezaron a hacer crecer el modelo, funcionó realmente, y en muchos proyectos siguió funcionando de forma sostenida y extraña: de GPT-2 a scaling laws a GPT-3, y así fuimos acercándonos cada vez más.

Dario Amodei: Somos esa gente: los que convierten las cosas en realidad.

Jared Kaplan: También todos estábamos emocionados con la seguridad; en ese entonces había una idea: la IA será muy poderosa, pero quizá no entienda los valores humanos e incluso podría no ser capaz de comunicarse con nosotros. En cierto grado, los modelos de lenguaje pueden garantizar que entiendan muchos conocimientos implícitos.

Dario Amodei:

Además de RLHF por encima de los modelos de lenguaje. Una de las motivaciones de ampliar el modelo entonces era que el modelo tenía que ser lo suficientemente inteligente primero para que RLHF pudiera funcionar. Esa es todavía la razón por la que seguimos creyendo esto: seguridad y escalabilidad van entrelazadas.

Chris Olah:

Sí. En ese entonces, el trabajo de scaling era también parte del equipo de seguridad. Porque creemos que para que la gente se tome en serio la seguridad, primero tiene que poder predecir las tendencias de la IA.

Jack Clark:

Recuerdo que estaba en un aeropuerto en el Reino Unido. Tomé muestras de GPT-2 para crear noticias falsas, y luego lo envié a Dario por Slack diciendo: “Esto funciona; puede tener un impacto enorme en políticas”. Recuerdo que la respuesta de Dario fue: “Sí”.

Después también hicimos un montón de trabajo relacionado con despliegues, y eso fue una locura.

Daniela Amodei:

Recuerdo ese momento del lanzamiento; fue la primera vez que empezamos a colaborar de verdad. GPT-2 se lanzó en ese entonces.

Jack Clark:

Creo que eso nos ayudó muchísimo. Primero hicimos algo juntos, “un poco raro pero orientado a la seguridad”, y luego hicimos Anthropic juntos, otro proyecto a escala mayor, también “un poco raro pero orientado a la seguridad”.

La etapa inicial de la IA

Tom Brown: Volvamos a ese artículo, “Concrete Problems”. Entré a OpenAI en 2016; en ese momento tú y yo éramos de los primeros en ese grupo. Yo sentí que ese paper era como el primer paper principal sobre seguridad de IA. ¿De dónde salió? ¿Cómo surgió?

Dario Amodei:

Chris ya lo sabía; él participó. En ese momento, en Google, ni siquiera recuerdo cuál era mi proyecto principal; fue algo como una procrastinación.

Queríamos dejar por escrito cuáles eran los problemas abiertos en seguridad de IA. En aquel entonces, la seguridad de IA se discutía siempre de manera muy abstracta; queríamos aterrizarlo en el ML real de ese momento. Ahora ya llevamos trabajando en esta línea seis o siete años, pero entonces era una idea extraña.

Chris Olah:

Creo que, en cierto sentido, era casi un proyecto político. En aquel entonces, mucha gente no se tomaba la seguridad en serio. Nosotros queríamos reunir una lista de problemas que todos consideraran razonables; muchos de esos problemas ya existían en la literatura. Luego buscamos personas con credibilidad entre distintas instituciones para firmar juntos.

Recuerdo que me tomó muchísimo tiempo comunicarme con más de veinte investigadores en Brain, para conseguir apoyo para publicarlo. Si miras solo el tema de los problemas, hoy al mirar hacia atrás no necesariamente todos siguen siendo válidos; puede que no fueran los problemas más acertados. Pero si lo miras como construcción de consenso: demostrar “aquí hay problemas reales y vale la pena tratarlos en serio”, entonces fue un momento importante.

Jack Clark:

Al final, entras en un mundo de ciencia ficción bastante peculiar. Recuerdo que al inicio Anthropic hablaba de Constitutional AI; Jared dijo: “Le escribimos una constitución a los modelos de lenguaje y entonces se comportan así”. Sonaba como una locura. ¿Por qué creyeron que era posible?

Jared Kaplan:

Hablé con Dario durante mucho tiempo y sentí que en la IA, métodos simples muchas veces funcionan extremadamente bien. La versión más temprana era bastante compleja; luego se fue recortando de manera continua. Al final quedó algo como: aprovechando que el modelo es bueno respondiendo preguntas tipo test, le das indicaciones explícitas sobre qué necesita buscar; y eso basta. Entonces podemos escribir los principios directamente.

Dario Amodei:

Esto vuelve a “The Big Blob of Compute” (El gran bloque de cómputo) y “The Bitter Lesson” (La lección amarga), y también a la “Scaling Hypothesis” (Hipótesis de escalabilidad). Mientras puedas darle a la IA un objetivo y datos claros, puede aprender. Un conjunto de instrucciones, un conjunto de principios: el modelo los puede leer y también puede compararlos con su propio comportamiento. Entonces el objetivo de entrenamiento queda ahí. Así que la visión de Dario y la mía es: hay una forma de hacerlo; solo hace falta repetir los detalles una y otra vez hasta que encajen.

Jared Kaplan:

Para mí, al inicio fue algo bastante raro. Vengo de física; ahora todos están emocionados por la IA y es fácil olvidar cómo era el ambiente. Entonces, al hablar con Dario, sentí que muchos investigadores de IA estaban psicológicamente muy heridos por el invierno de la IA: como si “tener ambición” no estuviera permitido. Discutir seguridad requería primero creer que la IA podría ser muy fuerte y muy útil; pero en ese momento había una especie de prohibición anti-ambición. Una ventaja de los físicos es esa “arrogancia”; suelen hacer cosas muy ambiciosas y están acostumbrados a hablar de grandes panoramas.

Dario Amodei:

Creo que eso es real. En 2014, muchas cosas eran “no se puede decir”. También es algo parecido a un problema general en el ámbito académico: fuera de algunas áreas, las instituciones se volvieron cada vez más reacias al riesgo. La IA industrial heredó esa mentalidad; yo creo que recién alrededor de 2022 empezamos a salir de eso.

Chris Olah:

También había dos formas de “conservadurismo”: una era tomarse en serio los riesgos; la otra era tratar como arrogancia el hecho de tomarse en serio los riesgos y además creer que una idea puede tener éxito. En aquel entonces, nosotros estábamos dominados por la segunda. Históricamente, en las discusiones de física nuclear de 1939 también pasó algo parecido: Fermi era reticente; Szilard o Teller se tomaban más en serio el riesgo.

Dario Amodei:

Mi lección más profunda de la última década es: muchos “consensos que todo el mundo conoce” en realidad son el efecto de manada disfrazado de madurez. Has visto cuántas veces se revierte un consenso de la noche a la mañana y entonces dices: “No, apostamos por esto”. Puede que no siempre sea correcto, pero ignoras el ruido y haces la apuesta. Aunque solo tengas 50% de razón, aportarías muchas cosas que otros no aportan.

Cambio de actitud del público hacia la IA

Jared Kaplan: Hoy, también pasa algo así en algunos temas de seguridad: el consenso externo cree que muchos problemas de seguridad “no crecen desde la tecnología”; pero en Anthropic, al hacer investigación, vimos que sí surgen de forma natural.

Daniela Amodei:

Pero en los últimos 18 meses esto está cambiando, y también la emoción del mundo respecto a la IA ha cambiado de manera evidente. Cuando hacemos investigación con usuarios, escuchamos con más frecuencia que los usuarios comunes se preocupan por el impacto general de la IA en el mundo.

A veces es por el trabajo, los sesgos, la toxicidad; a veces es “¿podría arruinar el mundo, o cambiar la forma en que los humanos colaboran?”. Y en realidad, yo no lo había anticipado del todo.

am McCandlish:

Por alguna razón, en el círculo de investigación de ML suele haber más pesimismo que en el público respecto a que “la IA se va a volver demasiado fuerte”.

Jared Kaplan:

En 2023, fui con Dario a la Casa Blanca. En la reunión, Harris y Raimondo, básicamente, querían decir: “Estamos pendientes de ustedes. La IA es un gran asunto; lo estamos tomando en serio. Pero en 2018, no te habrías imaginado que el presidente te llamaría a la Casa Blanca para decir que están prestando atención a los modelos de lenguaje”.

Tom Brown:

Lo interesante es que mucha gente de nosotros se adelantó cuando todavía no estaba claro si esto iba a pasar. Algo como Fermi frente a la bomba atómica: tenía escepticismo. Había algo de evidencia de que la bomba atómica podría fabricarse, pero también había mucha evidencia de que no. Y aun así, al final decidió intentarlo. Porque si fuera real, el impacto sería enorme, así que valía la pena.

Entre 2015 y 2017 había algunas evidencias, y cada vez más, de que la IA podría ser un gran asunto. En 2016 hablé con mi tutor: había hecho emprendimiento y quería hacer seguridad de IA, pero no tenía suficiente fuerza matemática y no sabía qué hacer. En ese momento algunos decían que tenías que dominar la teoría de la decisión; otros decían que no aparecerían eventos locos de IA, y que realmente había muy poca gente que lo apoyara.

Jack Clark:

En 2014, mi cobertura de tendencias en ImageNet me hizo parecer loco. En 2015, cuando quise escribir sobre NVIDIA porque sus papers mencionaban GPUs, también me dijeron que estaba loco. En 2016 me fui de las noticias a la IA, y hubo correos que decían: “Cometiste el error más grande de tu vida”. Desde muchos ángulos, tomarse en serio apostar a que “escalará” parecía de locos.

Jared Kaplan: ¿Cómo decidiste? ¿Te costó? ¿Dudaste?

Jack Clark:

Hice una apuesta a la inversa: exigí que me contrataran como reportero de IA a tiempo completo y que me duplicaran el salario; sabía que no aceptarían. Luego me fui a dormir y al despertar renuncié. Porque yo pasaba todos los días leyendo archivos y documentos; siempre sentía que se estaba produciendo algo demente, y que en algún momento tenías que apostar con alta convicción.

Tom Brown:

Yo no fui tan tajante. Me tomó seis meses de indecisión.

Daniela Amodei:

Además, en ese momento no era algo común que los ingenieros pudieran impulsar la IA de forma significativa. Entonces era como: “solo los investigadores pueden hacer IA”. Por eso, tu duda no es sorprendente.

Tom Brown:

Más tarde, OpenAI dijo: “Puedes ayudar a la seguridad de la IA a través de la ingeniería”. Eso es lo que me hizo unirme. Daniela, tú estabas en OpenAI y yo era tu gerente. ¿Por qué te uniste?

Daniela Amodei:

Estuve en Stripe cinco años y medio. Greg había sido mi jefe. También presenté a Greg y a Dario para que se conocieran. En ese momento él estaba creando OpenAI, y yo le dije: “La persona más inteligente que conozco es Dario. Si puedes hacer que se una al equipo, entonces será tu suerte”. Más tarde, Dario se unió a OpenAI.

Quizá como tú, yo también estaba pensando qué hacer después de dejar Stripe, después de pensarlo. Me uní a Stripe porque antes, cuando trabajaba en organizaciones sin fines de lucro y en desarrollo internacional, sentía que necesitaba más habilidades; en ese momento, incluso creía que al final volvería a ese campo.

Antes de unirme a Stripe, sentía que no tenía suficiente capacidad para ayudar a las personas que estaban en peores condiciones que yo. Así que estaba prestando atención a otras compañías tecnológicas, buscando una nueva forma de generar un impacto mayor. Y en ese momento, OpenAI me pareció una muy buena opción. Era una organización sin fines de lucro, enfocada en lograr un objetivo muy importante y de gran significado.

Siempre creí en el potencial de la IA. Además, conocía algo a Dario y ellos realmente necesitaban a alguien que ayudara a gestionar, así que pensé que este trabajo encajaba muy bien con mi experiencia. Entonces pensé: “Es una organización sin fines de lucro; aquí hay un grupo de personas muy excelentes, con visiones maravillosas, pero su funcionamiento parece un poco desordenado”. Y justo por ese desafío me emocioné, porque podía incorporarme ahí.

En aquel momento me sentía como una jugadora todoterreno: no solo gestionaba miembros del equipo, sino que también lideraba algunos equipos técnicos; y además gestionaba la ampliación de la organización. Yo llevaba el trabajo de ampliación de la organización y también trabajé en el equipo de lenguaje; más tarde asumí algunas otras tareas. También participé en algunos asuntos de políticas, y trabajé con Chris. Me pareció que había mucho talento excelente en la empresa, y eso me motivó especialmente a unirme, ayudar a que la compañía fuera más eficiente y más ordenada.

Jack Clark: Recuerdo que después de hacer GPT-3 dijiste: “¿Han oído hablar de trust and safety?”

Daniela Amodei:

Yo antes lideré un equipo de trust and safety en Stripe. Para una tecnología como esta, ustedes quizá necesiten considerar esa parte. Esto es, en esencia, un puente entre la investigación de seguridad en IA (AI Safety Research) y el trabajo diario más práctico, o sea, cómo lograr que el modelo sea realmente seguro.

Plantear la idea de que esta tecnología tendrá un impacto significativo en el futuro es muy importante. Al mismo tiempo, también necesitamos hacer en el día a día un trabajo más práctico, sentando las bases para escenarios de riesgo más alto en el futuro.

Política de ampliación responsable: garantizar un desarrollo seguro de la IA

Jack Clark: Esto conecta perfectamente con cómo se propuso la estrategia de ampliación responsable (RSP, Responsible Scaling Policy), por qué lo pensamos, y cómo la aplicamos ahora. Especialmente teniendo en cuenta el trabajo que estamos haciendo actualmente en confianza y seguridad de modelos. Entonces, ¿quién propuso primero este RSP (política de ampliación responsable)?

Dario Amodei:

Al principio lo propusimos yo y Paul Christiano; el momento fue aproximadamente a finales de 2022. La idea inicial era: ¿deberíamos limitar temporalmente la ampliación del modelo a cierta escala específica hasta que encontremos una forma de resolver algunos problemas de seguridad?

Pero después pensamos que, si solo limitas en un punto y luego vuelves a liberar la limitación, eso sería algo raro. Así que decidimos establecer una serie de umbrales: cada vez que el modelo alcance un umbral, se deben realizar una serie de pruebas para evaluar si el modelo tiene las capacidades de seguridad correspondientes.

Cada vez que se alcanza un umbral, debemos aplicar medidas de seguridad y protección más estrictas. Sin embargo, al principio teníamos una idea: quizá sea mejor si esto lo hace un tercero. Es decir, esa estrategia no debería ser responsabilidad exclusiva de una sola compañía; de lo contrario, otras compañías quizá no estarían dispuestas a adoptar esa estrategia. Por eso Paul diseñó personalmente este esquema. Por supuesto, con el tiempo, muchos detalles también cambiaron. Y en nuestro equipo seguimos investigando cómo lograr que esta estrategia funcionara mejor.

Cuando Paul organizó y dio forma a este concepto, casi al mismo tiempo que lo anunciaba, nosotros también lanzamos nuestra propia versión en uno o dos meses. En realidad, muchos de los miembros de nuestro equipo participaron en profundidad en ese proceso. Recuerdo que al menos escribí uno de los primeros borradores, pero todo el documento pasó por múltiples revisiones.

Tom Brown:

Para Anthropic, el RSP es como nuestra “constitución”. Es un documento central con valor de guía; por eso estamos dispuestos a invertir mucho tiempo y esfuerzo para pulirlo una y otra vez, y asegurarnos de que sea correcto y completo.

Daniela Amodei:

Me parece muy interesante el proceso por el que el RSP se fue desarrollando en Anthropic. Pasó por múltiples etapas y, además, se necesitan diferentes habilidades para implementarlo. Por ejemplo, hay algunas ideas grandiosas; esa parte la llevan Dario, Paul, Sam, Jared, etc., y cuando piensan: “¿Cuáles son nuestros principios centrales? ¿Qué información queremos transmitir? ¿Cómo determinamos que nuestra dirección es correcta?”.

Pero además de eso, hay trabajo muy práctico a nivel de operaciones: mientras iteramos, evaluamos y ajustamos detalles. Por ejemplo, a veces esperábamos alcanzar ciertas metas bajo un cierto nivel de seguridad; si no se lograban, volvíamos a evaluar y asegurábamos que pudiéramos responsabilizarnos de los resultados de nuestro trabajo.

Además, hay muchos cambios relacionados con la estructura organizativa. Por ejemplo, decidimos rediseñar la estructura organizativa del RSP para dividir responsabilidades de forma más clara. Me gusta mucho usar la analogía de la constitución para entender la importancia de este documento. Al igual que en Estados Unidos, para asegurar la aplicación de la constitución, se construye todo un conjunto de instituciones y mecanismos: tribunales, Corte Suprema, presidente, y el Senado y la Cámara de Representantes. Aunque esas instituciones también cumplen otras tareas, en gran medida existen para mantener la constitución. Y el RSP de Anthropic está pasando por un proceso similar.

Sam McCandlish:

Creo que esto refleja una visión central sobre la seguridad: los problemas de seguridad se pueden resolver. Es una tarea muy compleja y ardua, que exige mucha inversión de tiempo y esfuerzo.

Como en el campo de la seguridad automovilística: las instituciones y sistemas relacionados se construyeron durante años. Pero el problema que enfrentamos ahora es: ¿tenemos suficiente tiempo para hacer todo esto? Por lo tanto, debemos identificar lo antes posible los sistemas clave que requiere la seguridad de la IA, establecerlos primero aquí, y al mismo tiempo asegurarnos de que puedan servir como referencia para otros lugares y se puedan adoptar.

Dario Amodei:

Esto también ayuda a la coordinación y la unidad interna: si cualquier parte de la organización actúa de manera que no se alinee con nuestros valores de seguridad, el RSP hará que el problema salga a la luz de alguna forma, ¿cierto? El RSP impedirá que sigan adelante planes que no cumplan estándares de seguridad. Por eso también se convierte en una herramienta constante de recordatorio para que todos aseguren que la seguridad sea un requisito básico en el proceso de desarrollo y planificación del producto. No es que estemos hablando de eslóganes; realmente incorporamos la seguridad en cada eslabón. Si alguien se une al equipo y no puede adoptar estos principios, descubrirá que no puede encajar. O se ajusta a esta dirección, o encontrará difícil continuar.

Jack Clark:

Con el tiempo, el RSP se ha vuelto cada vez más importante. Hemos invertido miles de horas en él. Y cuando se lo explico a los senadores, les digo: “Creamos medidas para asegurarnos de que nuestra tecnología no sea fácil de abusar y, al mismo tiempo, que sea segura”. Su reacción suele ser: “Esto suena bastante normal. ¿No hace cada empresa algo así?”. Me hizo reír un poco y a la vez me dejó pensando; en realidad, no es que todas las compañías lo hagan.

Daniela Amodei:

Además, creo que el RSP mejora la transparencia de la compañía además de impulsar que los equipos se alineen en valores. Porque registra con claridad cuáles son nuestros objetivos. Así, dentro de la empresa, todos pueden entenderlo; y fuera, las personas externas también pueden saber con claridad cuáles son nuestros objetivos y dirección en materia de seguridad. Aunque aún no sea perfecto, lo seguimos optimizando y mejorando.

Creo que indicar con claridad “cuál es el problema central en el que nos enfocamos” es esencial. No podemos usar “seguridad” para dirigir el progreso del trabajo a capricho, por ejemplo decir: “por problemas de seguridad no podemos hacer algo” o “por problemas de seguridad tenemos que hacer algo”. Nuestro objetivo real es que todos tengan claro qué es exactamente la seguridad a la que nos referimos.

Dario Amodei:

A largo plazo, lo que realmente daña la seguridad suelen ser esas “simulaciones de seguridad” frecuentes. Yo solía decir: “Si hay un edificio donde cada semana suenan las alarmas de incendio, en realidad es un edificio muy inseguro”. Porque cuando ocurra un incendio real, quizá nadie le preste atención. Por eso tenemos que estar muy seguros sobre la precisión y calibración de las alarmas.

Chris Olah:

Si lo miramos desde otro ángulo, creo que el RSP crea mecanismos de incentivos saludables en muchos niveles. Por ejemplo, dentro de la empresa, el RSP alinea los incentivos de cada equipo con los objetivos de seguridad; eso significa que si no logramos suficiente progreso en seguridad, los trabajos correspondientes se detendrán.

Y por fuera, el RSP también genera incentivos saludables mejor que otros métodos. Por ejemplo, si algún día tenemos que tomar acciones significativas, como admitir: “nuestros modelos han avanzado hasta cierto punto, pero aún no podemos garantizar su seguridad”, entonces el RSP proporciona un marco claro y evidencia para sostener esa decisión. Ese marco ya existe de antemano, y es claro y fácil de entender. Al recordar las discusiones sobre las versiones tempranas del RSP, no era plenamente consciente de su potencial, pero ahora creo que es realmente más efectivo que otros métodos que podía imaginar.

Jared Kaplan:

Estoy de acuerdo con estas opiniones, pero pienso que podría subestimarse lo difícil que es elaborar políticas correctas, definir criterios y trazar límites. Ya hemos iterado mucho en estas áreas y seguimos optimizando. Un problema difícil es que, con algunas tecnologías emergentes, a veces es difícil definir con claridad si son peligrosas o seguras. Muchas veces nos encontramos con una enorme zona gris. Estos retos me emocionaron muchísimo al inicio del desarrollo del RSP; todavía hoy sigo emocionado. Pero al mismo tiempo, soy consciente de que implementar esta estrategia de manera clara y hacer que funcione realmente es más complejo y desafiante de lo que imaginé al principio.

Sam McCandlish:

Las zonas grises no se pueden predecir completamente, porque están en todas partes. Solo cuando realmente empezas a implementarlas puedes ver dónde están los problemas. Por eso nuestro objetivo es implementar todo lo antes posible, para detectar los posibles problemas cuanto antes.

Dario Amodei:

Tienes que iterar tres o cuatro veces para realmente lograr que sea perfecto. La iteración es una herramienta muy poderosa; es casi imposible acertar completamente a la primera. Y si el riesgo está aumentando, necesitas terminar esas iteraciones cuanto antes, en lugar de esperar hasta el final.

Jack Clark:

Al mismo tiempo, también necesitas establecer instituciones y procesos internos. Aunque los detalles específicos puedan cambiar con el tiempo, lo más importante es cultivar la capacidad de ejecución del equipo.

Tom Brown:

Yo me encargo de la gestión de recursos de cómputo en Anthropic. Para mí, necesitamos comunicarnos con partes interesadas externas. Personas externas distintas tienen opiniones diferentes sobre la velocidad del desarrollo tecnológico. Al principio yo también pensaba que la tecnología no se desarrollaría tan rápido; pero luego cambié de opinión y ahora lo entiendo perfectamente. Creo que el RSP me resulta especialmente útil, sobre todo al hablar con personas que creen que el desarrollo tecnológico será relativamente lento. Podemos decirles: “Antes de que la tecnología llegue a una urgencia extrema, no necesitamos tomar medidas de seguridad extremas”. Si dicen: “Creo que las cosas no se volverán urgentes durante mucho tiempo”, entonces puedo responder: “Está bien, entonces no necesitamos tomar medidas extremas de seguridad por ahora”. Esto hace que la comunicación con el mundo exterior sea más fluida.

Jack Clark:

Entonces, ¿de qué otras maneras ha influido el RSP en todos?

Sam McCandlish:

Todo gira en torno a la evaluación. Cada equipo realiza evaluaciones. Por ejemplo, tu equipo de entrenamiento siempre está haciendo evaluaciones; intentamos determinar si el modelo ya se ha vuelto lo suficientemente fuerte como para potencialmente causar peligro.

Daniela Amodei:

Esto significa que necesitamos medir el rendimiento del modelo de acuerdo con los estándares del RSP, incluyendo revisar si hay señales que puedan generar preocupación.

Sam McCandlish:

La evaluación del rendimiento mínimo del modelo es relativamente fácil, pero evaluar su capacidad máxima es mucho más difícil. Por eso invertimos mucho esfuerzo de investigación para intentar responder preguntas como: “¿Puede este modelo ejecutar algunas tareas peligrosas? ¿Existen métodos que aún no habíamos considerado, como mapas mentales, el best event (evento óptimo) o el uso de ciertas herramientas, que permitirían que el modelo ejecute comportamientos extremadamente peligrosos?”

Jack Clark:

Estas herramientas de evaluación son muy útiles en el proceso de formulación de políticas. Porque “seguridad” es un concepto muy abstracto. Cuando digo: “Tenemos una herramienta de evaluación que determina si podemos desplegar este modelo”, entonces podemos colaborar con responsables de políticas, expertos de seguridad nacional y expertos del ámbito CBRN (química, biología, radiología y nuclear) para establecer criterios de evaluación precisos. Si no existieran estas herramientas concretas, esta colaboración podría no llegar a ocurrir. Pero una vez que hay criterios claros, la gente está más dispuesta a participar para ayudarnos a garantizar su precisión. Por eso, en este aspecto, el RSP tiene un impacto muy notable.

Daniela Amodei:

El RSP también es muy importante para mí y afecta a mi trabajo con frecuencia. Me parece interesante que yo piense el RSP de un modo un poco distinto; más desde su “tono”, o sea, la manera en que lo expresa. Recientemente cambiamos mucho el tono del RSP, porque antes era demasiado técnico, e incluso se sentía algo confrontacional. Me tomó mucho tiempo pensar cómo construir un sistema que la gente quisiera asumir como propio.

Si el RSP fuera un documento que todos en una empresa pudieran entender fácilmente, sería aún mejor. Sería similar a nuestros OKR (objetivos y resultados clave). Por ejemplo: ¿cuál es el objetivo principal del RSP? ¿Cómo sabemos si alcanzamos las metas? ¿Cuál es el nivel actual de seguridad de la IA (ASL)? ¿ASL-2 o ASL-3? Si todos saben en qué puntos centrarse, detectar problemas potenciales será mucho más fácil. En cambio, si el RSP es demasiado técnico y solo unos pocos pueden entenderlo, su utilidad real se vería muy reducida.

Me alegra ver que el RSP está avanzando hacia una dirección más fácil de comprender. Ahora, creo que la mayoría de las personas en la compañía, incluso quizás todas, independientemente de su cargo, pueden leer este documento y pensar: “Esto tiene sentido. Quiero desarrollar IA bajo la guía de estos principios, y también entiendo por qué hay que prestar atención a estos temas. Si me encuentro con problemas en el trabajo, más o menos sé en qué deberé fijarme”. Queremos que el RSP sea lo bastante simple como para que alguien que trabaja en una fábrica pueda juzgar fácilmente: “El cinturón de seguridad debería estar conectado aquí, pero ahora no está bien conectado”. Así, puede detectar el problema a tiempo.

La clave está en establecer un mecanismo de retroalimentación saludable que permita una comunicación fluida entre la dirección, la junta directiva, otras áreas de la empresa y los equipos que realmente hacen I+D. Yo creo que la mayoría de los problemas surgen por mala comunicación o por desviaciones en la transmisión de información. Si los problemas solo aparecen por estas razones, sería una pena, ¿verdad? Al final, lo que necesitamos es convertir estas ideas en acción de manera concreta y asegurar que sean sencillas y claras, para que todo el mundo pueda entenderlas.

Historia de la creación de Anthropic

Sam McCandlish: En realidad, ninguno de nosotros tenía intención de fundar una empresa al principio. Solo sentimos que era nuestra responsabilidad, y que teníamos que actuar, porque era la única forma de asegurar que el desarrollo de la IA avanzara en la dirección correcta. Y por eso hicimos ese compromiso.

Dario Amodei:

Mi idea inicial era sencilla: quería inventar y explorar cosas nuevas de una manera beneficiosa. Esa idea me llevó al campo de la IA. Pero la investigación en IA necesita mucho soporte de ingeniería, y al final también necesita bastante financiación.

Sin embargo, descubrí que si no tienes un objetivo y una planificación claros para fundar la empresa y gestionar el entorno, muchas cosas podrían completarse, pero se repetirían errores que a mí me distancian de la industria tecnológica. Estos errores suelen surgir de las mismas personas, el mismo tipo de actitud y el mismo patrón de pensamiento. Así que en algún momento entendí que teníamos que hacer esto de una manera completamente nueva; era casi inevitable.

Jared Kaplan:

¿Recuerdas que cuando éramos estudiantes de posgrado, tenías un plan completo para explorar cómo la investigación científica podía promover el bien público? Yo siento que eso se parece mucho a cómo pensamos ahora. Recuerdo que entonces tenías un proyecto llamado “Project Vannevar”, cuyo objetivo era lograr eso. En ese momento yo era profesor. Observé la situación y creía firmemente que la influencia de la IA estaba creciendo a un ritmo extremadamente rápido.

Sin embargo, debido a que la investigación en IA demanda mucho capital, y además siendo yo profesor de física, me di cuenta de que no podía impulsar esos avances solo desde el ámbito académico. Quería poder crear una institución con personas en las que confiara, asegurando que el desarrollo de la IA avanzara en la dirección correcta. Pero, sinceramente, nunca sugeriría a alguien que fundara una empresa, y nunca había tenido ese deseo. Para mí era solo un medio para lograr un objetivo. Creo que normalmente, la clave del éxito está en que realmente te importe lograr un objetivo significativo para el mundo, y luego encuentres el mejor medio para hacerlo realidad.

Cómo construir una cultura de confianza

Daniela Amodei: Pienso a menudo en las ventajas estratégicas de nuestro equipo. Y uno de los factores, que puede sonar inesperado pero es muy importante, es la alta confianza entre nosotros. Es muy difícil conseguir que un gran grupo de personas tenga una misión compartida. Pero en Anthropic logramos transmitir esa sensación de misión a cada vez más personas. En este equipo, incluyendo el liderazgo y todos los miembros, todos se reúnen por la misión compartida. Nuestra misión es clara y pura; y esto no es común en la industria tecnológica.

Creo que el objetivo que estamos intentando lograr tiene un significado muy puro. Nadie empezó por querer fundar una empresa. Solo sentimos que era necesario hacerlo. No podíamos seguir trabajando en el lugar original; teníamos que hacerlo por nuestra cuenta.

Jack Clark:

En ese entonces, con la aparición de GPT-3, y con todos nosotros tocando o participando en proyectos como scaling laws, ya en 2020 era claro que veíamos tendencias en el desarrollo de la IA. Entendimos que si no actuábamos cuanto antes, podríamos llegar pronto a un punto de no retorno. Teníamos que actuar para poder influir en este entorno.

Tom Brown:

Quiero continuar con la idea de Daniela: creo que dentro del equipo existe una alta confianza. Todos sabemos que nos unimos a este equipo porque queremos contribuir al mundo. También compartimos el compromiso de donar el 80% de los ingresos a causas que impulsen el progreso social. Es algo que todos apoyan sin dudar: «Sí, por supuesto que lo haremos». Esta confianza es muy especial y rara.

Daniela Amodei:

Creo que Anthropic es una empresa con un tono político muy tenue. Por supuesto, nuestra perspectiva puede diferir de la del público general, y siempre me lo recuerdo. Pienso que el proceso de contratación y las características de los miembros del equipo hacen que la cultura de aquí tenga una especie de rechazo natural hacia la “política de oficina”.

Dario Amodei:

Además, la cohesión del equipo es crucial. La cohesión del equipo es vital. Ya sea el equipo de producto, el equipo de investigación, el equipo de confianza y seguridad, el equipo de marketing o el equipo de políticas, todos trabajamos para lograr el mismo objetivo de la compañía. Cuando distintas áreas dentro de la empresa persiguen objetivos completamente diferentes, eso suele causar caos. Y si además piensan que otras áreas están saboteando su trabajo, eso sería todavía menos normal.

Yo creo que uno de nuestros logros más importantes ha sido mantener con éxito la consistencia general de la empresa. Mecanismos como el RSP desempeñaron un papel muy importante. Este mecanismo asegura que no sea que algunas áreas generan problemas y otras intentan repararlos, sino que todas las áreas cumplen sus funciones y trabajan en conjunto bajo un marco unificado de teoría del cambio (theory of change).

Chris Olah:

Me uní inicialmente a OpenAI porque era una organización sin fines de lucro y podía enfocarme en la investigación de seguridad de IA. Pero con el tiempo empecé a notar que ese modelo no encajaba del todo conmigo, y eso también me obligó a tomar decisiones difíciles. En ese proceso, confío mucho en el criterio de Dario y Daniela, pero yo no quería irme. Porque pensé que agregar más laboratorios de IA quizá no fuera necesariamente bueno para el mundo; por eso me resistía a abandonar.

Cuando finalmente decidimos irnos, seguía con reservas sobre fundar una empresa. Antes había defendido que deberíamos crear una organización sin fines de lucro enfocada en investigación sobre seguridad. Pero la actitud pragmática y la honestidad sobre las limitaciones del mundo real nos hicieron comprender que crear Anthropic era la mejor manera de lograr nuestros objetivos.

Dario Amodei:

Una de las lecciones importantes que aprendimos al inicio fue: menos compromisos, más cumplimiento. Ser realistas, enfrentar los compromisos y equilibrar los sacrificios cara a cara, porque la confianza y la reputación importan más que cualquier política específica.

Daniela Amodei:

Una característica distintiva de Anthropic es la alta confianza y la unidad del equipo. Por ejemplo, cuando veo a Mike Krieger insistir en no publicar ciertos productos por razones de seguridad, y al mismo tiempo veo a Vinay discutiendo cómo equilibrar las necesidades del negocio para impulsar la finalización de los proyectos, me resulta muy especial. Además, ingenieros del equipo de seguridad técnica y del equipo de razonamiento también discuten cómo asegurar que el producto sea tanto seguro como útil. Ese objetivo compartido y la actitud pragmática son, entre las cosas más atractivas del ambiente de trabajo en Anthropic.

Dario Amodei:

Una cultura organizacional saludable consiste en que cada persona pueda entender y aceptar los compromisos que todos enfrentan. El mundo en el que vivimos no es perfecto; cada decisión requiere encontrar un equilibrio entre diferentes intereses, y ese equilibrio muchas veces no es del todo satisfactorio. Sin embargo, mientras todo el equipo pueda enfrentar esos compromisos bajo objetivos unificados y, desde sus puestos, contribuya con fuerza a la meta general, entonces eso es un ecosistema saludable.

Sam McCandlish:

En cierto sentido, es una “competencia hacia arriba”. Sí, es una “competencia hacia arriba”. Aunque no es una elección sin riesgo alguno; las cosas pueden salir mal. Pero todos coincidimos en algo: “Esta es la elección que hacemos nosotros”.

A la cima de la carrera por la IA

Jack Clark: Pero el mercado, por naturaleza, es pragmático. Por eso, cuanto más exitoso es Anthropic como empresa, más motivados están los demás para imitar las cosas que nos llevaron al éxito. Además, si nuestro éxito está estrechamente ligado al trabajo real que hacemos en seguridad, ese éxito se convierte en una especie de “atracción” dentro de la industria, haciendo que otras empresas también se unan a esta competencia. Como cuando nosotros desarrollamos los cinturones de seguridad: entonces otras compañías también pueden imitarlos. Esa es una dinámica saludable.

Dario Amodei:

Pero si alguien dijera: “No vamos a desarrollar esta tecnología, y tú tampoco podrás hacerlo mejor que otros”, esa forma no funciona. Porque no has demostrado que existe un camino viable desde el estado actual hasta el futuro. Lo que el mundo necesita, tanto como industria o como una sola compañía, es encontrar una forma de transición en la que la sociedad pase de “la tecnología no existe” a “la tecnología existe en forma poderosa y está gestionada eficazmente por la sociedad”. Yo creo que la única manera de lograrlo es enfrentar estos compromisos a nivel de una sola compañía e incluso, finalmente, a nivel de toda la industria.

Necesitas encontrar una forma de mantenerte competitivo, incluso liderar la industria en algunos ámbitos, y al mismo tiempo asegurar que la tecnología sea segura. Si logras hacer eso, entonces tu atractivo para la industria será muy fuerte. Desde el entorno regulatorio, hasta el deseo de atraer talento sobresaliente de diferentes compañías, e incluso la opinión de los clientes: todos estos factores impulsarán la industria en la misma dirección. Si además puedes demostrar que también se puede lograr seguridad sin sacrificar la competitividad—o sea, encontrar soluciones de doble beneficio—entonces las otras compañías también tendrán incentivos para imitar ese enfoque.

Jared Kaplan:

Yo creo que por eso mecanismos como el RSP son tan importantes. Podemos ver claramente la dirección en la que se desarrolla la tecnología, y entendemos que necesitamos mantener una vigilancia alta sobre ciertos temas, pero al mismo tiempo debemos evitar el error de “el lobo viene”: no podemos simplemente decir “la innovación debe detenerse aquí”. Necesitamos encontrar una forma para que la tecnología de IA ofrezca a los clientes una experiencia útil, innovadora y agradable, a la vez que dejamos claras las restricciones que debemos seguir. Esas restricciones deben asegurar la seguridad del sistema, y también hacer que otras compañías crean que, con esas mismas condiciones de seguridad, también pueden lograr éxito y competir con nosotros.

Dario Amodei:

Unos meses después, al lanzar el RSP, tres de las compañías de IA más conocidas publicaron de inmediato mecanismos similares. La investigación de interpretabilidad fue otro campo donde logramos un avance. Además, también colaboramos con instituciones de investigación en seguridad de IA. Ese enfoque integral en la seguridad está teniendo un impacto profundo.

Jack Clark:

Sí, Frontier Red Team fue casi inmediatamente imitado por otras compañías. Eso es algo bueno; esperamos que todos los laboratorios puedan probar esos posibles riesgos de seguridad de alta peligrosidad.

Daniela Amodei:

Jack también mencionó antes que los clientes se preocupan mucho por la seguridad. No quieren que el modelo produzca información falsa, ni que sea fácil de eludir las restricciones de seguridad. Quieren que el modelo sea útil y no dañino. En nuestras conversaciones con clientes, a menudo escuchamos que dicen: “Elegimos Claude porque sabemos que es más seguro”. Creo que esto tiene un gran impacto en el mercado. Podemos ofrecer modelos confiables y fiables, y eso también ejerce presión de mercado sobre los competidores.

Chris Olah:

Tal vez podamos expandir un poco lo que Dario acaba de decir. Hay una idea que sostiene que la conducta más moral es el “fracaso noble”. Es decir, deberías sacrificar otros objetivos por seguridad, incluso actuar de una manera poco realista, para demostrar la pureza de tu compromiso con la causa. Pero yo creo que esa manera en realidad es autodestructiva.

Primero, esa forma hace que el poder de decisión caiga en manos de quienes no valoran la seguridad o no la priorizan. Por otro lado, si te esfuerzas por encontrar una manera de alinear los incentivos, poner las decisiones difíciles en el lugar que más respalda una decisión correcta y hacerlo con la evidencia más poderosa, entonces puedes activar la “competencia hacia arriba” descrita por Dario. En esa competencia, no es que las personas que se preocupan por la seguridad queden marginadas; en cambio, otras personas se ven obligadas a seguir tu ritmo y unirse a esa competencia.

Mirando hacia el futuro de la IA

Jack Clark: Entonces, ¿qué es lo que a ustedes les entusiasma de cara a lo que viene a continuación?

Chris Olah:

Creo que hay muchas razones para entusiasmarse con la interpretabilidad. Una razón evidente es por seguridad. Pero hay otra razón: emocionalmente, a mí también me emociona o lo encuentro especialmente significativo. Creo que las redes neuronales son extraordinarias y que hay muchas cosas hermosas dentro de ellas que todavía no hemos visto. Siempre tratamos las redes neuronales como una caja negra y no nos interesa mucho su estructura interna; pero cuando empiezas a investigarlas a fondo, descubres que dentro hay estructuras asombrosas.

Es un poco como la actitud de la gente hacia la biología: algunos pueden pensar que “la evolución es aburrida; es un proceso simple, corre durante mucho tiempo y luego crea animales”. Pero en realidad, cada animal que la evolución crea está lleno de complejidad e inercias de estructura increíbles. Y yo creo que la evolución es un proceso de optimización, igual que entrenar una red neuronal. Dentro de la red neuronal también hay toda esa complejidad estructural parecida a “biología artificial”. Si estás dispuesto a profundizar, descubrirás que hay muchas cosas asombrosas.

Creo que apenas empezamos a descubrirlo lentamente. Es tan increíble, que hay demasiado por descubrir adentro. Apenas estamos abriendo la puerta. Siento que los próximos descubrimientos serán extremadamente emocionantes y maravillosos. A veces me imagino entrando en una librería dentro de diez años, comprando un libro de texto sobre interpretabilidad de redes neuronales, o un libro que hable de verdad de la “biología” de redes neuronales, y que dentro habría todo tipo de contenido asombroso. Creo que en los próximos diez años—e incluso en los próximos pocos años—empezaremos a descubrir de forma real estas cosas. Será un viaje loco e increíble.

Jack Clark:

Hace unos años, si alguien dijera: “El gobierno va a crear nuevas agencias para probar y evaluar sistemas de IA, y esas agencias serán muy profesionales y harán que funcionen”, no lo habrías creído. Pero ya está pasando. Se puede decir que el gobierno ya ha creado un “nuevo embajador” para responder a esta nueva categoría de tecnología, y me emociona ver hacia dónde va. Creo que esto significa que los países tienen capacidad para afrontar esta transformación social, y no depender solo de empresas. Estoy muy contento de poder participar en eso.

Daniela Amodei:

Yo ya me siento emocionada con esto. Pero también, si uno imagina solo lo que el futuro de la IA podría hacer por los humanos, es difícil no emocionarse. Incluso ahora, ya hay señales de que Claude puede ayudar a desarrollar vacunas, hacer investigación sobre cáncer e investigación en biología, y eso ya es increíble. Ver lo que puede hacer ahora ya es asombroso. Y cuando miro hacia los próximos tres a cinco años e imagino que Claude pueda resolver de verdad muchos de los problemas fundamentales a los que nos enfrentamos los humanos, especialmente en el ámbito de la salud, me entusiasma muchísimo. Recordando mis días cuando trabajaba en desarrollo internacional: sería increíble si en ese momento Claude pudiera ayudar a completar tareas que eran ineficientes por entonces.

Tom Brown:

En términos personales, me encanta usar Claude en el trabajo. Así que últimamente también uso Claude en casa para hablar con él. El cambio más grande recientemente es el código. Hace seis meses, todavía no usaba Claude para ningún trabajo de programación. Nuestro equipo tampoco utilizaba mucho Claude para escribir código, pero ahora eso ha cambiado de manera significativa. Por ejemplo, la semana pasada hice una charla en un evento de Y Combinator. Al principio, pregunté: “¿Cuántas personas usan Claude para programar?” Y el resultado fue que casi el 95% levantó la mano. Casi toda la sala levantó la mano, y eso era completamente distinto a hace cuatro meses.

Dario Amodei:

Cuando pienso en cosas que me emocionan, pienso en cosas como lo que mencioné antes: algo que parece que ya se ha convertido en consenso, pero en realidad el consenso está por romperse. Una de esas es la interpretabilidad. Yo creo que la interpretabilidad no solo es clave para guiar y garantizar la seguridad de los sistemas de IA; también incluye profundas percepciones sobre los problemas de optimización inteligente y sobre cómo funciona el cerebro humano. He dicho que Chris Olah ganará el premio Nobel de medicina.

Porque antes yo era neurocientífico, y muchas de las enfermedades mentales que aún no hemos resuelto—por ejemplo, esquizofrenia o trastornos del estado de ánimo—yo sospecho que podrían estar relacionadas con algún problema de sistema de nivel superior. Sin embargo, debido a la complejidad del cerebro humano y a que es difícil estudiarlo directamente, esos problemas son difíciles de entender completamente. Aunque las redes neuronales no son un análogo perfecto, no son tan difíciles de desentrañar e interactuar como el cerebro humano. Con el tiempo, las redes neuronales se convertirán en una herramienta de analogía mucho mejor.

Otro ámbito relacionado es la aplicación de la IA en biología. La biología es un problema extremadamente complejo, y por diversas razones la gente aún es escéptica al respecto; pero yo creo que ese escepticismo empieza a desmoronarse. Ya hemos visto un premio Nobel en el campo de la química otorgado a AlphaFold. Es un logro increíble, y deberíamos esforzarnos por desarrollar herramientas que nos ayuden a crear cientos de “AlphaFold”.

Por último, usar IA para fortalecer la democracia. Nos preocupa que, si la IA se desarrolla de manera incorrecta, se convierta en una herramienta del autoritarismo. Entonces, ¿cómo lograr que la IA sea una herramienta que promueva la libertad y la autodeterminación? Creo que este desarrollo podría adelantarse un poco respecto a los dos campos anteriores, pero su importancia no es menor que la de los otros dos.

Jared Kaplan:

Quiero al menos dos puntos que conecten con lo que dijiste antes. Uno es que muchas personas se unen a Anthropic porque sienten una enorme curiosidad por la ciencia de la IA. A medida que la tecnología de la IA avanza, van aceptando cada vez más que no solo necesitamos impulsar el desarrollo técnico, sino que también necesitamos comprenderlo más a fondo y garantizar su seguridad. Me parece emocionante trabajar junto con cada vez más personas que comparten esta visión tanto sobre el desarrollo de la IA como sobre la responsabilidad. Y creo que muchos de los avances técnicos del último año han impulsado realmente la formación de ese consenso.

Otro aspecto, volviendo a lo práctico: siento que ya hemos hecho mucho trabajo en seguridad de IA. Pero a medida que han surgido algunos desarrollos recientes, hemos empezado a tener una comprensión inicial de riesgos que podrían venir de sistemas muy avanzados. Esto nos permite estudiar directamente e investigar esos riesgos mediante investigación de interpretabilidad y otros tipos de mecanismos de seguridad.

De esta manera, podemos entender con mayor claridad los riesgos que podrían traer los sistemas de IA de nivel avanzado. Eso nos permitirá avanzar en nuestra misión de una forma más científica y empírica. Por eso me siento muy entusiasmado con lo que viene en los próximos seis meses: usaremos nuestra comprensión de los posibles problemas de los sistemas avanzados para investigar aún más y encontrar maneras de evitar esas trampas.