Desde abandonar OpenAI hasta enfrentarse a la Casa Blanca: cómo los hermanos Anthropic trazan límites para la IA y evitan el colapso de la civilización

Entrevista exclusiva de Bloomberg con el fundador de Anthropic, revelando la ruptura con OpenAI y la misión de "seguridad primero". Frente a conflictos con el Pentágono, advertencias de desempleo masivo y amenazas del modelo potente Mythos.
(Resumen previo: Claude tiene el 80% de su código escrito por ellos mismos, ¿es en serio el llamado de Anthropic a "mecanismos de freno globales"?)
(Información adicional: Dario Amodei, CEO de Anthropic: En 6-12 meses, los modelos de IA de código abierto en China podrán alcanzar a Mythos)

Índice del artículo

Alternar

• Capítulo 1: La ley del crecimiento exponencial y la visión
• Capítulo 2: Desde la infancia en San Francisco hasta la ruptura con OpenAI
• Capítulo 3: Definiendo la ética y la "constitución" de la IA
• Capítulo 4: Estrategias empresariales y crisis de desempleo
• Capítulo 5: La línea roja del Pentágono y el modelo Mythos
• Capítulo 6: ¿Cómo enfrentar una probabilidad de destrucción del 25%?
• Epílogo

En la carrera armamentística de la IA, Anthropic es vista como la competencia más fuerte de OpenAI, con una ventaja inicial. Esta compañía, fundada en 2021 por los ex altos ejecutivos de OpenAI Dario Amodei y su hermana Daniela Amodei, se ha promocionado desde el principio bajo la bandera de la "seguridad en IA", y su desarrollo Claude ha recibido altas valoraciones en la industria.

Sin embargo, con el tiempo, Anthropic también ha caído en un torbellino de poder y ética. Desde disputas contractuales con el Pentágono hasta el potencial de destrucción de la seguridad cibernética por su supermodelo Mythos, esta pareja está en la cúspide de cambiar la civilización humana.

La periodista senior de Bloomberg, Emily Chang, visitó personalmente la sede de Anthropic en San Francisco para profundizar en la visión central, las contradicciones internas y los temores sobre el futuro de esta compañía valorada en casi un billón de dólares. A continuación, los puntos destacados del video.

Capítulo 1: La ley y visión del crecimiento exponencial

Emily Chang: Me encanta esta biblioteca. ¿Eres un gran lector?

Dario Amodei: Realmente es muy hermosa. En general, leo muchos libros, pero honestamente, en el último año más o menos, casi no he tenido tiempo libre.

Emily Chang: Vuestros productos se actualizan con tanta frecuencia y rapidez, ¿cómo lo logran?

Dario Amodei: Usamos Claude (nuestro modelo propio) en todo el ciclo de desarrollo del producto. Esto nos permite lanzar a una velocidad muy rápida.

Dario Amodei: La sensación de esta ley es: al principio parece que no pasa nada, luego ocurren pequeñas cosas, y después—¡pum! Se desborda de manera loca. He observado esta pauta durante mucho tiempo y pensé: "Sí, probablemente en algún momento seremos la compañía de IA con mayores ingresos y valoraciones". Y eso efectivamente ocurrió. Siempre estamos pensando: ¿cómo entrenar buenos modelos? ¿Cómo convertir esos modelos en buenos productos?

Lo más importante, cómo asegurarnos de que todo sea seguro.

Capítulo 2: Desde la infancia en San Francisco hasta la ruptura con OpenAI

Emily Chang: Cuéntame sobre tu infancia en San Francisco. Tu padre era artesano del cuero, tu madre trabajaba en una biblioteca, ¿cómo te influyó eso?

Dario Amodei: En ese momento, la primera revolución de internet estaba en marcha, pero no me interesaba en absoluto. Solo me interesaban las matemáticas, entender el universo y la ciencia ficción. Tenía una curiosidad muy fuerte por el mundo.

Daniela Amodei (Presidenta de Anthropic): Dario siempre fue muy inteligente desde pequeño. En secundaria ya estudiaba cálculo diferencial, en la universidad en Berkeley cursaba matemáticas. Yo, en cambio, me inclinaba por la lectura y el arte. En carácter, somos casi complementarios perfectos.

Nota: En 2016, Dario se unió a OpenAI, que acababa de fundarse, y Daniela se incorporó en 2018. Allí, Dario desarrolló la famosa "ley de escalamiento", que predice que aumentando datos y potencia de cálculo, los modelos se vuelven más inteligentes. Esta teoría allanó el camino para el éxito de ChatGPT. Pero en 2021, los hermanos Amodei decidieron abandonar, convirtiéndose en una leyenda en Silicon Valley.

Emily Chang: La decisión de abandonar OpenAI ya es una "leyenda" en Silicon Valley. ¿En qué diferencias se basaron?

Dario Amodei: Sobre la "seguridad", hay muchas opiniones razonables. Pero la diferencia en sí misma no es suficiente para irse. La verdadera raíz está en la "confianza". Cuando sientes que los valores del otro no coinciden con lo que dicen, o que no son honestos, es muy difícil seguir colaborando. Mejor hacer lo tuyo que discutir con quienes no comparten tu visión.

Capítulo 3: Definiendo la ética y la "constitución" de la IA

Emily Chang: Claude tiene un estilo muy particular y un nombre humanizado. ¿Qué quieren transmitir?

Daniela Amodei: Lo llamamos "Calidez profesional" (Professional Warmth). El objetivo no es que sea tu mejor amigo, sino que sea cercano, pero manteniendo una distancia profesional.

Emily Chang: Mencionaron que quieren enseñar a Claude a "ser mejor". ¿Qué es un buen modelo? ¿Y uno malo?

Daniela Amodei: No queremos que el modelo mienta—ya sea sin querer o a propósito, lo llamamos "alucinaciones". También debemos asegurarnos de que el modelo no intente engañar intencionadamente a los usuarios. Al definir "bueno" y "malo", aunque no hay un estándar global, usamos documentos fundacionales como la Declaración Universal de Derechos Humanos para entrenarlo.

Curiosamente, incluso hemos empezado a dialogar con líderes religiosos para explorar cómo incorporar los valores fundamentales que la humanidad ha protegido durante milenios en los modelos.

Capítulo 4: Estrategias empresariales y crisis de desempleo

Emily Chang: ¿Por qué enfocarse en empresas y codificación?

Dario Amodei: El modelo de negocio debe alinearse con los valores. El mundo de las redes sociales está impulsado por publicidad y adicción. Pero en el sector empresarial, la IA puede curar enfermedades, optimizar energía. Eso se ajusta más a nuestros objetivos.

Boris Cherny (Responsable de código de Claude): Antes, los ingenieros tenían que escribir código manualmente, ahora Claude escribe código, y yo dirijo. Es como tener un jetpack; el rol del ingeniero está cambiando radicalmente. Personalmente, el 100% de mi código lo escribe Claude.

Emily Chang: Pero eso genera preocupaciones. Predijiste que la IA podría reemplazar la mitad de los trabajos administrativos de nivel inicial. ¿Sigues pensando igual?

Dario Amodei: Sigo muy preocupado. La IA aumenta la productividad, pero cuando la automatización llegue casi al 100%, ¿qué harán los humanos? Es una realidad incómoda. Debemos pensar en ingresos básicos universales (UBI) o en políticas de intervención.

Daniela Amodei: Yo soy un poco más optimista. Creo que los humanos encontrarán nuevas formas de aprovechar la IA, y las interacciones humanas—como el cuidado en diagnósticos médicos—son cosas que la IA nunca podrá reemplazar.

Capítulo 5: La línea roja del Pentágono y el modelo Mythos

Emily Chang: Los medios reportan que Claude se usó en operaciones militares contra Irán, e incluso en acciones en Venezuela.

Dario Amodei: Soy patriota y creo que debemos proteger la democracia de amenazas autoritarias. Pero he trazado una línea roja: Claude no puede usarse para "monitoreo masivo" ni "armas totalmente automáticas". Cuando el Pentágono pidió eliminar las barreras de seguridad, nos negamos. Incluso si nos ponen en listas negras o nos llaman "locos de izquierda", no retrocederemos.

Emily Chang: ¿Y qué pasa con el modelo Mythos? Se dice que es tan potente que da miedo.

Dario Amodei: Mythos descubrió casi todas las vulnerabilidades de los principales sistemas operativos. Las empresas que lo probaron lo llaman "superarma".

Emily Chang: Ustedes deciden quién puede usarlo y quién no. ¿No es peligro centralizado ese poder?

Daniela Amodei: Es muy complejo. Debemos equilibrar "evitar que se use para hackear bancos o robar secretos" y "que ayude a defensores". No queremos repetir los errores de las redes sociales, donde solo se pide perdón después de los errores.

Capítulo 6: ¿Cómo enfrentar una probabilidad de destrucción del 25%?

Emily** Chang:** Mencionaste que hay entre un 10% y un 25% de probabilidad de colapso de la civilización humana. ¿Por qué crees que pueden manejar esa presión?

Dario Amodei: Uso la "transparencia absoluta" para gestionar esa presión. Cada dos semanas, doy una charla de una hora a todo el equipo, sin reservas. Eso genera confianza y me hace sentir menos solo.

Muchos comparan a Oppenheimer, que impulsó el desarrollo nuclear y luego llamó a control de armas, con estos pioneros de la IA. Pero Dario piensa que, en cierto modo, Oppenheimer fue un "caso fallido".

Emily Chang: ¿Quién es la figura histórica que más admiras? ¿Oppenheimer?

Dario Amodei: Me identifico más con Leo Szilard, quien fue el primero en concebir la reacción en cadena. Oppenheimer, en cierto modo, fue un caso fallido porque no estableció suficientes controles. Necesitamos controles.

Emily Chang: En medio de toda esta locura, ¿cómo buscas la tranquilidad?

Dario Amodei: Honestamente, es "terapia de exposición". A veces juego con Daniela o con mi esposa, o voy a Italia a ver a nuestro caballo "Calypso". Él no sabe nada de IA, solo es un caballo feliz. Eso es mi meditación.

Epílogo

Emily Chang: Están creando una tecnología increíblemente poderosa y que generará beneficios. ¿Por qué deberíamos confiar en ustedes?

Dario Amodei: La duda es natural. Silicon Valley ha perdido mucha confianza. La confianza no se basa en palabras, sino en acciones. Si esta gente no puede mantener los límites (respetar las líneas rojas), quizás nadie pueda. No podemos garantizar el éxito, pero sí que haremos todo lo posible.