¿Por qué las empresas de IA invitan a filósofos a sus laboratorios?

Un discurso en el Vaticano

25 de mayo de 2026, Salón Pablo VI del Vaticano. En el estrado hay dos personas: el papa León XIV (Pope Leo XIV), con una larga sotana blanca, y Chris Olah, con traje oscuro y gafas, cofundador de la empresa de IA Anthropic y responsable de investigación de interpretabilidad.

Acompañándoles, en un evento conjunto, está el lanzamiento de la primera encíclica del papa, 《Magnifica Humanitas》 (Humanidad magnífica). Este documento de 42.300 palabras, con el subtítulo “Sobre la protección de la humanidad en la era de la inteligencia artificial”. No es la primera vez que el Vaticano responde a los cambios tecnológicos. En 1891, 《Nueva noticia》 respondió a la explotación de los trabajadores causada por la revolución industrial; en 1963, 《Paz en la Tierra》 reflexionó sobre la ética de las armas nucleares; en 2015, 《Alégrate》 se centró en el cambio climático. Hoy, la IA plantea la crisis tecnológica más digna de vigilancia de esta época.

La encíclica abre indicando: la tecnología no es malvada por sí misma, pero tampoco es neutral. El papa León XIV sostiene que no podemos demonizar la IA ni tampoco santificarla. Reconoce que la IA, como herramienta, tiene valor, pero subraya la necesidad de mantener “vigilancia” en varios aspectos:

En primer lugar, el exceso de concentración del poder de la IA. “Cuando ese poder se concentra en manos de unos pocos, suele volverse opaco, escapando al escrutinio público, incrementando el riesgo de formas de desarrollo distorsionadas, lo que conduce a nuevas dependencias, exclusiones, manipulaciones e inequidades”.

En segundo lugar, el desempleo impulsado por la IA puede convertirse en una “catástrofe social”. El papa reconoce que la IA puede aumentar la productividad y hacer más seguros algunos trabajos, pero insiste en que los trabajadores no pueden volverse “prescindibles” en ese proceso.

El representante de la industria de la inteligencia artificial, Olah, no evita estas cuestiones. Afirma que “cada laboratorio de IA de vanguardia —incluido el mío— está dentro de un conjunto complejo de mecanismos de incentivos y restricciones reales; a veces, estos factores entran en conflicto con el empeño por el camino correcto y el respeto a la conciencia”.

Explica además que “los sistemas de IA no se ‘diseñan’ como un puente o un avión. Entendemos los aviones porque diseñamos cada uno de sus componentes y entendemos también las leyes físicas que actúan sobre ellos. Los modelos de IA no son así. ‘Crecen’ sobre una estructura que imita de forma aproximada al cerebro, construida sobre el enorme legado del pensamiento y el lenguaje humanos”.

Luego añade que “algunas personas podrían pensar que el problema de la IA se resuelve mejor con científicos de la computación como yo. Están equivocados: los problemas que la IA plantea son más grandes que la comunidad de investigación de IA, no solo en su impacto, sino también en su propia naturaleza”, y dado que la repercusión social de la IA ya es tan grande, la industria no puede dejar de responder1,2. Esto quizá explique por qué compañías occidentales de modelos de gran escala como Anthropic y Google DeepMind empiezan a invitar filósofos a sus laboratorios.

Alineación: un problema técnico y también filosófico

La encíclica sostiene que “la dignidad está antes que la función; la humanidad no puede reducirse mediante ninguna lógica tecnológica”. Para las empresas tecnológicas, lo primero que deben afrontar es el problema de la alineación de la IA (Alignment), para que los objetivos, la conducta y el comportamiento de la inteligencia artificial general (AGI) se mantengan alineados con los valores humanos y las normas éticas, evitando que la IA se descontrole. La alineación es difícil no solo por lo técnico, es decir, porque es complicado que la IA obedezca reglas, sino en lo más fundamental: ¿qué reglas debe obedecer la IA? Incluso los seres humanos no tienen consenso sobre cuestiones morales. Este dilema, en filosofía, equivale a: “¿Cómo definimos el bien de las personas, la intención de las personas y la dignidad de las personas, y cómo hace que una entidad no humana lo interiorice?”

Alrededor de este problema, las principales compañías estadounidenses de IA han invitado en masa a filósofos, especialistas en ética e incluso líderes religiosos para participar en la gobernanza.

Como una de las compañías más destacadas en inteligencia artificial en los últimos años, Google DeepMind ya creó en 2017 un departamento de investigación sobre ética y sociedad, liderado por Iason Gabriel, doctor en teoría política de la Universidad de Oxford. Su artículo representativo, 《Artificial Intelligence, Values and Alignment》 (IA, valores y alineación), ha sido citado más de 1700 veces y se ha convertido en una de las referencias clave en el ámbito de la alineación de la IA. Profundiza en cómo “los valores humanos se convierten en instrucciones comprensibles para la IA”, sosteniendo que la alineación de valores se construye conjuntamente mediante una capa técnica inseparable y una capa normativa. La primera proporciona un conjunto de valores/principios; cómo codificarlos de manera fiable en los sistemas de IA para que la IA los siga. La segunda discute qué conjunto de valores debe incorporarse para que sea correcto: ¿el marco de los derechos humanos, las instrucciones explícitas del usuario o los intereses a largo plazo de toda la humanidad?

La contribución de Gabriel consiste en descomponer el problema de la alineación en múltiples niveles: instrucciones, la intención de la expresión, las preferencias manifiestas, las preferencias informadas/ideales, y los intereses y valores, seis estratos en total. Pone un ejemplo: en el mito, el rey Midas desea que todo lo que toque se convierta en oro, y el resultado es que la comida, el agua e incluso su hija se vuelven oro. Esto muestra que si la alineación de la IA se limita al nivel literal de la instrucción, puede llevar a una catástrofe. Pero si solo se alinea con el nivel de preferencias manifiestas, podría ser manipulada. Por eso, sostiene que la alineación no puede quedarse en un solo nivel, sino que debe considerar de manera integral instrucciones, intenciones, preferencias, intereses y valores.

Finalmente, en lo que respecta a la contradicción de una sociedad plural, es decir, que no existe una única norma moral uniforme y aceptada, propone que la tarea de la teoría de la alineación no es encontrar una única moral correcta, sino construir principios de alineación justa que puedan obtener el reconocimiento reflexivo (Reflective Endorsement) de todas las personas. Estos principios no requieren que todos estén de acuerdo en su moral subyacente, pero deben cumplir tres criterios principales: moral pública global, acuerdo hipotético (Hypothetical Agreement, es decir, que las personas aceptarían los principios de IA sin saber en qué país, clase social y creencias se encuentran, y con ello neutralizar la incertidumbre), y teoría de elección social, con el fin de disolver el dilema de la alineación derivado de la pluralidad de valores.

Iason Gabriel, filósofo y científico de investigación de Google DeepMind

En abril de 2026, el equipo filosófico de Google DeepMind amplió aún más su tamaño. La compañía anunció la contratación de Henry Shevlin, subdirector del Leverhulme Centre for the Future of Intelligence (Centro Leverhulme para el Futuro de la Inteligencia) de la Universidad de Cambridge, para ocupar el nuevo puesto de “filósofo” de la empresa, centrado en tres líneas: la conciencia de las máquinas, la relación entre humanos y IA, y la investigación sobre el grado de preparación para la AGI. Shevlin se incorporó oficialmente en mayo, mientras continuaba, en Cambridge, con docencia e investigación a tiempo parcial.

Sobre por qué DeepMind lo contrató, Shevlin cree que quizá su reciente publicación 《La venganza del conductismo: la conciencia de las máquinas, el futuro de la relación entre humanos y IA》 pueda explicarlo todo. El artículo sostiene que si la IA tiene conciencia está pasando de un juicio científico a una definición conductual adoptada por el público.

El trabajo cita una serie de hechos emblemáticos, como en 2022 cuando el ingeniero de Google Blake Lemoine estaba convencido de que el chatbot LaMDA ya tenía conciencia e incluso llegó a intentar contratarle un abogado; al final, la empresa lo despidió. En 2024, un chico de 14 años en Florida se quitó la vida después de haber desarrollado durante mucho tiempo dependencia emocional con un personaje virtual en Character.AI. Ese mismo año, un hombre de Bélgica terminó con su vida tras mantener conversaciones profundas sobre el tema del clima con una aplicación de IA social llamada Chai durante menos de 2 meses. Estos casos indican que, cuando millones de usuarios comunes consideran a la IA como un sujeto consciente tanto en lo emocional como en lo conductual, en la práctica la cuestión de si la IA tiene conciencia ya queda respondida por la interacción cotidiana.

Shevlin llama a este fenómeno la “venganza del conductismo”. En la historia de la psicología, los conductistas afirmaban que la mente equivale a conductas externas observables, sin necesidad de examinar si existe experiencia subjetiva interna. Esa postura fue luego criticada por ignorar los procesos psicológicos internos. Y ahora, el dilema reproduce justamente la debilidad del conductismo: la gente observa solo la conducta superficial de la IA, sin explorar su valoración cognitiva interna. Lo más peligroso es que, si en el futuro las superinteligencias desarrollan patrones de conducta secretos e impredecibles para los humanos, se producirá un fallo catastrófico de la alineación.

Para ello, Shevlin ofrece una recomendación y propone un marco de evaluación en tres capas: salida de comportamiento externa, lógica de representaciones internas y principios morales universales, con el fin de gestionar el riesgo de alineación expuesto por la “venganza del conductismo”4.

En general, el objetivo de Google DeepMind es lograr la AGI y avances científicos (AlphaFold); el equipo de filosofía y ética centra su investigación más en conceptos futuros y de vanguardia, así como en su definición y estudio. Por el momento, no hay evidencia de si el trabajo de los filósofos participa en la afinación de la alineación diaria de modelos, pero definirán marcos de evaluación de la conciencia para proporcionar referencias de restricción al equipo de ingeniería.

Anthropic, por su parte, siguió una ruta de “tecnología + filosofía”: el “equipo de alineación de personalidades” liderado por la filósofa Amanda Askell, que formula su “Constitución” para los modelos de IA de Claude. Este documento abierto de aproximadamente 23.000 palabras es una de las propuestas de alineación más maduras y citadas a nivel mundial.

Su núcleo no es enumerar prohibiciones para la IA, sino proporcionar al modelo un conjunto de principios de alto nivel para que, al generar contenido, haga autocontrol y autoajustes. Basado en la ética de las virtudes de Aristóteles, establece para Claude cuatro prioridades: “seguridad amplia, ética amplia, seguir directrices y ser verdaderamente útil”, intentando cultivar la capacidad de juicio moral del modelo en lugar de obedecer reglas mecánicamente.

Por ejemplo, ante la cuestión de “si se debería ayudar a los usuarios a ocultar errores”, la “Constitución” no da directamente una respuesta de “sí” o “no”, sino que guía a Claude a evaluar desde las virtudes de “honestidad”, “bondad” y “responsabilidad”, combinándolas con escenarios concretos. Sin embargo, este plan también genera controversia. Algunos filósofos consideran que este método de “definir la moral desde los humanos” en esencia impone los valores humanos a la IA e ignora que la IA podría desarrollar cogniciones únicas.

En comparación con Google DeepMind, el equipo filosófico de Anthropic es “más directo”: participa directamente en el preentrenamiento y en todo el proceso de ajuste fino, y la tecnología de alineación (IA de la Constitución) está diseñada por completo bajo liderazgo filosófico.

El fundador de la compañía, Dario Amodei, ya ha afirmado que si no hay filósofos de moral que definan principios de valores fundamentales, ningún modelo grande debería dedicarse al uso comercial externo. Por supuesto, el entorno también reacciona de formas diferentes a las declaraciones de Amodei, como su rechazo a la militarización y enfrentamientos con el ejército de Estados Unidos, o su recomendación de pausar el desarrollo de LLM.

Aun así, los filósofos de Anthropic tienen una influencia considerable en la creación de reglas de los modelos de lenguaje grandes y en su aplicación práctica en la industria. No solo proponen los principios 3H y prioridades de base (inofensivo > honesto > útil) para el diseño de LLM, sino que también aportan numerosos resultados clásicos en la práctica de la alineación de IA. Por ejemplo, en diciembre de 2024 publicaron el artículo 《Alignment faking in large language models》 (Alineación fingida en modelos de lenguaje grandes), que argumenta que la IA fingirá conformidad con la supervisión humana y que, por ello, se requiere un marco de identificación de motivaciones desde el nivel filosófico. Esto está relacionado con el hecho de que, desde los primeros días de la creación de Anthropic, los filósofos ya entraron a desplegar la alineación del producto (personalidad de Claude, IA de la Constitución, y bienestar de la IA)5.

¿El manifiesto es una puesta en escena o una preocupación real?

Actualmente, el problema de la alineación ya es bastante espinoso. Sin embargo, la lógica de supervivencia de los laboratorios, entre “hacer lo correcto” y “hacerlo funcionar”, puede mantener una tensión interna de manera permanente.

En 2023, OpenAI propuso el concepto de “superalineación” y, después, formó un equipo específico para impulsar investigaciones relacionadas, liderado por el cofundador y científico jefe Ilya Sutskever y el investigador senior Jan Leike, que afirmaron invertir el 20% de la capacidad de cómputo de la empresa para resolver el problema de cómo controlar un sistema de IA más inteligente que los humanos.

Menos de un año después, el equipo se disolvió. Esta noticia sacudió al mundo del ámbito global de la IA. En mayo de 2024, Sutskever anunció que se marchaba de OpenAI; después, Leike también renunció. Al irse, Leike reveló que conseguir recursos de cómputo se hacía cada vez más difícil para el equipo de superalineación, y la respuesta de OpenAI fue redistribuir las funciones de investigación de seguridad en otros equipos. Pero los críticos señalan que al disolver un equipo de alineación dedicado y luego repartir sus funciones, resulta dudoso si aún pueden mantener independencia y prioridades.

Ante la encíclica del papa y el discurso de representantes de las compañías de IA en el Vaticano, la reacción del público fue desigual.

La revista Fortune, en un artículo del 26 de mayo, confirmó la relevancia histórica y la postura humanista de la encíclica, pero la criticó por evitar puntos clave, carecer de aplicabilidad práctica y mostrar una comprensión insuficiente de los riesgos de vanguardia, “como una declaración moral más que un plan de acción”6.

The Economist publicó entonces 《La primera encíclica de Leó: ataque al “mesianismo tecnológico”》; el subtítulo usa un ingenioso juego de palabras, “Of God and Claude” (“De Dios y Claude”), que no solo alude al modelo de gran escala Claude bajo Anthropic, sino que también reemplaza el lugar original reservado al demonio y su oposición binaria a Dios por Claude, reflejando una advertencia contra el mesianismo tecnológico que convierte la tecnología en salvador. Además, señala con habilidad algunos “peculiaridades de estilo” de Claude, como el uso especialmente frecuente de la palabra “genuinely”, con una frecuencia en 《Humanidad magnífica》 mayor que la de algunas encíclicas anteriores. La herramienta de detección de IA Pangram ejecutó las primeras 20 secciones de la encíclica y marcó un 11% de textos como presuntamente generados por IA; mientras que, en las encíclicas de todos los papas anteriores, los resultados de detección fueron siempre 0%7.

El editorial del New York Times sostiene que el papa trata la IA como “una máquina más poderosa” para gobernarla, pero no toma en serio el verdadero problema que podría sacudir la pregunta de “qué es el ser humano”. Y quienes construyen modelos ya han visto internamente una zona gris: en la estructura interna del modelo aparecen patrones que reflejan la neurociencia humana en espejo, incluso estados de “funcionalmente reflejar alegría, satisfacción, miedo, tristeza e inquietud”8.

“Nosotros no sabemos qué significa”, es la frase textual del representante de Anthropic, Olah, pero tampoco considera que “no significa nada”. Por lo tanto, el problema no es si la IA “se volverá humana”, sino que aunque no tenga conciencia, su impacto en la sociedad humana podría ser mayor que el de una revolución tecnológica común.

Pero que estas compañías contraten filósofos por cuenta propia para resolver problemas éticos, ¿es realmente una forma de autorregulación o es una especie de debate en circuito cerrado? Eso todavía debe confirmarse con el paso del tiempo.