Carta abierta de Anthropic: Sam Altman, el falso maestro PUA

Quiero dejar muy claro la información que OpenAI está difundiendo actualmente, así como las falsedades que contiene. Esa es exactamente su forma de actuar, y espero que todos puedan verlo claramente.

Aunque todavía hay muchas incógnitas respecto al contrato que firmaron con el Departamento de Defensa (y quizás ni siquiera ellos tengan una comprensión completa, ya que las cláusulas probablemente sean bastante vagas), hay algunos puntos que sí podemos afirmar con certeza: según las descripciones públicas de Sam Altman y del Departamento de Defensa (por supuesto, solo podremos confirmarlo definitivamente al revisar el texto del contrato), su modelo de colaboración sería aproximadamente así: el modelo en sí no tiene restricciones legales de uso, es decir, «todos los usos legales»; además, se establece una capa llamada «capa de seguridad». En mi opinión, esa «capa de seguridad» en esencia es un mecanismo de rechazo del modelo, diseñado para impedir que el modelo complete ciertas tareas o participe en determinadas aplicaciones.

Esa «capa de seguridad» también puede referirse a las soluciones que los socios (por ejemplo, Palantir, que trabaja con Anthropic al prestar servicios al gobierno de EE. UU.) intentan vendernos en las negociaciones. Ellos proponen un clasificador o sistema de aprendizaje automático que afirma poder permitir ciertos usos mientras bloquea otros. Además, hay indicios de que OpenAI asigna empleados (FDE, es decir, ingenieros de despliegue en primera línea) para supervisar el uso del modelo y prevenir aplicaciones indebidas.

Nuestra evaluación general es que: estos mecanismos no son completamente inútiles, pero en el contexto de aplicaciones militares, aproximadamente un 20% son una verdadera protección, mientras que un 80% son solo una actuación de seguridad.

La raíz del problema radica en que si el modelo se usa para vigilancia masiva o para sistemas de armas completamente autónomas, esto depende en gran medida del contexto más amplio. El modelo en sí no sabe en qué sistema está operando, no sabe si hay humanos en el «bucle» (human-in-the-loop, que es clave en la cuestión de armas autónomas); tampoco sabe de dónde provienen los datos que analiza. Por ejemplo, si son datos nacionales o internacionales, si son datos proporcionados por empresas tras obtener el consentimiento del usuario, o si son adquiridos por canales grises, etc.

Los profesionales en seguridad llevan mucho tiempo experimentando esto: los mecanismos de rechazo del modelo no son confiables. Los ataques de jailbreak son muy comunes; muchas veces basta con mentirle al modelo sobre la naturaleza de los datos para sortear esas restricciones.

Aquí hay una diferencia clave que hace que el problema sea aún más complejo que una simple protección de seguridad: determinar si el modelo está realizando un ciberataque puede ser evidente por su entrada y salida; pero identificar la naturaleza del ataque y el contexto específico es una tarea completamente diferente, y precisamente esa es la capacidad de juicio que se necesita aquí. En muchos casos, esa tarea es extremadamente difícil, e incluso puede ser imposible de realizar.

La situación con la «capa de seguridad» que nos propone Palantir (y que creo que también intentan vender a OpenAI) es aún peor. Nuestra evaluación es que casi todo eso es solo una actuación de seguridad.

La lógica básica de Palantir parece ser: «Es posible que en tu empresa haya empleados descontentos; necesitas darles algo para calmarlos o hacer que lo que está sucediendo no sea visible para ellos. Esa es exactamente la clase de servicio que ofrecemos.»

En cuanto a que empleados de Anthropic u OpenAI supervisen directamente los despliegues, ya discutimos esto hace unos meses en una política interna de uso aceptable (AUP) en entornos altamente confidenciales. La conclusión fue muy clara: esa opción solo es viable en casos extremadamente limitados. Haremos todo lo posible por intentarlo, pero no puede ser una garantía central confiable, especialmente en entornos confidenciales. Por cierto, ya estamos haciendo todo lo posible en ese sentido, y en ese aspecto no somos diferentes de OpenAI.

Por lo tanto, debo decir que las medidas que toma OpenAI son prácticamente ineficaces para resolver el problema.

La razón por la que ellos aceptan esas soluciones y nosotros no, en esencia, es que ellos se preocupan por calmar a sus empleados, mientras que nuestra prioridad real es prevenir el uso indebido.

Estas soluciones no carecen de valor; nosotros mismos usamos algunas de ellas, pero están muy lejos de cumplir con los estándares de seguridad necesarios. Además, el Departamento de Defensa claramente no trata a OpenAI y a nosotros de la misma manera.

De hecho, intentamos incluir en el contrato algunas cláusulas de seguridad similares a las de OpenAI (como complemento a la AUP; en nuestra opinión, la AUP es la parte más importante), pero fueron rechazadas por el Departamento de Defensa. La evidencia de esto está en la cadena de correos de esa discusión. Debido a que ahora tengo mucho trabajo, es probable que pida a un colega que revise las formulaciones específicas más adelante. Por lo tanto, la afirmación de que «las cláusulas de OpenAI nos fueron ofrecidas y las rechazamos» no es cierta; del mismo modo, decir que «las cláusulas de OpenAI pueden efectivamente impedir la vigilancia masiva interna o armas completamente autónomas» tampoco lo es.

Además, las declaraciones de Sam y de OpenAI sugieren que nuestra línea roja —que son armas completamente autónomas y vigilancia masiva interna— ya es ilegal, por lo que las políticas de uso relacionadas serían redundantes. Esa afirmación coincide casi exactamente con la postura del Departamento de Defensa, y parece haber sido coordinada previamente.

Pero eso no es cierto.

Como explicamos en nuestro comunicado de ayer, el Departamento de Defensa sí tiene autoridad para realizar vigilancia interna. En tiempos previos a la era de la IA, esas facultades tenían un impacto relativamente limitado; en la era de la IA, su alcance ha cambiado por completo.

Por ejemplo: el Departamento puede legalmente comprar en masa datos privados de ciudadanos estadounidenses a proveedores (que suelen obtener el derecho de reventa mediante cláusulas de consentimiento ocultas en los términos de usuario), y luego usar IA para analizar esos datos a gran escala, creando perfiles de ciudadanos, evaluando tendencias políticas, rastreando movimientos en el espacio físico, e incluso accediendo a datos como información de GPS, etc.

Un punto adicional importante: cerca del final de las negociaciones, el Departamento propuso que si eliminábamos una cláusula específica en el contrato sobre «análisis de datos adquiridos en masa», estarían dispuestos a aceptar todas las demás condiciones. Y esa cláusula era precisamente la única que correspondía exactamente a los escenarios que más nos preocupan. Nos pareció muy sospechoso.

En cuanto a las armas autónomas, el Departamento afirma que «el ser humano en el bucle» es un requisito legal. Pero eso no es cierto. En realidad, solo es una política del Pentágono durante la administración Biden, que exige la participación humana en las decisiones de lanzamiento de armas. Y esa política puede ser modificada unilateralmente por el actual secretario de Defensa, Pete Hegseth —que es exactamente lo que nos preocupa. Desde un punto de vista práctico, eso no constituye una restricción real.

Las declaraciones públicas y de relaciones públicas de OpenAI y del Departamento en estos temas, o mienten, o buscan crear confusión intencionadamente. Estos hechos revelan un patrón de comportamiento que ya he visto muchas veces en Sam Altman. Espero que todos puedan reconocerlo.

Esta mañana, él primero expresó que comparte la línea roja de Anthropic, con el fin de parecer que apoya nuestra posición, así se lleva algo de mérito y evita críticas cuando asuma el control del contrato. También intenta presentarse como un «constructor de estándares unificados para toda la industria», es decir, un pacificador y mediador.

Pero en realidad, está firmando contratos con el Departamento de Defensa, preparándose para reemplazarnos en el momento en que nos marquen como un riesgo en la cadena de suministro.

Al mismo tiempo, debe asegurarse de que todo esto parezca que «mientras Anthropic mantiene su línea roja, OpenAI abandona sus principios». Y puede lograrlo porque:

Primero, puede firmar todas las medidas de «actuación de seguridad» que nosotros rechazamos, y el Departamento de Defensa y sus socios están dispuestos a colaborar, empaquetando esas medidas de forma suficientemente creíble para calmar a sus empleados.

Segundo, el Departamento está dispuesto a aceptar algunas cláusulas que él propone, mientras que cuando las propusimos nosotros, fueron rechazadas.

Estas dos razones permiten que OpenAI cierre el acuerdo, mientras que nosotros no podemos.

La verdadera razón por la que el Departamento de Defensa y el gobierno de Trump no nos apoyan, es que no hicimos donaciones políticas a Trump (mientras que OpenAI y Greg Brockman sí donaron mucho), no alabamos a Trump de forma autoritaria (como hizo Sam), apoyamos la regulación de la IA, lo cual va en contra de su agenda política, y en muchas cuestiones relacionadas con políticas de IA, preferimos decir la verdad (por ejemplo, sobre la sustitución laboral por IA); además, hemos mantenido nuestra línea roja, en lugar de crear «actuaciones de seguridad» para calmar a los empleados.

Ahora, Sam intenta presentar todo esto como si fuera que nosotros somos difíciles de colaborar, que somos rígidos, que carecemos de flexibilidad, etc. Quiero que todos sean conscientes de que eso es simplemente una forma de gaslighting.

Decir que «alguien con quien no es fácil colaborar» es una expresión vaga que suele usarse para encubrir las verdaderas razones desagradables —que ya mencioné: donaciones políticas, lealtad política y actuaciones de seguridad.

Todos deben entender esto y, en conversaciones privadas con empleados de OpenAI, contrarrestar esa narrativa.

En otras palabras, Sam está debilitando nuestra posición disfrazándose de «quien apoya nuestra causa». Quiero que todos mantengan la claridad: él, al disminuir el apoyo público hacia nosotros, facilita que el gobierno nos castigue. Incluso sospecho que puede estar promoviendo esto en secreto, aunque no tengo evidencia directa en este momento.

A nivel público y mediático, esa narrativa y esa manipulación parecen estar fallando. La mayoría de la gente considera que la negociación entre OpenAI y el Departamento de Defensa es algo que debe ser vigilado con cautela, incluso con inquietud, y nos ve a nosotros como los que mantienen principios (por cierto, ahora somos el segundo en descargas en la App Store).

【Nota: posteriormente, Claude alcanzó el primer puesto en la App Store.】

Por supuesto, esa narrativa ha funcionado en algunos tontos en Twitter, pero eso no importa. Lo que realmente me preocupa es que no tenga impacto dentro de los empleados de OpenAI.

Por efecto de selección, ellos ya son un grupo relativamente fácil de convencer. Pero sigue siendo muy importante contrarrestar esa narrativa que Sam está vendiendo a sus propios empleados.