La IA necesita un botón de pausa, pero ¿quién tiene el derecho de presionarlo?

Autor: 小白

Este artículo es una contribución original de su autor; las opiniones representan únicamente su comprensión personal. ETHPanda edita y organiza el contenido.

El debate sobre la IA a menudo se simplifica en dos bandos: uno que aboga por seguir acelerando y otro que aboga por pausar cuanto antes.

Al responder a《AI 2040: Plan A》, Vitalik señaló que la verdadera diferencia de esta disputa no es una elección de política, sino que la gente tiene juicios fundamentales completamente distintos sobre el futuro.

Un tipo de juicio sostiene que la IA sigue siendo una “tecnología ordinaria”. Cambiará el empleo, las industrias y la estructura social, pero finalmente seguirá estando limitada por el mercado, las leyes, la energía, el capital y la capacidad de las organizaciones.

Otro tipo de juicio sostiene que, una vez que la IA empiece a participar a gran escala en la investigación y el desarrollo de IA, el crecimiento de capacidades podría entrar en un ciclo rápido. Entonces, lo que enfrenta la humanidad no sería solo que el trabajo sea sustituido, sino que podría ir perdiendo gradualmente el control real sobre la investigación, la economía, lo militar y las instituciones.

Si se cumple el primer juicio, construir un sistema global de trazabilidad de chips, aprobaciones de potencia de cómputo y monitoreo de centros de datos, claramente podría ser una reacción excesiva.

Pero si se cumple el segundo juicio, mantener la carrera por defecto, confiando en que el mercado al final lo solucionará todo, también sería una apuesta de alto riesgo.

Por lo tanto, lo que la gobernanza de la IA realmente necesita responder no es solo “si hay que pausar”, sino:

Cuando no se puede determinar a cuál de estos dos mundos pertenecerá el futuro, cómo conservar la capacidad de reducir la velocidad sin ceder el poder permanente a unas pocas personas.

El núcleo de《AI 2040》no es solo “reducir la velocidad”

《AI 2040》 propone una ruta de transición de superinteligencia relativamente idealizada.

Imagina que los principales países y empresas de IA coordinan internacionalmente para frenar el desarrollo de la IA de vanguardia, aumentar la transparencia de la investigación, permitir que más participantes se pongan al día hasta alcanzar niveles cercanos a la vanguardia, y luego seguir avanzando después de resolver los temas de seguridad y gobernanza.

Creo que el mayor problema de esta propuesta no está en el objetivo, sino en la ejecución.

Mientras exista una parte que entrene en secreto modelos más potentes, los demás participantes se preocuparán por quedar atrás, y el acuerdo se invalidará rápidamente. Por eso, para que la reducción de velocidad sea creíble, es necesario rastrear los chips de alta gama, monitorear grandes centros de datos y determinar para qué se usa realmente la potencia de cómputo: si para entrenar o para otros fines.

Esto implica que, para evitar que la superinteligencia forme un nuevo centro de poder, la humanidad quizá necesite primero crear un centro de control global de potencia de cómputo.

Ahí está la contradicción más difícil de resolver en las propuestas de pausa de la IA:

El mecanismo para evitar que la tecnología se descontrole también puede convertirse en una herramienta de que el poder se descontrole.

“Los riesgos de la IA son grandes” no puede probar automáticamente que algún gobierno, organización internacional o laboratorio grande deba obtener poder ilimitado.

De forma equivalente, “la regulación podría abusarse” tampoco puede probar lo contrario de que los riesgos de la IA no existen.

Lo que realmente se debe revisar es la estructura institucional:

quién define el peligro, quién controla los datos, quién tiene autoridad para iniciar las limitaciones, quién puede obtener exenciones, quién supervisa la ejecución y si, cuando se cometen errores de juicio, ese poder puede retirarse.

Si estas preguntas no tienen respuesta, “seguridad de la IA” puede convertirse fácilmente en un documento de autorización técnica sin fecha de caducidad.

Entre el botón de pausa y el trono, solo falta una exención

“Pausar la IA” suena como una acción simple, pero en realidad puede representar dos sistemas institucionales totalmente distintos.

El primero es una pausa selectiva.

Quienes tienen el poder pueden decidir quién está autorizado a entrenar modelos y quién debe detenerse; quién pertenece a instituciones confiables y quién se considera un participante peligroso. Los demás quedan limitados, mientras quienes detentan el poder pueden conservar modelos, chips y potencia de cómputo.

Este mecanismo no termina realmente la carrera: solo decide con anticipación quién será el ganador.

No es un botón de pausa: es más bien un trono.

El segundo es una pausa de simetría.

Cuando se activan condiciones públicas de riesgo, todos los principales participantes quedan restringidos, incluida la parte encargada de ejecutar la pausa. No hay exenciones secretas, y tampoco se puede exigir que los competidores se detengan mientras el propio laboratorio sigue avanzando.

Este mecanismo se parece mucho más a un verdadero interruptor de corte.

Vitalik afirmó con claridad el punto de que el Plan A introduce “una destrucción mutua asegurada de la potencia de cómputo”. En comparación con otorgar a unos pocos participantes el derecho a limitar de forma selectiva a otros, mientras se eximen a sí mismos, este mecanismo al menos es más simétrico.

Pero la simetría tampoco resuelve automáticamente el problema.

Un sistema capaz de paralizar a gran escala la potencia global avanzada de cómputo es, por sí mismo, una herramienta de poder extremadamente fuerte. Podría activarse por información errónea, aprovecharse en conflictos políticos, ser manipulado por personas internas o causar grandes pérdidas debido a fallas técnicas.

Por ello, un mecanismo de pausa confiable, al menos, necesita cumplir varias condiciones:

las condiciones de activación deben ser públicas; la evidencia no debe estar monopolizada por una sola institución; las restricciones deben ser lo más simétricas posible; la pausa debe tener un plazo claro; y las reglas para reiniciar también deben redactarse con anticipación.

Especialmente, no se puede diseñar solo “cómo entrar en estado de emergencia”, pero no diseñar “cómo salir del estado de emergencia”.

En la realidad, una vez que una institución obtiene poder, suele ser más fácil demostrar que el peligro sigue existiendo que devolver voluntariamente el poder.

Por eso, el mecanismo de pausa de la IA, en sí mismo, también necesita un botón de pausa.

La verdadera concentración de poder no proviene solo de las empresas y los gobiernos

Hoy, cuando se habla del poder de la IA, la gente suele temer dos cosas.

Primero: que unas pocas grandes empresas monopolizan los modelos más potentes.

Segundo: que los gobiernos, en nombre de la seguridad, controlen chips, datos y desarrolladores.

Pero Vitalik advierte de un tercer riesgo más profundo:

la superinteligencia, por sí misma, también podría convertirse en el mayor concentrador de poder.

Hoy la humanidad tiene capacidad de negociación porque controla algunos recursos escasos: trabajo, conocimiento, capacidad de organización, capital, poder político y fuerza militar. Entre distintos grupos debe haber negociación mutua, porque ninguna parte puede eludir por completo a las demás.

Si la IA en investigación científica, programación, gestión, finanzas, difusión, ataques a redes e incluso la planificación militar es más rápida, más barata y más efectiva que los humanos, esas capacidades escasas que antes pertenecían a los humanos se depreciarán rápidamente.

Entonces, incluso si hay diez empresas de IA compitiendo en el mercado, eso no significa que la humanidad siga conservando la autoridad final para decidir.

La competencia del mercado puede limitar las ganancias de una empresa, pero quizá no pueda garantizar que la gente común conserve su capacidad de negociación.

Así que “hacer que gente confiable controle la IA más poderosa” no es la respuesta completa.

Solo traslada el problema de “si la IA controlará a la humanidad” a “qué pequeño grupo debería recibir primero la autoridad para controlar la IA más poderosa”.

d/acc es la base, pero no una respuesta universal

El d/acc que Vitalik impulsa desde hace tiempo puede entenderse como el desarrollo prioritario de tecnologías defensivas y descentralizadas.

Por ejemplo: software más seguro, verificación formal, criptografía, hardware abierto, defensa de redes, bioseguridad y herramientas de verificación de información.

El valor de estas líneas de trabajo está en que no dependen de un calendario exacto de superinteligencia.

Si al final la IA solo es una tecnología ordinaria, el software más seguro, el hardware más confiable y la capacidad de defensa pública más fuerte siguen valiendo la pena construirlos.

Si la IA se vuelve rápidamente más potente, estas tecnologías también pueden mejorar la capacidad de la sociedad para resistir ataques a redes, riesgos biológicos, backdoors de hardware y la manipulación de la información.

Es una estrategia de bajo arrepentimiento: cuando no se puede determinar a qué tipo de mundo pertenecerá el futuro, primero construir infraestructura de seguridad que, en cualquier caso, valdrá la pena tener.

Pero d/acc no es una cura milagrosa.

Si las capacidades de la IA realmente dan un salto en un periodo corto, la infraestructura defensiva quizá no alcance a desplegarse. Los sistemas más seguros pueden reducir el riesgo, pero no pueden demostrar que todas las carreras competitivas deban continuar.

Por eso, d/acc encaja mejor como base a largo plazo, mientras que el mecanismo de pausa es el seguro en situaciones extremas.

La base requiere construcción continua; el seguro no debería activarse a la ligera, pero tampoco se puede esperar a que el sistema ya se haya descontrolado para empezar a diseñarlo.

Más importante que predecir fechas: acordar con anticipación las condiciones de activación

La sugerencia más realista de este largo texto de Vitalik no es pausar de inmediato la IA, sino acordar con anticipación:

qué evidencia hará que las partes tengan que cambiar su juicio.

Hoy, pedirle a todos que estén de acuerdo con “la superinteligencia aparecerá en 2030” o con “no aparecerá en las próximas dos décadas” es casi imposible.

Pero distintos bandos aún pueden ponerse de acuerdo de antemano en algunas señales de riesgo.

Por ejemplo:

si la IA ya puede completar de forma independiente tareas de investigación y desarrollo continuas durante semanas;

si puede acelerar significativamente el desarrollo de la próxima generación de IA;

si cuenta con la capacidad de descubrir y explotar vulnerabilidades de red a gran escala;

si ha empezado a replicarse por cuenta propia, a obtener recursos o a eludir la supervisión;

si se ha conectado a armas, sistemas financieros y a infraestructuras críticas;

si ya ha causado daños sociales continuos y a gran escala.

El punto no es encontrar un indicador perfecto, sino transformar la discusión de “¿crees o no en la superinteligencia?” a “qué evidencia real te hará actualizar tu juicio”.

Quienes piensan que los riesgos de la IA están exagerados pueden aceptarlo, porque confían en que estas situaciones no ocurrirán.

Quienes temen la superinteligencia también pueden aceptarlo, porque creen que estas señales podrían aparecer muy pronto.

Ambas partes no necesitan unificar primero su visión del mundo; solo necesitan comprometerse con anticipación:

cuando cambie la realidad, las políticas también deben cambiar.

La intervención no debería tener solo dos posiciones: continuar y cerrar

La gobernanza ejecutable real de la IA tampoco debería saltar directamente entre “desarrollo completamente libre” y “cierre global”.

Una forma más razonable es establecer una intervención escalonada.

Cuando el riesgo sea bajo: aumentar la divulgación de capacidades, los reportes de incidentes y las pruebas de terceros.

Cuando el riesgo siga aumentando: restringir el acceso de los modelos a infraestructuras críticas, limitar permisos de alto riesgo como ejecución autónoma, gestión de fondos y control de armas.

Si la IA ya automatiza claramente la investigación y el desarrollo de IA, o si aparecen simultáneamente múltiples señales graves: restringir el nuevo entrenamiento de vanguardia y la expansión de potencia de cómputo a gran escala.

Solo cuando las medidas de menor intensidad no logren controlar el riesgo, entrar en una pausa con un alcance más amplio y un tiempo más corto.

Este diseño por niveles no está pensado para debilitar la supervisión, sino para que la intensidad de las políticas coincida con la fuerza de la evidencia.

Las instituciones verdaderamente peligrosas no suelen ser aquellas a las que no se les puede permitir medidas contundentes, sino aquellas que pueden saltarse todos los pasos intermedios y obtener poder ilimitado bajo el pretexto de “estado de emergencia”.

Conclusión

Lo verdaderamente difícil de la gobernanza de la IA no es la falta de postura, sino la falta de un sistema institucional capaz de acomodar errores de juicio.

Seguir la carrera no es una elección neutral.

Una pausa global tampoco es una elección neutral.

Los modelos abiertos no son naturalmente seguros; los modelos cerrados tampoco son naturalmente responsables.

Un sistema de gobernanza confiable, al menos, necesita responder cuatro preguntas:

¿en qué evidencia se basa para actuar?

¿también restringe por igual a quienes detentan el poder?

¿puede validarse desde fuera?

Después de un error de juicio, ¿puede retirarse el poder?

En la era de la IA, tal vez sí se necesite un botón de pausa.

Pero el verdadero problema del botón de pausa nunca es si se puede construir.

Sino:

quién tiene derecho a presionarlo, quién tiene derecho a reiniciarlo y cómo asegurar que nadie convierta este botón en su propio trono.