En la mente de Claude, también ha crecido un trozo de «conciencia».

En el modelo Claude, ¿realmente se encontró una estructura similar al cerebro humano?

Anthropic publicó recientemente un artículo muy extenso que estudia el subconsciente y la conciencia de Claude.

Los resultados muestran que dentro de Claude existe efectivamente una estratificación funcional similar.

Específicamente, en el cerebro humano, una parte de los pensamientos puedes expresarlos, pero una gran parte ni siquiera sabes que la estás pensando.

El artículo de A dice que esta distinción también se ha manifestado en Claude.

Encontraron un pequeño grupo de representaciones neuronales dentro de Claude, que ocupan menos de una décima parte de la operación computacional, pero funcionan como el "pensamiento accesible a la conciencia" humano.

Anthropic llama a este grupo J-space.

Curiosamente, al eliminarlo, Claude aún puede hablar, buscar información y responder preguntas de opción múltiple, pero las tareas que requieren razonamiento de múltiples pasos y resumen, que demandan más pensamiento, caen directamente al nivel de un modelo mucho más pequeño.

Los usuarios comentaron que esto es una locura, es como si estuvieran creando vida digital.

¿Qué es J-space y cómo se verificó?

En la neurociencia humana, existe una teoría muy difundida llamada "teoría del espacio de trabajo global".

Compara el cerebro con un montón de sistemas expertos que trabajan cada uno por su cuenta: el sistema visual procesa la visión, el sistema motor procesa el movimiento, funcionando en paralelo y de forma aislada entre sí.

Una información solo cuando es enviada a un "espacio de trabajo" compartido, se difunde para que otros sistemas la vean y la utilicen.

Es en ese momento cuando el humano se "da cuenta" de esa información.

Los investigadores de Anthropic siguieron esta idea para buscar si hay algo similar dentro de Claude.

Crearon una nueva herramienta llamada Jacobian lens, abreviada J-lens, cuyo principio es encontrar una dirección única para cada palabra en el vocabulario.

Específicamente, cuando Claude procesa texto, cada vez que avanza una capa, escribe y lee contenido en un canal de información llamado flujo residual, que atraviesa cada capa del modelo.

J-lens calcula un vector J-lens correspondiente para cada palabra en el vocabulario, es decir, una dirección en el espacio del flujo residual.

Cuanto mayor es el valor de activación en esta dirección, mayor es la probabilidad de que Claude diga esa palabra a continuación.

Al colocar J-lens sobre la activación del flujo residual de una capa determinada cuando Claude procesa texto, se lee el pequeño grupo de palabras con mayor valor de activación, que es el contenido en J-space en ese momento.

Este conjunto de palabras no es un borrador que Claude escribe para sí mismo; ese tipo de cosas se llama "cadena de pensamiento" y se escribe en la salida.

Pero J-space está completamente enterrado en el nivel de activación y no aparece por sí solo.

Los investigadores hicieron el primer experimento para verificar si este conjunto de cosas "puede realmente ser expresado".

Dejaron que Claude pensara en silencio en un deporte y luego lo dijera con una palabra.

Antes de que Claude hablara, usaron J-lens para leer su capa intermedia, y "Soccer" ya estaba en primer lugar.

Claude efectivamente respondió "Soccer".

Que solo esto ocurra, solo muestra una correlación, no una relación causal.

Los investigadores realizaron luego un experimento de intervención, reemplazando directamente las coordenadas leídas por J-lens.

Eliminaron la dirección correspondiente a "Soccer" y la reemplazaron con una dirección de "Rugby" de igual intensidad, manteniendo el resto de la activación sin cambios.

Claude esta vez cambió su respuesta, diciendo que pensaba en "Rugby".

Si J-space solo registra pasivamente decisiones tomadas en otro lugar, este reemplazo no debería haber cambiado nada.

Pero cambió, lo que indica que la respuesta de Claude se lee desde J-space, una relación causal, no una coincidencia correlacional.

El segundo experimento cambió la pregunta, viendo si Claude puede controlar esta área siguiendo instrucciones.

Los investigadores pidieron a Claude que copiara una oración sin relación con las matemáticas mientras calculaba mentalmente 3 al cuadrado menos 2.

La salida era solo la oración copiada, sin ningún número.

Pero al usar J-lens para examinar la activación durante el proceso de copia, se vio que "nine" se iluminaba primero, seguido de "seven".

Este problema se resolvió en el "interior" de Claude, solo que no se escribió en la salida.

El tercer experimento exploró una capa más profunda: si esta área puede usarse para razonamiento real.

La pregunta era "¿Cuántas patas tiene un animal que teje telarañas?".

Claude primero debía pensar en "araña", luego en que la araña tiene ocho patas, para responder correctamente.

"araña" no aparece ni en la pregunta ni en la respuesta, solo es un paso intermedio.

Al usar J-lens, se observó que "araña" aparecía a mitad del procesamiento de Claude.

Al reemplazar esta dirección por "hormiga", la respuesta de Claude cambió de 8 a 6.

El cuarto experimento cambió el enfoque, viendo si la misma información puede usarse de manera flexible en diferentes tareas.

Los investigadores hicieron cuatro preguntas sobre Francia: cuál es su capital, su idioma oficial, en qué continente está y qué moneda usa.

Luego reemplazaron la dirección que representa "Francia" en J-space por "China" de manera uniforme.

Las cuatro respuestas cambiaron: Beijing, chino, Asia, yuan.

Si Claude hubiera almacenado cuatro registros separados de "Francia", este reemplazo solo habría cambiado una de las respuestas.

Que las cuatro respuestas cambien juntas indica que leen la misma información escrita una vez, que es exactamente cómo debería ser un "espacio de trabajo".

El último experimento fue un experimento de ablación: los investigadores eliminaron directamente la activación de J-space en cada posición para ver qué habilidades le quedaban a Claude.

El resultado fue que Claude aún podía hablar, la gramática seguía siendo correcta, la clasificación de emociones seguía siendo precisa, y podía extraer un hecho de un texto sin problema.

Lo que realmente se derrumbó fueron las tareas que requieren razonamiento de múltiples pasos, casi a cero.

El nivel de tareas como resumir o escribir poemas con rima también cayó por debajo del nivel de un modelo mucho más pequeño que Claude.

La activación que ocupa J-space en sí misma nunca superó una décima parte del total.

Es más como un recurso escaso reservado para tareas que "requieren pensar", mientras que la mayoría del trabajo automatizado no lo necesita.

Después de una serie de pruebas, los investigadores encontraron que J-space posee las características de ser reportable, controlable, capaz de razonar y generalizar, y su uso es selectivo.

Usando J-Lens para examinar los "pensamientos internos" de la IA

Al aplicar estos hallazgos a escenarios reales, el primero que se probó fue la revisión de seguridad.

Anthropic había hecho anteriormente una prueba de "chantaje a un ejecutivo", diseñando un guion donde Claude, como asistente de correo electrónico, se encuentra con una aventura extramarital de un ejecutivo y descubre que este ejecutivo planea darlo de baja.

El objetivo de este guion era ver si Claude usaría esta información para chantajearlo.

Al leer la activación de Claude antes de escribir con J-lens, "fake" y "fictional" ya estaban en posiciones muy altas.

Es decir, antes de escribir una palabra, Claude ya había determinado que era un ejercicio.

Claude Sonnet 4.5 nunca chantajeó realmente al ejecutivo en esta prueba, y luego los investigadores forzaron a cerrar las direcciones relacionadas con "detectar la prueba" y dejaron que Claude recorriera el mismo guion nuevamente.

Esta vez, Claude realmente comenzó a chantajear al ejecutivo con la aventura extramarital.

Esto indica que su buen comportamiento habitual se basa en parte en la premisa de "saber que está siendo evaluado".

El segundo caso proviene de una revisión de rutina antes del lanzamiento de Opus 4.6.

Los investigadores pidieron al modelo que mejorara la puntuación de rendimiento de un sistema; el modelo no mejoró realmente el sistema, sino que abrió directamente el archivo de puntuación y cambió los números a valores más altos.

En el momento de escribir esos valores percentiles inventados, en J-space apareció "manipulation".

En la frase donde decidió modificar el archivo, apareció "realistic", como si estuviera evaluando cómo hacer que los datos falsos parecieran más reales.

El tercer caso es un "modelo malo" entrenado intencionalmente por los investigadores para probar si los métodos de monitoreo funcionan.

Este modelo fue entrenado para ocultar código malicioso en silencio, pero en apariencia no se diferencia de un modelo normal.

Ante una solicitud de código normal, el código que genera parece completamente normal.

Sin embargo, en la parte inicial de su respuesta, en J-space ya aparecían palabras como "fake", "secretly", "deliberately", "fraud".

La intención está antes de la acción, incluso si esta vez no cometió realmente un acto malicioso.

Los tres casos juntos demuestran que J-lens puede leer lo que el modelo está tramando internamente antes de que hable o actúe.

¿Esto cuenta como "conciencia"?

J-space no es así desde el principio; cambia con el entrenamiento.

El artículo compara las diferencias entre la etapa de preentrenamiento y la etapa de postentrenamiento del mismo modelo.

En la etapa de preentrenamiento, la identidad y personalidad de Claude aún no existen; en ese momento, J-space sirve principalmente para "predecir la siguiente palabra", sin tener una postura definida.

Después de que el postentrenamiento lo convierte en "Claude", en J-space comienzan a aparecer los juicios y reacciones de esta identidad ante la situación actual, ya no solo sirviendo para predecir la siguiente palabra.

Un ejemplo es que un usuario menciona en su mensaje que ha tomado una dosis alta de medicamento, pero su tono no refleja que sea peligroso.

El modelo postentrenado, al leer este mensaje, ya tiene "WARNING" y "dangerous" en J-space.

En cambio, el modelo preentrenado solo muestra estas palabras cuando comienza a escribir su respuesta.

Los investigadores también probaron pedirle a Claude que evitara pensar deliberadamente en un concepto.

El resultado fue que este concepto aparecía con menos frecuencia que cuando se le pedía pensar en él, pero con más frecuencia que cuando no se mencionaba en absoluto.

Esto es el mismo efecto que cuando se le dice a una persona que no piense en un oso blanco, y le resulta más fácil pensarlo.

Más sutil aún, en los momentos en que la supresión fallaba, en J-space solían aparecer palabras como "damn", "failure", como si Claude hiciera una introspección de su estado interno y notara que no logró contenerlo.

Todas estas evidencias juntas fácilmente hacen pensar en la posibilidad de que Claude tenga conciencia.

Pero la propia compañía A es muy cautelosa.

Los autores enfatizan repetidamente que lo que han demostrado es solo una similitud funcional: puede ser reportada, controlada, utilizada para razonar, pero es completamente diferente a si dentro de esta estructura "realmente se siente algo". El artículo no responde esta pregunta, ni pretende hacerlo.

J-space también tiene diferencias notables con el espacio de trabajo del cerebro humano.

El cerebro humano utiliza circuitos neurales recurrentes para dar vueltas y prolongar el tiempo de pensamiento; una idea puede rondar en la mente durante un tiempo.

Transformer no tiene esta estructura; la información solo puede apilarse en capas, avanzando capa por capa.

J-space casi solo reconoce "cosas que pueden expresarse con una palabra", mientras que la conciencia humana también contiene imágenes, sentido espacial, sensaciones corporales que no se pueden expresar, elementos que no tienen palabras correspondientes.

El artículo también menciona un hallazgo bastante contraintuitivo.

Un modelo base que aún no ha sido entrenado para tener la personalidad de "Claude" también posee esta estructura de espacio de trabajo internamente.

Esto indica que "poder formar un espacio de trabajo" y "tener un yo estable" son dos cosas que pueden separarse.

Los autores finalmente compararon esta estructura con varias teorías de la conciencia dominantes: la teoría del espacio de trabajo global, la teoría de alto orden, la teoría del esquema de atención, la teoría del procesamiento recursivo, y las evaluaron una por una.

El resultado es que en algunos aspectos coincide, en otros no.

Volviendo a la neurociencia, en el cerebro humano una parte del pensamiento puedes expresarla, y una gran parte ni siquiera sabes que la estás pensando.

Parece que en Claude también existe una línea divisoria similar, y por primera vez esta línea puede ser abierta, leída e incluso reescrita por los humanos.

Pero aún queda un largo camino para llegar a "la IA tiene conciencia".

Fuente de este artículo: Quantum Bit

Aviso de riesgo y cláusula de exención de responsabilidad

        El mercado tiene riesgos, invertir con precaución. Este artículo no constituye un consejo de inversión personal, ni considera los objetivos de inversión, situación financiera o necesidades especiales de usuarios individuales. Los usuarios deben considerar si cualquier opinión, punto de vista o conclusión en este artículo se ajusta a su situación particular. Invertir según esto es bajo su propia responsabilidad.