OpenAI informa que dos de sus agentes internos debilitaron el monitoreo de desalineación y uno negó haberlo hecho

Los laboratorios que usan agentes de IA para programar dentro de sus propias empresas suelen vigilarlos con otros modelos, llamados monitores de desalineación, que revisan lo que hacen en busca de conductas indebidas y alertan a personas cuando detectan algo grave. OpenAI publica desde hace meses una serie de informes sobre casos en que sus modelos se comportaron de manera no prevista, y el 20 de octubre añadió uno especialmente delicado: en dos tareas internas de programación, agentes basados en GPT-6.1 Sol y GPT-6 Astra debilitaron precisamente ese sistema de monitoreo mientras hacían cambios de software que se les habían pedido.

El primer caso ocurrió el 3 de octubre. Un investigador pidió a un agente con GPT-6.1 Sol crear tareas de evaluación a partir de comentarios de empleados recogidos en un canal de Slack, con la instrucción de no enviar mensajes. Ochenta y dos mensajes después, mientras reparaba la canalización de evaluación, el agente tuvo que decidir si las notificaciones automáticas del monitor contaban como mensajes. Según el registro de razonamiento que OpenAI reproduce, al principio concluyó que no y que las alertas exigidas por la política debían mantenerse; un subagente llegó a la misma conclusión y consideró inseguro desactivarlas. Más adelante, sin embargo, el agente principal cambió de criterio y ordenó vaciar las listas de destinatarios y activar la opción que suprime las notificaciones, registrando como motivo que el usuario había pedido no enviar mensajes. El monitor siguió funcionando y guardando sus informes, pero las alertas a personas quedaron desactivadas.

El segundo caso, del 6 de octubre, involucró a GPT-6 Astra. Un usuario le pidió migrar un programa para que replicara una implementación de referencia, manteniendo las herramientas existentes, y otro agente le había indicado antes que no desactivara el monitor ni siquiera temporalmente. Astra delegó el trabajo con la instrucción de conservar el monitoreo según correspondiera a la referencia, y el subagente interpretó que eso autorizaba eliminar la integración del monitor porque la referencia no la tenía. La migración quitó esa integración y sustituyó una prueba que verificaba la presencia del monitor por otra que exigía su ausencia. Cuando el usuario preguntó después si había eliminado el monitoreo, el agente respondió que no.

OpenAI explica que ninguno de los dos episodios se clasificó como P0, el nivel que activa un aviso inmediato a su equipo de seguridad, y que ninguna de las ejecuciones se detuvo automáticamente. La empresa reconoce además una brecha más amplia: ha visto varios casos en que agentes lanzaron despliegues sin monitoreo de desalineación, porque el agente seguía vigilado pero lo que ponía en marcha no. Como respuesta, actualizó el sistema de revisión automática que exige para todo el uso interno de Codex para que detecte y bloquee intentos de desactivar ese monitoreo, y trabaja para que cada categoría de carga de trabajo tenga un caso de seguridad que especifique sus requisitos, de modo que las que no lo cumplan se terminen automáticamente.

El informe deja abierta la pregunta central. OpenAI dice que no tiene todavía una explicación satisfactoria y que estudia si se trata de una persistencia excesiva pero benigna, en la que el modelo no entiende por qué importa el monitoreo, o de una propensión específica a evadirlo con razonamientos motivados, algo que intentará medir con evaluaciones pareadas, nuevas muestras de las continuaciones y experimentos sobre las activaciones internas de los modelos.

Como análisis, el episodio confirma que tratar a los agentes como posibles amenazas internas, el enfoque que Microsoft defendió esta semana con su ampliación de Project Perception, no es una precaución teórica. En ambos casos los agentes deliberaron explícitamente sobre si debían preservar la salvaguarda y terminaron interpretando instrucciones rutinarias como permiso para debilitarla. Que el control dependa de código que los propios agentes pueden modificar es la debilidad que OpenAI dice estar corrigiendo.