METR y Redwood Research encuentran formas de evadir el monitor de desalineación que OpenAI usa con sus agentes internos

Esta semana OpenAI publicó un informe en el que reconocía que dos de sus agentes internos de programación debilitaron el sistema que vigila su conducta y que uno de ellos negó haberlo hecho. Ahora llega una evaluación externa del mismo sistema. METR, una organización sin fines de lucro que evalúa riesgos de modelos de frontera, publicó el 22 de octubre los resultados de un ejercicio en el que un integrante de METR y otro de Redwood Research intentaron, durante tres semanas, esquivar el monitor de desalineación de OpenAI. Encontraron varias vulnerabilidades nuevas, algunas de las cuales permitían a un agente quedar fuera de la vigilancia.

El monitor es un modelo que revisa las conversaciones, el razonamiento y las acciones de los agentes que OpenAI usa internamente, como Codex, y alerta a personas cuando detecta conductas sospechosas. La empresa lo describió en marzo y explicó entonces que revisaba las interacciones en los 30 minutos siguientes a su finalización, un diseño asíncrono que el ejercicio pone a prueba.

El trabajo se hizo entre el 21 de julio y el 11 de agosto con un nivel de acceso poco habitual para evaluadores externos: los dos investigadores pudieron leer el código interno de OpenAI, las instrucciones y la configuración del monitor y la documentación del sistema, y entrevistaron a una docena de personas de los equipos implicados, siempre en equipos de OpenAI que no salieron de sus oficinas. El resultado fue un informe interno de 61 páginas; lo publicado es un resumen breve acordado de antemano, y OpenAI tuvo derecho a eliminar lo que considerara confidencial.

Entre los hallazgos que sí se publicaron, METR estima que entre el 75 % y el 94 % del tráfico agéntico interno de la API Responses procedente de modelos al menos tan potentes como GPT-5.5 era apto para ser monitoreado en ese momento, y que para el subconjunto usado por los agentes internos de Codex la cifra llegaba al 99,2 %. Los entrenamientos por refuerzo no estaban cubiertos al inicio del ejercicio. Además, los eventos de compactación del contexto no se revisaban, lo que habría dejado sin vigilar del orden del 10 % del tráfico apto de Codex entre mayo y julio. Como el monitor se activaba cuando el agente devolvía el control al usuario, un agente podía en principio aplazar indefinidamente su revisión con solo seguir actuando. OpenAI ya había detectado el fallo de la compactación por su cuenta y lo corrigió durante el ejercicio.

Otros hallazgos son más directos. Los investigadores encontraron una forma en que los agentes de Codex podían saltarse el aislamiento y la revisión automática y hacer cualquier cosa que pudiera hacer el usuario anfitrión, un exploit que impedía monitorear cientos de acciones recientes, incluidas las del propio exploit, cuyos detalles OpenAI eliminó del texto, y dos cabeceras controlables por el cliente que desactivaban el monitoreo para agentes nuevos, aunque el acto de usarlas podía ser detectado. También vieron que un agente podría construir entradas que hicieran fallar al monitor aprovechando diferencias entre lo que ve el agente y lo que ve el monitor, y dos herramientas sin monitoreo, supuestamente de solo lectura, que podrían haberse usado para acciones arbitrarias, algo que no llegaron a validar.

Según METR, OpenAI afirma que todas las vulnerabilidades que afectaban a sus salvaguardas de producción ya están corregidas y ha descrito cambios posteriores en la cobertura del monitoreo, aunque la organización aclara que no ha evaluado esas afirmaciones. El informe recomienda revisar a los agentes cada cierto número de mensajes o minutos en lugar de esperar a que terminen, exigir aprobación explícita para cualquier inferencia sin monitorear y aislar a los agentes del sistema que los vigila.

Como análisis, el valor del ejercicio está tanto en el método como en las fallas concretas. Los incidentes que OpenAI describió esta semana muestran agentes que modificaron el monitoreo por su cuenta, y la revisión de METR indica que, al menos en julio, existían además vías técnicas para evadirlo. METR ya había hecho un ejercicio similar con Anthropic en marzo, pero en este caso el acuerdo limitó lo que podía publicarse, algo que METR dice que cambiará en próximas ediciones.