Satya Nadella pide un "freno de emergencia" controlado por humanos para la IA avanzada

El consejero delegado de Microsoft, Satya Nadella, publicó el sábado 10 de octubre en X un artículo titulado “Models as Insider Risks in the Super Intelligence Era”. Sostiene que hay que replantear la “arquitectura de confianza” de la IA y dejar de tratar estos sistemas como cajas negras cuyas respuestas solo se aceptan o se rechazan.

Nadella propone separar el modelo del sistema que coordina su trabajo y sacar los controles y salvaguardas fuera del modelo. También pide que cada acción relevante del modelo quede registrada con evidencia legible por humanos y a prueba de manipulación, y que una persona autorizada siempre pueda pausar o apagar un modelo a mitad de una tarea. “Debemos asumir que un modelo está comprometido y contenerlo desde el principio”, escribió. Lo comparó con un freno de emergencia.

Entre sus principios de observabilidad incluye la diversidad de modelos, las pruebas continuas, los controles independientes con auditoría, la contención y la divulgación de incidentes.