Microsoft publica en Science su sistema de diagnóstico MAI-DxO, que superó a médicos generalistas en una prueba controlada
El orquestador simula un panel de médicos que pregunta, pide pruebas y revisa hipótesis paso a paso. En casos complejos acertó el 83,2 % frente al 36,1 % de los médicos participantes, aunque los autores advierten que el resultado no se traslada a la práctica clínica real.
Los modelos de lenguaje llevan años obteniendo notas altas en exámenes de licencia médica, pero esas pruebas tienen poco que ver con el trabajo real de diagnosticar. En un examen toda la información llega de una vez y basta elegir una respuesta; en una consulta, el médico parte de un síntoma, decide qué preguntar y qué pruebas pedir, sopesa el costo y la molestia de cada una y revisa sus hipótesis a medida que llegan los resultados. Un equipo de investigadores de Microsoft, entre ellos Harsha Nori, Eric Horvitz y Mustafa Suleyman, intentó medir esa otra habilidad, y el 22 de octubre publicó sus resultados en la revista Science.
El trabajo tiene dos piezas. La primera es SDBench, un banco de pruebas que convierte 304 casos clínico-patológicos del New England Journal of Medicine, elegidos por su dificultad y valor didáctico, y 325 ingresos desde urgencias tomados de la base MIMIC-IV-ED en encuentros interactivos. Cada caso empieza con un resumen breve y el diagnosticador, sea un médico o un sistema de IA, puede hacer preguntas, pedir exámenes o comprometerse con un diagnóstico. Un agente llamado Gatekeeper responde solo con la información que se obtendría de esa pregunta o prueba, un agente juez evalúa el diagnóstico final con una rúbrica escrita por médicos y el costo de las pruebas se estima con los precios públicos de un hospital estadounidense. La segunda pieza es el sistema evaluado, que Microsoft llama MAI-DxO: un orquestador que no depende de un modelo concreto y que simula un panel de expertos con funciones complementarias, que proponen diagnósticos, cuestionan la hipótesis dominante y eligen qué pruebas valen la pena por su costo.
Con GPT-5, el sistema sin restricciones de presupuesto acertó el 83,2 % de los casos del NEJM con un costo medio de 5.431 dólares por caso, y una configuración más austera llegó al 79,6 % con 1.303 dólares. Los médicos participantes, generalistas de atención primaria, medicina interna y urgencias, acertaron el 22,3 % sin materiales de consulta y el 36,1 % con ellos; el mejor de ellos llegó al 51,8 %. En los casos de urgencias, más representativos de la práctica diaria, MAI-DxO acertó el 80,3 % frente al 46,8 % de los médicos. El artículo describe también una diferencia de estrategia: los médicos pedían su primera prueba tras 5,6 preguntas en promedio, mientras que el sistema hacía 25,5 antes de solicitar la primera. Según Microsoft, las ventajas se mantuvieron al repetir la evaluación con GPT-5.5 sin cambiar el método.
Los propios autores acotan el alcance. Escriben que estas comparaciones no demuestran superioridad frente a especialistas, equipos multidisciplinarios ni la práctica clínica real, y que la ventaja se amplifica en una simulación solo de texto, sin historia clínica electrónica, imágenes ni la ambigüedad de un paciente que olvida u omite datos. Los casos excluyen encuentros sanos o benignos, de modo que la mezcla de enfermedades no refleja la de una consulta habitual, y la rúbrica juzga el diagnóstico, no el tratamiento ni la seguridad. Todos los autores son empleados de Microsoft con acciones de la empresa, y varios figuran como inventores en una solicitud de patente relacionada.
Microsoft dice que publica en código abierto SDBench para una selección de casos del NEJM, con el Gatekeeper, el juez y el estimador de costos, para que otros grupos reproduzcan o cuestionen los resultados. También anunció un estudio prospectivo con el Beth Israel Deaconess Medical Center de Boston en el que pacientes interactuarán directamente con el sistema y su desempeño se comparará con las evaluaciones independientes de los médicos.
Como análisis, el aporte más sólido del trabajo es metodológico: evaluar el diagnóstico como un proceso con costos, y no como una pregunta de opción múltiple, permite detectar fallas que los exámenes ocultan, como pedir pruebas de forma indiscriminada o cerrar un caso demasiado pronto. Las cifras frente a médicos llaman la atención, pero la prueba que importa es la clínica, y esa apenas empieza con el estudio anunciado en Boston.