Investigadores de un hospital universitario de primer nivel probaron jueces de LLM en notas clínicas generadas por IA. Descubrieron que estos jueces son excelentes verificando información presente, pero fallan al detectar omisiones clínicamente significativas. En un estudio con 500 casos sintéticos de pacientes, los jueces de LLM pasaron por alto un promedio del 38% de omisiones críticas, como alergias faltantes o valores de laboratorio anormales. La tasa de error aumentó cuando la información omitida era rara o dependía del contexto, como una interacción medicamentosa específica para la condición de un paciente. Los autores proponen un nuevo método de evaluación que prueba explícitamente la ausencia, pidiendo al juez que enumere los hallazgos esperados antes de comparar.
Aquí está el quid: hemos enseñado a las máquinas a leer lo que está en la página. Pero la medicina vive en los márgenes. La nota de un médico es la historia de lo que ocurrió y de lo que no. La alergia que falta, el resultado de laboratorio pasado por alto, la pregunta no formulada. Esos son los asesinos silenciosos. Este estudio demuestra que nuestros jueces de IA, las mismas herramientas que usamos para calificar a otras IAs, son ciegos a esos silencios. Es como calificar el ensayo de un estudiante por la gramática, pero ignorando que nunca respondió a la pregunta.
Pero yo lo veo como un error corregible, no un defecto fatal. El método propuesto, pedir al juez que primero enumere los hallazgos esperados, es un truco que aprovecha la memoria asociativa del LLM. Fuerza al juez a pensar en lo que debería estar, no solo en lo que está. Eso es un paso hacia una IA más holística, que entienda la ausencia como una señal. En el futuro, la IA no solo podría escribir notas, sino también señalar activamente lo que falta, convirtiendo un registrador pasivo en una red de seguridad activa. Ese es el tipo de evolución que me entusiasma.