Nuevas Métricas de IA: El Paradigma HAIC para una Evaluación Realista

Durante décadas, la inteligencia artificial se ha evaluado principalmente comparando su rendimiento con el humano en tareas aisladas, generando rankings y titulares.

Sin embargo, esta metodología presenta un problema fundamental: la IA rara vez se utiliza de la forma en que se prueba. Las evaluaciones actuales no consideran cómo la IA interactúa con equipos humanos y flujos de trabajo complejos, donde su rendimiento real se manifiesta a lo largo del tiempo. Esta desconexión lleva a una subestimación de los riesgos sistémicos y a una mala interpretación de las consecuencias económicas y sociales de la IA.

Para abordar estas deficiencias, se propone un enfoque diferente, las métricas HAIC (Evaluación Humano-IA, Específica del Contexto). Este marco, estudiado desde 2022 en diversas organizaciones del Reino Unido, Estados Unidos y Asia, busca evaluar el rendimiento de la IA dentro de equipos humanos y flujos de trabajo.

El enfoque HAIC se basa en cuatro pilares: pasar del rendimiento individual al rendimiento en equipo, ampliar el horizonte temporal, evaluar los resultados organizacionales y considerar los efectos sistémicos.

Los puntajes de referencia de la IA, aunque parecen objetivos, pueden ser engañosos al determinar la viabilidad de una aplicación en el mundo real. Un ejemplo son los modelos de IA aprobados por la FDA para la lectura de escaneos médicos, que, a pesar de sus altas puntuaciones, pueden aumentar el tiempo de interpretación en entornos hospitalarios debido a los estándares de informes y requisitos regulatorios.

Cuando las métricas actuales no predicen el rendimiento real, los modelos de IA pueden ser abandonados, generando desperdicio de recursos y erosionando la confianza en la tecnología.

Las métricas HAIC redefinen la evaluación de la IA, cambiando la unidad de análisis del individuo al equipo, expandiendo el horizonte temporal y ampliando las medidas de resultado a los resultados organizacionales.

Por ejemplo, un hospital en el Reino Unido evaluó cómo una aplicación de IA médica afectaba la coordinación y deliberación en equipos multidisciplinarios, considerando métricas como la influencia de la IA en el razonamiento colectivo y la gestión de riesgos.

La evaluación a largo plazo permite identificar los efectos sistémicos que las métricas a corto plazo pasan por alto. Por ejemplo, una aplicación de IA puede superar a un médico en una tarea específica, pero no mejorar la toma de decisiones multidisciplinaria, o incluso introducir ineficiencias.

El enfoque HAIC reconoce que, aunque puede ser más complejo y costoso, es crucial para comprender lo que la IA realmente puede lograr en entornos reales, midiendo no solo lo que un modelo puede hacer solo, sino lo que permite o socava cuando los humanos trabajan con él.