La IA ve 'espejismos': Revelaciones sobre la percepción 'alienígena' de las máquinas

La empresa Anthropic, conocida por sus avances en inteligencia artificial, ha experimentado varias filtraciones de datos sensibles, lo que pone de manifiesto los desafíos en la seguridad de la IA. La más reciente involucra la filtración del código de 'Claude Code', un componente crucial de su sistema. Previamente, un borrador de blog sobre su nuevo modelo 'Mythos' (cuyo nombre en código interno es 'Capybara') se publicó accidentalmente en una base de datos pública y de fácil acceso. Esta publicación contenía detalles sobre un retiro de CEO y documentos internos relacionados con licencias de paternidad de empleados.

Estos incidentes resaltan la necesidad de una mayor vigilancia en la seguridad de los datos a medida que las empresas de IA desarrollan modelos más sofisticados y potentes. La vulnerabilidad de estos sistemas a las filtraciones de datos plantea interrogantes sobre la protección de la información sensible y el impacto potencial de estas brechas en la privacidad y la seguridad.

Un estudio de la Universidad de Stanford revela que los modelos de IA multimodal, que analizan tanto texto como imágenes, pueden generar diagnósticos basados en imágenes inexistentes. Estos modelos, al ser interrogados sobre imágenes médicas que nunca se les proporcionaron, ofrecen evaluaciones a menudo precisas, mostrando una tendencia a identificar patologías en imágenes fantasma. En pruebas de referencia, estos modelos obtuvieron resultados sorprendentemente altos, entre el 70% y el 80% de los resultados que logran cuando sí tienen acceso a imágenes.

Este comportamiento sugiere una desviación fundamental de la forma en que los humanos perciben y procesan la información visual. La capacidad de los modelos para 'ver' imágenes que no existen plantea preocupaciones sobre el potencial de errores de diagnóstico y el uso inadecuado de la IA en entornos médicos reales.

Investigadores utilizaron el modelo de IA de código abierto Qwen-2.5 de Alibaba para analizar pruebas de rayos X. Al entrenar el modelo sin acceso a las imágenes, descubrieron que superaba a otros modelos de IA y, en algunos casos, a radiólogos humanos en pruebas estándar. El modelo, a pesar de no ver ninguna imagen, generó 'trazas de razonamiento' comparables e indistinguibles de las de modelos multimodales avanzados.

Este hallazgo indica que los modelos pueden identificar patrones lingüísticos sutiles en las preguntas de las pruebas que les permiten deducir las respuestas correctas, incluso sin imágenes. Esto sugiere que las evaluaciones actuales de IA multimodal pueden no reflejar su rendimiento en situaciones médicas reales, lo que plantea interrogantes sobre la confiabilidad de estas herramientas.

Las analogías que se utilizan para comprender la IA, como compararla con pasantes, estudiantes de doctorado o colegas, resultan inadecuadas. Los modelos de lenguaje de gran tamaño (LLMs) que impulsan la IA actual operan de manera fundamentalmente diferente a los humanos. La investigación muestra que la forma en que estos modelos 'piensan' y alcanzan sus resultados es tan ajena a nosotros como lo es la de nuestras mascotas.

La tendencia a antropomorfizar la IA puede llevar a diseñar sistemas deficientes y a consecuencias inesperadas. Es crucial entender que la IA requiere un enfoque adaptado a su 'mente alienígena', en lugar de basarse en la comprensión humana.

La investigación destaca la importancia de diseñar sistemas de IA que tengan en cuenta la naturaleza distinta de su funcionamiento. Es necesario dejar de lado las analogías humanas y crear flujos de trabajo que se adapten a la forma en que la IA percibe y procesa la información.

La creciente capacidad de la IA, junto con su falta de fiabilidad, exige un enfoque de ingeniería que reconozca y se adapte a su mentalidad 'alienígena'. Esto es esencial para evitar errores de diagnóstico y garantizar un uso responsable y efectivo de la IA en diferentes ámbitos.