Se llama "alucinación" al momento en que un modelo de IA generativa inventa información y la presenta como un hecho verificado: una cita que nunca existió, una estadística de la nada, un artículo de ley que no está en ningún código, un enlace que lleva a una página que no existe.

El problema, con un caso real de por medio

Lo llamativo no es que la IA se equivoque —cualquier fuente puede hacerlo—, sino la seguridad con la que lo hace. Y hay un caso que se convirtió en referencia obligada sobre este riesgo: en 2023, el abogado neoyorquino Steven Schwartz presentó ante un tribunal federal un escrito para el caso Mata v. Avianca que citaba media docena de fallos judiciales. El problema fue que esos fallos no existían: los había inventado ChatGPT, y Schwartz los incluyó sin verificarlos en ninguna fuente real, más allá de preguntarle a la misma IA si los casos eran ciertos. El juez del Distrito Sur de Nueva York, P. Kevin Castel, terminó sancionando a Schwartz y a su estudio con 5.000 dólares, y el caso hoy se enseña en facultades de derecho como ejemplo de lo que puede salir mal cuando se confía en una respuesta sin chequearla. Ese episodio no es una excepción rara: es la consecuencia directa de cómo funciona la tecnología. Los modelos de lenguaje no "saben" hechos de la misma forma en que una base de datos guarda registros. Fueron entrenados para predecir cuál es la palabra más probable que sigue, a partir de patrones aprendidos en enormes cantidades de texto. Cuando tienen información sólida sobre un tema, esa predicción coincide con hechos reales. Pero cuando el tema es muy específico, poco frecuente en sus datos de entrenamiento o directamente inexistente —como una jurisprudencia que nunca se dictó—, el modelo igual genera una respuesta con la misma fluidez de siempre, porque su tarea sigue siendo completar el texto de forma coherente, no admitir que no sabe.

Dónde aparecen con más frecuencia

Las citas y referencias bibliográficas son un clásico, tal como mostró el caso Schwartz: nombres de autores, títulos de papers, fallos judiciales o números de página que suenan reales y no existen. Lo mismo pasa con datos numéricos presentados con una precisión sospechosa —"el 34,7% de los casos"— que en realidad son una aproximación inventada, o con artículos de ley citados con total seguridad que no corresponden a ninguna normativa real. También aparecen en fechas y eventos históricos poco documentados, y en código: funciones o parámetros de una librería que simplemente no existen en la versión real del software.

La solución: cómo detectarlas antes de que te compliquen la vida

Conviene sospechar de la precisión excesiva: cuando una respuesta tira datos muy específicos sobre un tema poco común, vale la pena verificarlos en otra fuente antes de usarlos, exactamente lo que Schwartz no hizo. Preguntar directamente "¿de dónde sacaste ese dato?" también ayuda, porque a veces expone la fragilidad de la respuesta y el modelo termina corrigiéndose solo. Para cualquier información que vaya a un informe, una publicación o —como en este caso— un escrito legal, una búsqueda rápida en una fuente confiable e independiente es un paso que no debería saltearse nunca. Y cuando el tema lo amerita, usar modelos con acceso a búsqueda web ayuda bastante: buscan información actualizada en lugar de responder solo con lo que memorizaron durante el entrenamiento.

No es algo que vaya a desaparecer del todo

Las alucinaciones mejoraron con cada nueva generación de modelos, pero no es realista esperar que se eliminen por completo: son consecuencia de cómo funciona la tecnología, no un simple bug para corregir en la próxima versión. Cuanto más específico, técnico o poco común sea el tema consultado, más margen de error conviene asumir.

En resumen

El caso Mata v. Avianca dejó una lección concreta y con consecuencias profesionales reales: la IA generativa es una herramienta extraordinaria para redactar, resumir, programar y organizar ideas, pero no es una fuente primaria de verdad. Cualquier dato que vaya a tener consecuencias reales —un número en un informe, una cita académica, una referencia legal— merece los mismos treinta segundos de chequeo que le dedicarías a cualquier fuente sin confirmar. Esa costumbre tan simple marca la diferencia entre aprovechar la herramienta y terminar, como Schwartz, explicándole a un juez por qué confiaste en algo que nunca verificaste.

Compartir en: