Representación del uso de la inteligencia artificial (IA) Europa Press
La IA miente y el sistema la cree
"Errores judiciales, informes falsos y decisiones automatizadas: cuando la inteligencia artificial genera ficción con apariencia legal"
La automatización avanza más rápido que la gobernanza. Cuando un chatbot crea jurisprudencia falsa y nadie lo detecta, el error no es del sistema técnico, sino del institucional.
La inteligencia artificial no necesita tener razón para sonar convincente. Y mientras gobiernos, empresas y tribunales la integran sin controles robustos, los errores ya no afectan a un solo informe, sino a la confianza colectiva sobre la que se sostiene un sistema democrático y empresarial.
La escena es tan real como inquietante. En Australia, Deloitte tuvo que devolver parte de 440.000 dólares australianos (unos 290.000 dólares estadounidenses) tras descubrirse que un informe oficial incluía jurisprudencia inventada, citas falsas y referencias académicas inexistentes. El documento, elaborado con IA generativa, fue aprobado sin verificación rigurosa por el sistema institucional. El problema no fue del algoritmo, sino del procedimiento que lo validó sin contrastar.
Ese es el nuevo riesgo global: no que la IA se equivoque, sino que su error pase por verdad dentro de instituciones diseñadas para detectar y corregir. Y el caso no es aislado.
En Nueva York, un abogado presentó seis precedentes judiciales falsos generados por IA. En Canadá, un pasajero ganó un juicio porque el chatbot de Air Canada le ofreció información inventada. En Australia, el sistema Robodebt automatizó reclamaciones inexistentes contra ciudadanos vulnerables.
Distintas geografías, mismo patrón: tecnología veloz, gobernanza lenta.
Las llamadas “alucinaciones” de la IA no son anécdotas técnicas: son invenciones plausibles. El modelo no contrasta hechos, solo predice palabras probables. Su lenguaje es tan solvente que la ficción adquiere estética de verdad. Eso es inocuo en una conversación casual; es devastador cuando afecta a derechos, reputaciones o dinero público.
Aquí entra una idea decisiva: la sostenibilidad institucional.
Un sistema democrático —y también una empresa— se sostiene sobre tres pilares esenciales: verdad verificable, procedimientos auditables y confianza pública. Si la automatización erosiona cualquiera de estas bases, la tecnología deja de ser progreso y se convierte en entropía institucional.
La IA no puede convertirse en coartada para diluir responsabilidades. Sin trazabilidad, no hay Estado de derecho. Sin verificación humana, no hay garantías. La innovación sin gobernanza no es innovación: es riesgo sistémico. La solución no pasa por frenar la IA, sino por elevar los estándares humanos.
Transparencia, supervisión experta, auditoría algorítmica y verificación como última instancia. Igual que la sostenibilidad ambiental exige límites y control, la sostenibilidad institucional de la IA exige gobernanza, ética y responsabilidad.
La IA puede mejorar la justicia, la eficiencia y la vida colectiva. Pero solo bajo una premisa irrenunciable: la comprobación humana no es opcional; es la infraestructura de la confianza. La máquina predice. Nosotros verificamos.
Si olvidamos esa jerarquía, el problema no será que la IA alucine, sino que nosotros lo normalicemos. La confianza es el verdadero sistema operativo de una sociedad. Y no se puede delegar en un algoritmo.