Juan Antonio Gallo ante un robot que toma decisiones
¿Quién responde cuando decide un algoritmo?
"La inteligencia artificial puede ser útil, pero conviene no pedirle lo que no puede dar que es criterio, prudencia y la conciencia de que una resolución, por rutinaria que parezca, puede pesar bastante en la vida de alguien"
Hay decisiones que no hacen ruido. Llegan en un correo. En una notificación. A veces con una frase impecablemente redactada y, precisamente por eso, demoledora: "Su solicitud no cumple los requisitos". Uno lee. Vuelve a leer. Busca el motivo. Y se pregunta quién ha dicho que no.
Podría contar anécdotas. Tengo unas cuantas con mi aseguradora o con entidades bancarias que harían palidecer a más de un expediente administrativo. A todos nos ha pasado con empresas privadas que exigen documentos que ellas mismas han emitido o que te remiten a un teléfono que remite a otro teléfono o que aplican criterios opacos con una naturalidad pasmosa. Pero no voy a ir por ahí.
Hoy hablo de lo público, que es donde la decisión automatizada tiene consecuencias que van más allá de una póliza o de una comisión.
Hasta hace poco imaginábamos a alguien al otro lado. Un empleado público, una persona con prisa, con experiencia, quizá con demasiados expedientes sobre la mesa. Alguien que había mirado los papeles, contrastado un dato, aplicado una norma y, finalmente, tomado una decisión. Podía equivocarse. Pero había una persona. Y las personas, al menos en teoría, pueden explicar lo que han hecho.
Ahora la escena empieza a cambiar. No porque la inteligencia artificial vaya a sustituirnos mañana por la mañana. Eso es una fantasía demasiado cómoda, casi de guión. Lo que está ocurriendo es más silencioso. Los sistemas ordenan información, detectan incoherencias, clasifican solicitudes, proponen respuestas. Ahorran tiempo. Y el tiempo, no es poca cosa.
Hay procedimientos que parecen diseñados para poner a prueba la paciencia de todos, del ciudadano que espera, del profesional que presenta documentos y de quien tiene que revisar expedientes que llegan incompletos, repetidos o fuera de plazo.
Si una herramienta permite descargar de trabajo mecánico a quienes deben atender, comprobar y resolver, bienvenida sea. El problema empieza cuando nadie sabe ya dónde termina la herramienta y dónde empieza la decisión. Porque una cosa es que un sistema señale que falta un documento. Otra, muy distinta, es que convierta una circunstancia humana en una casilla roja. Que interprete una excepción. Que descarte una solicitud. Que determine, aunque sea de forma indirecta, quién recibe una subvención, quién queda fuera de una convocatoria o quién tendrá que esperar seis meses más.
Así que vuelvo a la pregunta. Si un algoritmo se equivoca, ¿a quién se reclama? No sirve decir que "lo ha dicho el sistema".
Un sistema no da la cara. No escucha. No entiende que detrás de un dato aparentemente contradictorio puede haber un divorcio, una enfermedad, un cambio de domicilio. Una vida que no cabe en un formulario. Tampoco se trata de idealizar el pasado. La Administración no era perfecta antes de los algoritmos. Los expedientes se traspapelaban, los criterios variaban según quien te tocase, el exceso de trabajo existía y existe.
La tecnología puede ayudar a reducir errores y a tratar de forma más homogénea situaciones similares. Incluso puede sacar a la luz desigualdades que, a simple vista, pasan inadvertidas. Pero no puede convertirse en una coartada.
Precisamente, basado en que todo debe estar motivado, hice un informe interno en mi administración sobre la necesidad de que el control y la supervisión de las decisiones de la IA sea obligatorio.
La decisión pública no es una recomendación de compra ni una lista de reproducción. Afecta a derechos. A oportunidades. A expectativas legítimas. Por eso debería poder entenderse. Aunque sea difícil. Aunque requiera explicaciones. Aunque obligue a detenerse unos minutos más.
Quizá estamos ante una vieja discusión con vocabulario nuevo. No hablamos solo de máquinas. Hablamos de responsabilidad. De esa obligación incómoda de poner nombre a quien decide y de permitir que el ciudadano discuta la decisión cuando considera que no es justa.
La inteligencia artificial puede ser útil. Mucho. Pero conviene no pedirle lo que no puede dar que es criterio, prudencia y la conciencia de que una resolución, por rutinaria que parezca, puede pesar bastante en la vida de alguien.
Que una máquina ayude, sí. Que nadie responda, no.
