IA explicable: por qué un modelo que acierta no basta

Imagina que un modelo acierta nueve de cada diez veces. Suena bien. Ahora imagina que tienes que decirle a un cliente por qué le habéis denegado una financiación, o explicarle a tu jefa de operaciones por qué esa incidencia va primero. “Lo dice el modelo” no es una respuesta. Ni para el cliente, ni para un auditor, ni para tu propio equipo.

Un modelo que acierta sin poder explicarse es una caja negra. Y una caja negra solo te sirve mientras no tengas que tomar una decisión importante con ella.

Qué es la explicabilidad

La explicabilidad (en inglés, XAI, explainable AI) es la capacidad de un modelo de mostrar qué ha pesado en cada resultado. No se trata de entender cada cálculo interno. Se trata de poder responder a dos preguntas sencillas: qué datos han movido esta decisión y en qué dirección.

Hay dos formas de mirarlo, y conviene no confundirlas.

• Explicación global. Te dice cómo se comporta el modelo en conjunto. Por ejemplo: “en general, lo que más influye en que un cliente se dé de baja es el número de reclamaciones y el tiempo desde su última compra”. Sirve para entender el negocio y para detectar si el modelo ha aprendido algo absurdo.
• Explicación local. Te dice por qué ha salido este resultado, para este caso. Por ejemplo: “este cliente tiene un riesgo alto de baja porque ha hecho tres reclamaciones este trimestre, aunque su gasto sigue siendo alto”. Sirve para actuar sobre un caso concreto y para justificarlo.

Algunas técnicas para obtener estas explicaciones, en llano:

• Árboles de decisión y modelos lineales. Son modelos que se explican solos: puedes leer las reglas o los pesos directamente. A menudo bastan.
• Importancia de variables. Una medida global de cuánto aporta cada dato al conjunto de predicciones.
• SHAP. Un método que reparte el resultado de una predicción entre los datos de entrada, de forma que puedes ver cuánto ha sumado o restado cada uno en ese caso concreto. Viene de la teoría de juegos y está descrito en Lundberg y Lee (2017).

Tres ejemplos donde importa

Crédito. Un modelo de riesgo puede ser muy preciso y aun así no servir si no dice por qué. Con una explicación local, el analista ve que una solicitud sale con riesgo alto por un endeudamiento elevado y no por, digamos, el código postal. Esa diferencia es la que separa un criterio defendible de uno que no lo es. Además, el Reglamento Europeo de IA (AI Act) incluye la evaluación de solvencia de personas físicas entre los sistemas de alto riesgo de su Anexo III. Esas obligaciones se aplazaron al 2 de diciembre de 2027 con el Reglamento (UE) 2026/1744, pero la dirección es clara: habrá que poder justificar.

Bajas de clientes. Saber que un cliente tiene un 70 % de probabilidad de irse no te dice qué hacer. Saber que es por los retrasos en las entregas, sí. La explicación convierte una alarma en una acción: llamar, compensar o arreglar el proceso que la provoca.

Priorizar incidencias. Si un modelo ordena las incidencias de soporte, el equipo necesita ver por qué una está arriba: el cliente es crítico, el fallo afecta a facturación, ya se ha repetido. Sin eso, la gente deja de fiarse de la lista y vuelve a ordenarla a mano.

Cuándo no fiarse de un modelo

La explicabilidad no solo sirve para justificar. Sirve sobre todo para descubrir cuándo un modelo te está engañando. Desconfía cuando:

• La explicación no tiene sentido de negocio. Si lo que más pesa es un dato que no debería importar (el día de la semana en que se dio de alta un cliente, el nombre del comercial), el modelo probablemente ha aprendido una casualidad de tus datos.
• Un dato “adivina” el resultado. Si una variable predice casi a la perfección, sospecha. Muchas veces es información que solo se conoce después del hecho que quieres predecir y que se ha colado en el entrenamiento.
• Los casos nuevos no se parecen a los de entrenamiento. Un modelo entrenado con clientes de un año normal puede fallar en una temporada atípica sin avisar. Revisar las explicaciones periódicamente ayuda a verlo antes.
• No puedes explicarlo a quien le afecta. Si no sabrías contarle a la persona por qué ha salido así, no uses ese resultado para decidir sobre ella.

Por eso, antes de buscar el modelo más complejo, preguntamos si uno simple lo resuelve. Un árbol de decisión que acierta un poco menos pero se entiende de un vistazo suele valer más que un modelo opaco que acierta un poco más. Y cuando el problema pide algo más complejo, lo acompañamos de explicaciones locales y globales, y dejamos registro de cada resultado.

Lo que hay debajo

Nada de esto funciona sin datos en orden. Una explicación sobre datos duplicados o incompletos solo explica el desorden. Por eso empezamos por entender cómo trabajas y por limpiar y unir tus fuentes. La inteligencia va después, encima.

Si tienes un modelo que acierta pero nadie sabe por qué, o una decisión que te gustaría apoyar en datos sin perder el control, escríbenos a info@liberionlabs.com y lo vemos con calma.