Gobernanza de IA
en entornos regulados:
construir el marco antes de que lo exija el regulador

I

El problema con la IA que nadie nombra

Las organizaciones que operan en entornos regulados —banca, seguros, salud, energía, telecomunicaciones, mercados de capitales— tienen una relación con la inteligencia artificial que rara vez se gestiona con la misma disciplina que el resto de sus riesgos operativos. No es que los riesgos sean desconocidos. Es que existe una disociación estructural entre quienes deciden implantar sistemas de IA y quienes son responsables de gestionar el riesgo que esos sistemas generan.

El equipo de datos y tecnología desarrolla o adquiere el sistema. El área de negocio lo adopta porque mejora un proceso, reduce costes o incrementa la velocidad de una decisión. El área de cumplimiento lo conoce, si lo conoce, cuando ya está en producción. El regulador, en la mayoría de los casos, todavía no tiene un marco específico para supervisarlo. Y en ese espacio de tiempo —entre el despliegue y la supervisión efectiva— se acumulan riesgos que no tienen un dueño claro.

Esa es la situación real en la que se encuentran hoy la mayoría de las organizaciones reguladas que han incorporado IA a sus procesos. No es negligencia. Es la consecuencia natural de una velocidad de adopción que ha superado la velocidad de construcción de marcos de gobernanza. Y es exactamente la situación que los reguladores —el BCE, la EBA, la ESMA, la AESIA, las autoridades nacionales de supervisión financiera— van a encontrar cuando empiecen a inspeccionar con criterios específicos para la IA. La pregunta no es si van a encontrar brechas. Es qué tan grandes van a ser.

II

Por qué los entornos regulados son distintos

La gobernanza de IA en un entorno regulado no es la gobernanza de IA en general con más burocracia encima. Es un problema diferente, con dimensiones adicionales que cambian sustancialmente el diseño del marco de control.

La responsabilidad no se delega al algoritmo

En los sectores regulados, la responsabilidad de las decisiones recae sobre personas jurídicas y, en muchos casos, sobre personas físicas con cargos de responsabilidad específicamente identificados. Cuando un banco concede o deniega un crédito, es el banco el responsable de esa decisión ante el cliente y ante el supervisor, con independencia de si la decisión fue tomada por un gestor humano o por un modelo de scoring automatizado. La automatización no transfiere la responsabilidad: la concentra.

Esto tiene implicaciones directas para el diseño de los sistemas de IA. Un modelo que produce decisiones que nadie dentro de la organización puede explicar, justificar ni auditar no es compatible con los regímenes de responsabilidad que aplican en los sectores regulados. El requisito de explicabilidad no es una preferencia ética abstracta: es una condición operativa sin la cual el sistema de IA crea una exposición que la organización no puede gestionar.

El riesgo de sesgo como riesgo regulatorio

En los sectores financiero, sanitario y de seguros, los sesgos en los sistemas de IA tienen consecuencias regulatorias directas. Un modelo de scoring crediticio que discrimina, aunque sea involuntariamente, a determinados grupos por razón de origen geográfico, género o edad no solo es un problema ético: es una violación de la normativa de crédito al consumo, de la directiva de igualdad de trato o, en el caso español, de la Ley de servicios de pago, según el contexto.

Las autoridades de supervisión bancaria europeas llevan años advirtiendo sobre el riesgo de sesgo en los modelos de IA utilizados para la concesión de crédito. La EBA publicó en 2023 sus primeras directrices específicas sobre el uso de IA y aprendizaje automático en los modelos de riesgo crediticio, y la dirección es clara: los supervisores van a exigir que los proveedores de crédito puedan demostrar que sus modelos no producen discriminación indirecta. Eso requiere procesos de validación que la mayoría de las entidades todavía no tienen sistematizados.

La supervisión de modelos: de buenas prácticas a exigencia

Los bancos y las aseguradoras con modelos internos aprobados por el supervisor tienen experiencia en lo que el sector llama Model Risk Management: el conjunto de procesos, controles y responsabilidades para gestionar el riesgo de que los modelos produzcan resultados incorrectos con consecuencias materiales. Lo que está cambiando es que ese marco —históricamente aplicado a los modelos estadísticos tradicionales de riesgo crediticio, de mercado y operacional— tiene que extenderse ahora a los sistemas de aprendizaje automático, que presentan características específicas que los marcos de MRM clásicos no estaban diseñados para gestionar.

III

Los elementos de un marco de gobernanza de IA para entornos regulados

Construir un marco de gobernanza de IA en un entorno regulado no empieza con tecnología. Empieza con claridad sobre quién es responsable de qué. Esa claridad es más difícil de establecer de lo que parece, porque los sistemas de IA atraviesan fronteras organizacionales que en muchas instituciones no están habituadas a coordinar: tecnología, riesgo, cumplimiento, negocio y, en algunos casos, recursos humanos y comunicación.

Inventario y clasificación de sistemas de IA

El punto de partida es siempre el mismo: saber qué sistemas de IA tiene la organización, dónde están, para qué se usan y qué impacto tienen en personas o en procesos con consecuencias regulatorias. Sin ese inventario, cualquier esfuerzo de gobernanza es parcial por definición. La experiencia en este tipo de procesos muestra que el número de sistemas de IA que las organizaciones encuentran cuando hacen el inventario con rigor es sistemáticamente superior al número que la alta dirección creía que existía. Los sistemas de IA se acumulan en las organizaciones más rápido de lo que la gobernanza corporativa los registra.

Políticas de ciclo de vida del sistema de IA

Un sistema de IA no es un activo estático. Sus outputs cambian cuando cambian los datos de entrada, cuando el mundo cambia y los patrones que aprendió dejan de ser representativos del presente, o cuando el propio sistema se reconfigura. Un marco de gobernanza robusto establece con claridad qué controles aplican en cada fase del ciclo de vida: desarrollo, validación, aprobación, despliegue, monitorización continua y retirada. Y establece también quién tiene autoridad para aprobar el paso de una fase a la siguiente.

Validación independiente

El principio de las tres líneas de defensa, bien conocido en la gestión de riesgos de los sectores regulados, debe aplicarse a los sistemas de IA. Esto significa que los mismos equipos que desarrollan o adquieren el sistema no pueden ser los únicos que validan si ese sistema funciona correctamente. La validación independiente —ya sea por una segunda línea interna o por un tercero externo— no es un lujo: es el mecanismo que permite detectar los problemas que el equipo que tiene interés en el despliegue puede pasar por alto, intencionalmente o no.

Supervisión humana operativa

El AI Act lo exige expresamente para los sistemas de alto riesgo, pero la lógica operativa en entornos regulados lo hace necesario con independencia de la normativa específica: los sistemas de IA deben poder ser supervisados, intervenidos y revertidos por personas físicas cuando el supervisor lo exija, cuando el sistema produzca resultados anómalos o cuando el contexto operativo cambie de forma significativa. Diseñar ese mecanismo de supervisión humana después de que el sistema está en producción es mucho más caro y difícil que diseñarlo desde el principio.

Documentación y trazabilidad

El regulador que inspecciona un sistema de IA en un entorno regulado va a pedir documentación. Va a pedir la evaluación de riesgos del sistema, la documentación técnica que describe cómo funciona, los resultados de la validación, los logs de funcionamiento y las actas de las decisiones de aprobación. Si esa documentación no existe o no está actualizada, el problema no es solo de cumplimiento formal: es que la organización no puede demostrar que el sistema fue diseñado con los controles adecuados y que esos controles han funcionado en la práctica.

IV

La ventaja de llegar antes que el regulador

Existe una diferencia fundamental entre construir un marco de gobernanza de IA porque el regulador lo exige y construirlo porque la organización ha decidido que es la forma correcta de gestionar ese riesgo. No es solo una diferencia de actitud: es una diferencia de resultado.

Las organizaciones que construyen su marco de gobernanza de IA antes de la presión regulatoria tienen opciones. Pueden elegir el diseño que mejor se adapta a sus procesos y su cultura organizacional. Pueden ajustarlo gradualmente a medida que ganan experiencia. Pueden identificar y corregir los problemas en los sistemas antes de que un inspector los encuentre. Y pueden llegar a la conversación con el regulador desde una posición de fortaleza: conociendo sus propios sistemas en profundidad, habiendo documentado sus decisiones y siendo capaces de explicar por qué su marco de control es adecuado.

Las organizaciones que construyen el marco bajo presión regulatoria no tienen esas opciones. Construyen lo que tienen que construir en el tiempo que tienen, con los recursos disponibles, intentando cerrar brechas que ya son visibles para el supervisor. Es más caro, produce marcos de peor calidad y genera una dinámica con el regulador que es muy difícil de revertir.

V — Conclusión

La gobernanza de IA como decisión de gestión

La gobernanza de inteligencia artificial en entornos regulados no es un problema técnico que los equipos de datos y tecnología pueden resolver solos. No es un problema jurídico que el departamento de cumplimiento puede gestionar sin entender los sistemas. Y no es un problema que pueda postponerse indefinidamente bajo el argumento de que la regulación todavía no es exigible en toda su extensión.

Es una decisión de gestión que corresponde a la alta dirección: decidir qué nivel de riesgo asume la organización con los sistemas de IA que despliega, con qué controles lo gestiona, y quién es responsable cuando algo sale mal. Las organizaciones que toman esa decisión de forma proactiva, con rigor y con los recursos adecuados, estarán en una posición significativamente mejor cuando el regulador llegue a hacer las mismas preguntas.

Y el regulador va a llegar. La cuestión es solo cuándo.