El nuevo desafío de la responsabilidad corporativa
La Inteligencia Artificial está dejando de ser una herramienta de apoyo para convertirse en un actor activo dentro de los procesos críticos de las organizaciones. Hoy, un modelo puede recomendar la aprobación de un crédito, priorizar una alerta de fraude, clasificar un reclamo, identificar operaciones sospechosas o asistir en decisiones de inversión. En muchos casos, estas soluciones operan con un nivel de autonomía cada vez mayor, generando beneficios significativos en productividad, velocidad y capacidad analítica.
Sin embargo, junto con estas oportunidades surge una pregunta que comienza a ocupar la agenda de Directorios, Comités de Riesgos, Auditoría Interna y reguladores:
¿Quién responde cuando una Inteligencia Artificial toma una decisión equivocada?
La respuesta parece sencilla hasta que ocurre un incidente. En ese momento aparecen múltiples interpretaciones. El área de Tecnología sostiene que el modelo funcionó conforme a su diseño. El negocio argumenta que solo utilizó la recomendación generada por la IA. El proveedor afirma que la organización configuró el sistema. Riesgos señala que el proceso debía contar con controles adicionales. Auditoría identifica deficiencias en el gobierno. Mientras tanto, el cliente únicamente percibe que una decisión incorrecta afectó sus intereses.
El verdadero problema no es que la Inteligencia Artificial pueda equivocarse. Como cualquier tecnología, siempre existirá un margen de error. El desafío consiste en definir, antes de que ocurra un incidente, cómo se distribuyen las responsabilidades sobre su diseño, implementación, supervisión y utilización.
La responsabilidad no puede delegarse a un algoritmo
Existe una percepción equivocada según la cual las decisiones generadas por un sistema inteligente pertenecen exclusivamente a la tecnología. En realidad, ningún algoritmo asume responsabilidad jurídica, regulatoria o reputacional. La responsabilidad continúa siendo de la organización.
Esto significa que implementar un modelo de IA no transfiere la obligación de gestionar los riesgos asociados. Al contrario, incrementa la necesidad de establecer mecanismos claros de gobierno, supervisión y rendición de cuentas.
Cuando una decisión automatizada produce un impacto negativo, las preguntas que formularán los reguladores, auditores o incluso un juez no estarán dirigidas al algoritmo. Estarán dirigidas a la organización:
- ¿Quién autorizó la implementación del modelo?
- ¿Quién evaluó los riesgos antes de ponerlo en producción?
- ¿Quién valida periódicamente su desempeño?
- ¿Quién aprueba las modificaciones?
- ¿Quién supervisa que continúe funcionando dentro de los parámetros aceptados?
- ¿Quién puede suspender su operación cuando se detectan desviaciones?
Si estas preguntas no tienen respuestas claras, el problema deja de ser tecnológico para convertirse en un problema de gobierno corporativo.
El error más común: confundir proveedor con responsable
La creciente adopción de soluciones de IA desarrolladas por terceros está generando una falsa sensación de seguridad.
Muchas organizaciones consideran que, al contratar plataformas comerciales o servicios basados en modelos generativos, el proveedor asume automáticamente la responsabilidad por las decisiones tomadas por la solución.
La realidad es diferente.
El proveedor puede ser responsable de la calidad técnica de su producto, pero la organización continúa siendo responsable de cómo decide utilizarlo, qué procesos soporta, qué datos procesa, qué decisiones automatiza y qué controles implementa para supervisar su comportamiento.
Delegar el desarrollo de un modelo no significa delegar la responsabilidad sobre sus consecuencias.
Este principio ya es ampliamente reconocido en ámbitos como la gestión de terceros, la continuidad del negocio o la ciberseguridad, y ahora comienza a consolidarse también en el Gobierno de IA.
La responsabilidad debe distribuirse, no concentrarse
Uno de los principales errores consiste en asignar toda la responsabilidad al área de Tecnología.
La Inteligencia Artificial participa en procesos de negocio, afecta decisiones comerciales, utiliza información corporativa y puede generar impactos financieros, regulatorios y reputacionales. Por ello, la responsabilidad debe distribuirse entre distintas funciones.
El negocio debe asumir la propiedad del caso de uso y garantizar que la solución responda a una necesidad legítima.
Tecnología debe asegurar que la plataforma sea implementada de forma segura y controlada.
Riesgos debe evaluar la exposición inherente, definir controles y supervisar el cumplimiento del apetito de riesgo.
Cumplimiento y Asesoría Jurídica deben analizar las implicancias regulatorias y contractuales.
Seguridad de la Información y Privacidad deben proteger los datos utilizados por el modelo.
Auditoría Interna debe evaluar, de manera independiente, la efectividad del marco de gobierno.
Finalmente, el Directorio y el Comité de Riesgos deben supervisar que este modelo de responsabilidades funcione de forma integrada.
Cuando alguno de estos actores no participa, aparecen vacíos que suelen hacerse evidentes únicamente después de un incidente.
El Gobierno de IA comienza con la asignación de propietarios
Uno de los principios más importantes de los marcos internacionales de Gobierno de IA es que toda solución debe tener un propietario claramente identificado.
Ese propietario no necesariamente desarrolla el modelo ni administra la infraestructura tecnológica. Su función consiste en responder por el proceso de negocio que depende de la Inteligencia Artificial.
Debe conocer los riesgos asociados, aprobar cambios relevantes, supervisar indicadores, impulsar acciones correctivas y garantizar que el modelo continúe siendo apropiado para el propósito para el cual fue implementado.
Cuando no existe un propietario definido, los problemas suelen desplazarse entre diferentes áreas, retrasando la toma de decisiones y aumentando el impacto del incidente.
La supervisión humana sigue siendo indispensable
Con frecuencia se afirma que las decisiones automatizadas siempre cuentan con supervisión humana. Sin embargo, pocas organizaciones definen qué significa realmente supervisar un modelo.
Una supervisión efectiva implica mucho más que revisar una recomendación en una pantalla.
La persona responsable debe comprender el contexto de la decisión, disponer de información suficiente para cuestionarla y tener autoridad para modificarla o detenerla cuando sea necesario.
Si la intervención humana consiste únicamente en confirmar automáticamente las recomendaciones del sistema, el control deja de ser efectivo.
La supervisión también debe quedar documentada. Las organizaciones necesitarán demostrar quién intervino, qué decisión adoptó y cuáles fueron los criterios utilizados.
Los Directorios deberán hacer nuevas preguntas
La conversación sobre Inteligencia Artificial ya no puede limitarse a conocer cuántos proyectos existen o cuánto se ha invertido en innovación.
Los Directorios deberán incorporar preguntas orientadas al gobierno y la responsabilidad:
- ¿Cuántos modelos participan en procesos críticos?
- ¿Todos tienen un propietario identificado?
- ¿Qué porcentaje ha sido evaluado desde la perspectiva de riesgos?
- ¿Qué mecanismos existen para suspender un modelo?
- ¿Cuántos incidentes relacionados con IA se han presentado?
- ¿Qué decisiones automatizadas requieren supervisión humana?
- ¿Qué proveedores participan en la operación de estos modelos?
Estas preguntas permiten pasar de una visión tecnológica a una visión de gobierno corporativo.
La responsabilidad comienza antes del incidente
Esperar a que un modelo produzca un error para definir responsabilidades es uno de los mayores riesgos que enfrenta actualmente cualquier organización.
La asignación de responsabilidades debe establecerse desde el diseño del caso de uso.
Cada solución debería contar, como mínimo, con:
- Un propietario del proceso de negocio.
- Un responsable tecnológico.
- Una evaluación formal de riesgos.
- Criterios de supervisión humana.
- Procedimientos de escalamiento.
- Mecanismos para suspender la operación cuando sea necesario.
- Indicadores que permitan detectar desviaciones antes de que generen impactos significativos.
No se trata de limitar la innovación. Se trata de garantizar que la innovación pueda mantenerse bajo control.
Reflexión final
La Inteligencia Artificial continuará expandiendo su participación en procesos críticos y, con ello, aumentará el nivel de autonomía de muchas decisiones empresariales.
Sin embargo, la responsabilidad seguirá siendo una función exclusivamente humana.
Las organizaciones que definan desde ahora un modelo claro de gobierno, roles y responsabilidades estarán mejor preparadas para aprovechar el potencial de la IA sin comprometer la confianza de clientes, reguladores y accionistas.
Porque, al final, cuando una Inteligencia Artificial se equivoca, el verdadero riesgo no es el error del algoritmo. El verdadero riesgo es que nadie sepa quién debía haber evitado que ocurriera.
Invitación
En ALGERisk Corporation acompañamos a organizaciones en el diseño e implementación de marcos de Gobierno de Inteligencia Artificial, evaluación de riesgos, definición de roles y responsabilidades, modelos de supervisión, controles y mecanismos de rendición de cuentas alineados con estándares internacionales y las mejores prácticas de gestión de riesgos.