Gobernanza de la inteligencia artificial

la pregunta ya no es qué puede hacer, sino qué estamos dispuestos a permitirle

Durante los primeros años de expansión de la inteligencia artificial generativa, la conversación pública estuvo dominada por una pregunta bastante simple: ¿qué puede hacer esta tecnología? La atención se concentró en comparar modelos, medir su capacidad para escribir, programar, traducir, resumir, generar imágenes o resolver problemas complejos. Cada nuevo lanzamiento parecía ampliar un poco más la frontera de lo posible y reforzaba la sensación de que el desafío principal consistía en construir sistemas cada vez más potentes.

Sin embargo, a medida que la inteligencia artificial abandona el terreno de la experimentación y se integra en empresas, administraciones públicas, hospitales, escuelas, bancos y servicios cotidianos, esa pregunta empieza a quedarse corta. El verdadero problema ya no consiste únicamente en saber qué puede hacer una inteligencia artificial, sino en decidir qué queremos permitirle hacer, bajo qué condiciones, con qué límites y quién debe responder cuando sus decisiones producen consecuencias.

Ese es, en esencia, el problema de la gobernanza de la inteligencia artificial.

Hablar de gobernanza no significa hablar únicamente de leyes, prohibiciones o regulación. Tampoco implica convertir cada proyecto de innovación en un proceso burocrático interminable. Gobernar significa establecer mecanismos para decidir qué usos son aceptables, qué riesgos pueden asumirse, qué controles deben aplicarse, quién puede autorizar determinadas capacidades y qué evidencias deben conservarse para poder entender lo ocurrido si algo falla.

La cuestión parece administrativa, pero en realidad es profundamente tecnológica, económica y política, porque cuanto mayor sea la capacidad de estos sistemas para intervenir en el mundo real, más importante será determinar quién controla esa capacidad.

El modelo es solo una parte del problema

Uno de los errores más habituales al hablar de inteligencia artificial consiste en tratar el modelo como si fuera el sistema completo. Se compara un modelo con otro, se analizan sus resultados y se concluye que uno es más seguro, más avanzado o más adecuado que otro, cuando en realidad el comportamiento final depende de muchas otras decisiones que se toman alrededor de él.

Un mismo modelo puede utilizarse para resumir documentos públicos o para consultar expedientes médicos. Puede ayudar a redactar un correo electrónico o estar conectado a una plataforma empresarial con capacidad para modificar registros. Puede generar una recomendación que una persona revisará con calma o intervenir en un proceso automatizado que afecte

inmediatamente a un cliente.

El modelo puede ser exactamente el mismo, pero el riesgo no lo es.

Una aplicación real de inteligencia artificial suele combinar diferentes elementos: instrucciones, datos, interfaces, bases documentales, memoria, herramientas externas, permisos, sistemas empresariales y personas que intervienen antes o después de que el sistema produzca una acción. El resultado depende de cómo todas esas piezas se conectan entre sí y, sobre todo, de la autoridad que la organización haya decidido concederles.

Por eso, una organización que quiere gobernar correctamente la inteligencia artificial debería dejar de preguntarse únicamente qué modelo utiliza y empezar a preguntarse qué capacidad completa ha puesto en funcionamiento.

El mismo modelo puede representar riesgos completamente distintos

Imaginemos dos empresas que utilizan exactamente el mismo modelo de lenguaje.

La primera lo emplea para resumir informes públicos y preparar borradores que posteriormente revisa un empleado. La segunda conecta ese mismo modelo con el correo corporativo, la base de datos de clientes y una herramienta capaz de modificar registros o ejecutar determinadas acciones.

En ambos casos podría afirmarse que la empresa utiliza la misma inteligencia artificial, pero esa descripción aporta muy poca información sobre el riesgo real.

En el primer escenario, el principal problema podría ser un resumen incompleto o incorrecto. En el segundo, un error podría traducirse en una comunicación indebida, una modificación errónea de datos, una acción no autorizada o una exposición de información sensible.

La diferencia fundamental no reside necesariamente en que un sistema sea más inteligente que el otro, sino en que dispone de más información, más conexiones y mayor autoridad para actuar.

Ese cambio es crucial para comprender la gobernanza de la inteligencia artificial. Durante años se ha discutido sobre la capacidad de los modelos como si el riesgo aumentara automáticamente con su inteligencia. En realidad, una parte importante del riesgo aparece cuando una organización transforma esa capacidad intelectual en autoridad operativa.

Inteligencia no significa autoridad

Esta distinción será cada vez más importante. Una inteligencia artificial puede analizar miles de documentos, comparar alternativas, identificar patrones, detectar inconsistencias y proponer una solución sin tener permiso para ejecutar ninguna consecuencia. Ese diseño permite obtener una parte importante del valor de la tecnología sin entregar automáticamente el control del proceso.

Un sistema puede:

• recomendar una transferencia bancaria sin poder ejecutarla;
• preparar un contrato sin tener capacidad para firmarlo;
• proponer una modificación de una base de datos sin poder aplicarla;
• redactar una respuesta a un cliente sin enviarla automáticamente;
• identificar una anomalía médica sin sustituir la decisión del profesional responsable.

La gobernanza aparece precisamente en ese espacio intermedio entre lo que una inteligencia artificial es capaz de hacer y aquello que una organización decide autorizar. En muchos casos, la pregunta más importante no será si el sistema puede realizar una tarea, sino si debería tener permiso para hacerlo sin intervención humana.

La supervisión humana puede existir solo sobre el papel

El concepto de “supervisión humana” aparece con frecuencia en políticas, regulaciones y declaraciones empresariales sobre inteligencia artificial, pero su existencia formal no garantiza que exista un control real.

Una persona puede figurar como responsable de revisar una decisión y, sin embargo, recibir cientos de recomendaciones automáticas cada día, disponer de apenas unos segundos para evaluarlas o carecer de la información necesaria para cuestionarlas. En esas condiciones, la supervisión humana puede convertirse en una formalidad destinada a legitimar una decisión que, en la práctica, ya ha sido tomada por el sistema.

La diferencia entre supervisar y simplemente confirmar es importante.

Para que exista una supervisión efectiva, la persona debe disponer de tiempo suficiente, información relevante y autoridad para detener, corregir o revertir una acción. Si ninguna de esas condiciones se cumple, colocar un ser humano dentro del proceso no reduce necesariamente el riesgo.

La gobernanza, por tanto, no debería limitarse a preguntar si existe una persona involucrada, sino qué capacidad real tiene esa persona para intervenir.

Los datos también forman parte de la gobernanza

La inteligencia artificial no funciona en el vacío. Su capacidad aumenta cuando puede consultar información externa, acceder a bases documentales, recuperar datos empresariales o utilizar el historial de interacciones anteriores.

Cada nueva fuente puede mejorar el resultado del sistema, pero también modifica su perfil de riesgo.

No es lo mismo una aplicación que trabaja únicamente con información pública que otra conectada a datos de clientes, expedientes médicos, información financiera o documentación interna. Tampoco es equivalente permitir que un sistema consulte una base de datos a permitir que pueda escribir en ella.

Por eso, gobernar la inteligencia artificial implica también saber qué información puede utilizar cada sistema, quién autorizó ese acceso, dónde se procesa, durante cuánto tiempo se conserva y qué ocurre cuando una fuente cambia.

La seguridad deja de consistir únicamente en proteger bases de datos frente a accesos externos. También exige controlar qué sistemas inteligentes pueden interactuar con ellas y bajo qué condiciones.

Los agentes cambian la naturaleza del problema

La aparición de los agentes de inteligencia artificial amplía todavía más esta discusión.

Un chatbot tradicional espera una instrucción y produce una respuesta. Un agente puede recibir un objetivo, decidir qué pasos necesita realizar, utilizar herramientas, consultar fuentes externas y continuar trabajando hasta completar una tarea.

Ese cambio puede parecer incremental, pero transforma profundamente la naturaleza del sistema.

La cuestión deja de ser únicamente qué puede decir la inteligencia artificial y pasa a ser qué puede hacer.

Cuando un agente puede utilizar correo electrónico, calendarios, bases de datos, sistemas de gestión empresarial o herramientas financieras, conceptos como identidad, permisos, autorización y trazabilidad dejan de ser detalles técnicos para convertirse en elementos centrales de la gobernanza.

Un sistema capaz de redactar un correo presenta un tipo de riesgo. Un sistema capaz de enviarlo automáticamente presenta otro. Si además puede decidir a quién enviarlo, consultar previamente información interna y actualizar después un registro, estamos ante una capacidad mucho más compleja que ya no puede evaluarse observando únicamente el modelo que utiliza.

Cuando algo sale mal, alguien tiene que responder

La responsabilidad se vuelve especialmente importante cuando una decisión ha sido producida por una combinación de personas, modelos, aplicaciones y procesos automatizados.

¿Quién responde si un sistema perjudica a un cliente?

¿El proveedor del modelo, la empresa que desarrolló la aplicación, el departamento que decidió implementarla, la persona que aceptó la recomendación o el responsable que autorizó el proceso?

La respuesta dependerá del contexto, pero una organización no puede esperar a que ocurra un incidente para formular estas preguntas.

Cada capacidad relevante debería tener un responsable claramente identificado y una descripción suficientemente precisa para que otra persona pueda entender cómo funciona.

Entre otras cosas, debería ser posible responder:

• para qué se utiliza el sistema;
• qué personas pueden verse afectadas;
• qué información consulta;
• qué herramientas puede utilizar;
• qué acciones puede ejecutar;
• cuáles requieren aprobación;
• quién supervisa sus resultados;
• cómo puede corregirse un error;
• qué cambios obligan a revisar nuevamente el sistema.

No se trata de producir documentación por producirla, sino de evitar una situación cada vez más frecuente: sistemas ampliamente utilizados dentro de una organización cuya responsabilidad está distribuida entre tantas áreas que, en la práctica, nadie puede explicar completamente cómo funcionan.

Gobernar también significa poder reconstruir lo ocurrido

Cuando un sistema de inteligencia artificial participa en una decisión importante, la organización debería poder volver atrás y reconstruir el proceso.

• ¿Qué versión del modelo se utilizó?
• ¿Qué información recibió?
• ¿Qué herramientas consultó?
• ¿Qué acción propuso?
• ¿Intervino alguna persona?
• ¿Se modificó posteriormente el resultado?

Sin algún nivel de observabilidad y registro, responder estas preguntas puede resultar imposible. Esto no significa que todo deba almacenarse indefinidamente ni que cada interacción requiera una auditoría exhaustiva. Significa conservar suficiente evidencia para poder comprender decisiones relevantes, detectar errores y establecer responsabilidades.

Una organización que no puede reconstruir cómo se produjo una decisión difícilmente puede afirmar que gobierna realmente el sistema que la tomó.

El problema de gobernar sistemas que cambian constantemente

La inteligencia artificial introduce además una dificultad adicional: los sistemas evolucionan con enorme rapidez. Puede cambiar el modelo sin que cambie la aplicación. Puede incorporarse una nueva base documental, activarse memoria, añadirse una herramienta, modificarse un permiso, ampliarse el número de usuarios o reducirse la revisión humana. Cualquiera de esas modificaciones puede alterar significativamente el riesgo aunque la interfaz permanezca idéntica.

Esto significa que la gobernanza no puede funcionar como una autorización única concedida en el momento del lanzamiento. Debe existir algún mecanismo que permita identificar cuándo una modificación es suficientemente importante como para revisar las evaluaciones anteriores.

No todos los cambios necesitan desencadenar un proceso completo de aprobación, pero una organización debería ser capaz de distinguir entre una actualización rutinaria y una transformación que modifica realmente la autoridad, el alcance o las consecuencias del sistema.

Gobernanza no es sinónimo de frenar la innovación

Existe una preocupación legítima: una gobernanza mal diseñada puede convertirse en burocracia y ralentizar innecesariamente la adopción tecnológica.

El problema aparece cuando se pretende aplicar exactamente los mismos controles a todos los sistemas.

Un asistente que resume documentación pública no necesita necesariamente el mismo proceso de evaluación que un agente capaz de modificar información financiera. Tratar ambos casos como si fueran equivalentes no aumenta la seguridad; simplemente introduce controles donde aportan poco valor y distrae recursos de los usos que realmente requieren atención.

La gobernanza efectiva debería ser proporcional al impacto potencial.

Los sistemas con consecuencias limitadas pueden gestionarse mediante controles simples, mientras que aquellos que utilizan información sensible, afectan derechos o pueden ejecutar acciones relevantes necesitan mecanismos más exigentes de evaluación, identidad, permisos, supervisión y registro.

El objetivo no debería ser impedir que una organización experimente con inteligencia artificial, sino evitar que experimente sin comprender qué está poniendo realmente en funcionamiento.

De la carrera por la inteligencia a la discusión sobre el poder

Durante los últimos años hemos observado una carrera por construir modelos cada vez más capaces. Es probable que esa carrera continúe, pero la siguiente gran discusión no será exclusivamente tecnológica.

Será una discusión sobre autoridad.

Cuando una inteligencia artificial pueda investigar, recomendar, decidir, negociar, programar, comprar, contratar servicios o interactuar con otros sistemas, la pregunta central será quién le ha concedido permiso para hacerlo y bajo qué reglas.

Ese cambio obliga a abandonar una visión demasiado simple de la inteligencia artificial como una herramienta aislada. Los sistemas inteligentes formarán parte de procesos humanos, instituciones, empresas y estructuras de decisión, y sus consecuencias dependerán tanto de la tecnología como de las reglas que construyamos a su alrededor.

La gobernanza de la inteligencia artificial comienza precisamente ahí.

No consiste en decidir si la tecnología debe avanzar, sino en determinar cómo queremos integrarla en nuestras organizaciones y sociedades sin perder la capacidad de entender, limitar y corregir sus acciones.

Durante mucho tiempo nos hemos preguntado hasta dónde puede llegar la inteligencia artificial. Quizá haya llegado el momento de formular una pregunta más difícil: hasta dónde estamos dispuestos a dejarla llegar.

Mis libros sobre estos temas en Amazon