flowchart LR
A[Dato incorrecto] --> B[Clasificación incorrecta]
B --> C[Tool equivocado]
C --> D[Resultado mal interpretado]
D --> E[Acción externa]
Riesgos
Seis riesgos que se vuelven especialmente relevantes cuando un sistema puede encadenar decisiones y acciones: confidencialidad, error plausible, sesgo, exceso de acción, falta de trazabilidad y dependencia operacional.
Un agente no introduce una categoría completamente nueva de riesgos.
Muchos problemas ya existen en sistemas generativos simples:
- información falsa;
- sesgos;
- exposición de datos;
- dependencia de proveedores;
- dificultades para explicar resultados.
Lo que cambia es la capacidad de encadenamiento.
Un error que antes terminaba en una respuesta incorrecta puede transformarse en el input de una nueva decisión, activar una herramienta y producir un efecto sobre otro sistema.
Por eso las clases describen los agentes como amplificadores de riesgos conocidos.
Idea central
En este handbook observaremos seis riesgos jurídicos y operacionales especialmente importantes:
confidencialidad · error plausible · sesgo · exceso de acción · falta de trazabilidad · dependencia operacional.
La característica común es que un agente puede propagar un problema a través de varias etapas.
El riesgo del encadenamiento
Consideremos esta secuencia:
Cada paso puede parecer razonable localmente.
El problema inicial se amplifica.
En un sistema simple podríamos corregir el primer párrafo.
En un agente, quizá ya se envió una comunicación o se modificó un estado.
Por eso el riesgo debe analizarse sobre la trayectoria completa.
Confidencialidad
La confidencialidad no se limita al texto que el usuario escribe en un chat.
Un agente puede mover información por varias capas:
usuario
→ contexto
→ modelo
→ herramienta
→ servicio externo
→ log
→ memoriaCada transición crea una pregunta de acceso y uso.
Dónde puede aparecer exposición
- documentos enviados a un proveedor no autorizado;
- herramientas que consultan servicios externos;
- logs que almacenan contenido sensible;
- memoria persistente que mezcla asuntos;
- subagentes con acceso más amplio del necesario;
- resultados mostrados a usuarios incorrectos.
La ABA y el CCBE subrayan que los abogados deben comprender cómo se procesan los datos por herramientas de IA y mantener salvaguardas adecuadas para información relacionada con clientes.
El problema agente
Un chat simple puede recibir un contrato.
Un agente puede decidir además:
- buscar correos;
- abrir un expediente;
- consultar una base;
- persistir un dato;
- enviar información a una herramienta.
La superficie de exposición crece con las capacidades.
Control asociado
Preguntas mínimas:
- ¿qué fuentes puede leer?;
- ¿qué herramientas reciben datos?;
- ¿qué contenido se registra?;
- ¿qué memoria persiste?;
- ¿cómo se aíslan clientes o asuntos?;
Error plausible
Los modelos generativos pueden producir contenido incorrecto con apariencia convincente.
Este riesgo ya es conocido.
En agentes, el problema es que una salida plausible puede convertirse en una premisa operacional para el paso siguiente.
Ejemplo:
“la cláusula 10 permite terminación por conveniencia”
↓
agente decide que no existe riesgo de lock-in
↓
no activa revisión de salida
↓
expediente se presenta como completoSi la cláusula 10 no decía eso, el error no quedó contenido en una frase.
Alteró la trayectoria.
Error por ausencia
También puede ocurrir:
“No encontré una prohibición.”
convertido en:
“La conducta está permitida.”
En Derecho, ausencia de evidencia y evidencia de ausencia no son equivalentes.
Un agente debe tener reglas de abstención e información faltante.
Sesgo
El sesgo puede aparecer en varias capas.
No debemos limitarlo a estereotipos del modelo.
Un agente puede sesgar su trayectoria mediante:
- fuentes que recupera;
- orden en que las presenta;
- ejemplos utilizados;
- criterios de clasificación;
- preferencia por determinadas estrategias;
- decisiones sobre qué investigar y qué ignorar.
Ejemplo jurídico
Un agente de investigación recibe una pregunta sobre una disputa regulatoria.
Siempre prioriza resultados doctrinales favorables a una interpretación porque sus consultas de búsqueda están formuladas de manera asimétrica.
El informe final puede contener fuentes verdaderas.
El sesgo está en el universo que decidió explorar.
Independencia profesional
El CCBE advierte que sesgos y comportamientos de complacencia pueden afectar la independencia y objetividad del abogado si los outputs se incorporan acríticamente al asesoramiento.
La revisión profesional debe poder cuestionar tanto la conclusión como la selección de información que la produjo.
Exceso de acción
Éste es uno de los riesgos más característicos de sistemas agentes.
Un sistema no sólo responde.
Puede actuar.
El exceso de acción ocurre cuando:
- ejecuta una herramienta innecesaria;
- actúa antes de tener información suficiente;
- supera el alcance del encargo;
- envía o modifica sin aprobación;
- interpreta una posibilidad como autorización.
Ejemplo
Usuario:
“Prepara las preguntas que deberíamos hacer al proveedor.”
Sistema:
- redacta preguntas;
- encuentra la dirección de contacto;
- envía el correo.
La tercera acción puede ser técnicamente coherente con el objetivo general, pero exceder la autoridad otorgada.
Control asociado
- permisos por herramienta;
- human gates;
- límites deterministas;
- reglas de máximo impacto;
- reversibilidad.
Google enfatiza que la utilidad y la seguridad están en tensión: dar herramientas aumenta capacidad, pero cada facultad amplía el riesgo de acciones no deseadas.
Falta de trazabilidad
Un sistema puede producir una conclusión correcta y aun así ser inadecuado si no podemos reconstruir cómo se obtuvo.
Preguntas básicas:
- ¿qué documentos utilizó?;
- ¿qué versión?;
- ¿qué herramienta ejecutó?;
- ¿qué usuario aprobó?;
- ¿qué información se descartó?;
- ¿qué error ocurrió?;
Si no existe una respuesta razonable, la supervisión se debilita.
Relevancia jurídica
La trazabilidad importa para:
- revisión interna;
- control de calidad;
- gestión de incidentes;
- explicación de una decisión;
- investigación de errores;
- cumplimiento contractual;
- atribución de responsabilidades.
Una interfaz que sólo muestra el resultado final puede ocultar un sistema complejo de decisiones.
Dependencia operacional
Un agente que funciona bien puede convertirse rápidamente en parte del proceso normal de una organización.
Ahí aparece un riesgo distinto:
¿qué ocurre si deja de estar disponible o cambia sustancialmente?
La dependencia puede recaer en:
- proveedor de aplicación;
- proveedor del modelo;
- API;
- base documental;
- cloud;
- herramienta externa;
- personas que mantienen la configuración.
De apoyo a infraestructura crítica
Al comienzo el agente puede utilizarse como ayuda opcional.
Meses después:
- el equipo deja de mantener un procedimiento manual;
- los criterios sólo existen dentro del sistema;
- el conocimiento se concentra en sus configuraciones;
- los usuarios dependen de su disponibilidad.
El riesgo no está en que el agente “falle jurídicamente”.
Puede ser un riesgo clásico de continuidad y dependencia tecnológica.
Preguntas de contingencia
- ¿existe una ruta manual?;
- ¿pueden exportarse datos y configuraciones?;
- ¿qué ocurre si cambia el modelo?;
- ¿hay SLA y recuperación?;
- ¿puede sustituirse una herramienta crítica?;
- ¿quién mantiene el sistema?;
La contratación tecnológica ya trata problemas de continuidad, transición y dependencia. Los agentes no los eliminan; pueden intensificarlos.
El riesgo cambia según la etapa
Una misma falla puede tener consecuencias distintas dependiendo del momento en que ocurre.
Durante recuperación
Riesgo dominante:
- fuente incorrecta;
- exposición de datos;
- cobertura insuficiente.
Durante análisis
Riesgo dominante:
- error plausible;
- sesgo;
- inferencia no respaldada.
Durante acción
Riesgo dominante:
- exceso de acción;
- divulgación;
- modificación incorrecta.
Durante persistencia
Riesgo dominante:
- memoria contaminada;
- retención excesiva;
- falta de aislamiento.
Durante operación continua
Riesgo dominante:
- dependencia de proveedor;
- degradación no detectada;
- cambios de versión;
- pérdida de trazabilidad.
Esto sugiere que las mitigaciones deben colocarse en el punto correcto de la trayectoria.
Una revisión humana al final puede detectar una mala conclusión, pero quizá no pueda revertir una divulgación que ocurrió en una herramienta intermedia.
Por eso el control debe ubicarse antes del daño, no sólo antes de entregar la respuesta final.
Los riesgos interactúan
Las seis categorías no viven separadas.
Imaginemos:
- el agente recupera información de una fuente no autorizada;
- la fuente contiene un dato incorrecto;
- el sistema lo interpreta como verdadero;
- prepara una comunicación;
- la envía sin gate;
- el log no conserva la fuente utilizada.
Tenemos simultáneamente:
- confidencialidad;
- error plausible;
- exceso de acción;
- falta de trazabilidad.
Un enfoque por trayectoria permite ver esa interacción.
Riesgo del sistema y riesgo de la tarea
El mismo agente puede ser razonable para una tarea y excesivo para otra.
Preparar una lista interna de preguntas y enviar automáticamente una posición jurídica a una autoridad pueden utilizar componentes técnicos similares, pero tienen perfiles de impacto radicalmente distintos.
Por eso el análisis de riesgos debe combinar dos dimensiones:
RIESGO DEL SISTEMA
qué tan confiable, observable y limitado es
+
RIESGO DE LA TAREA
qué consecuencias tiene equivocarse o actuar de másUn sistema imperfecto puede ser aceptable para una tarea exploratoria con revisión inmediata.
El mismo nivel de imperfección puede ser inaceptable para una acción externa irreversible.
Una matriz de controles orientativa
| Riesgo | Pregunta de control |
|---|---|
| Confidencialidad | ¿Qué información puede circular y hacia dónde? |
| Error plausible | ¿Qué evidencia y verificación exige cada conclusión? |
| Sesgo | ¿Qué fuentes, criterios y rutas está privilegiando? |
| Exceso de acción | ¿Qué puede ejecutar sin aprobación? |
| Falta de trazabilidad | ¿Podemos reconstruir la trayectoria? |
| Dependencia operacional | ¿Cómo continuamos si el sistema o proveedor falla? |
La tabla no pretende convertir riesgos complejos en seis checks.
Sirve para conectar cada riesgo con una pregunta de diseño.
Riesgo inherente y riesgo residual
No todos los riesgos pueden eliminarse.
Podemos reducirlos mediante:
- alcance estrecho;
- fuentes controladas;
- permisos mínimos;
- evaluación;
- observabilidad;
- revisión humana;
- contingencia.
Pero siempre queda un riesgo residual.
La decisión de usar un agente debe considerar si ese riesgo residual es razonable respecto del beneficio esperado.
Esto prepara las dos páginas siguientes.
Qué puede salir mal al evaluar riesgos
Revisar sólo el modelo
Ignora herramientas, memoria, integraciones y proceso.
Evaluar sólo privacidad
Un sistema puede proteger datos y seguir siendo inadecuado por falta de trazabilidad o exceso de acción.
Considerar cada riesgo por separado
Los agentes pueden encadenar fallas.
Usar mitigaciones nominales
“Human-in-the-loop” no ayuda si la persona carece de tiempo, evidencia o autoridad real.
Confundir baja frecuencia con bajo riesgo
Una acción rara pero irreversible puede justificar controles fuertes.
Un principio de control: reducir superficie antes de añadir salvaguardas
Una forma eficaz de mitigar riesgo no consiste en añadir una capa de control después de cada problema, sino en reducir desde el comienzo aquello que el agente puede ver y hacer.
Si no necesita acceso a correos, no se le entrega. Si sólo debe preparar borradores, no recibe una herramienta de envío. Si una memoria persistente no aporta valor, no se habilita. Si un workflow puede resolver una transición de manera determinista, no es necesario convertirla en una decisión abierta.
Esta lógica de minimización de superficie reduce la cantidad de estados, datos, herramientas y acciones que pueden combinarse de manera inesperada. La gobernanza empieza por diseño, no únicamente por corrección posterior.
Qué debes recordar
Los agentes amplifican riesgos conocidos porque pueden:
observar → decidir → actuar → reutilizar el resultado → continuar.
Por eso debemos mirar cómo el riesgo puede desplazarse por la trayectoria.
Las seis categorías del curso proporcionan un mapa inicial:
confidencialidad, error plausible, sesgo, exceso de acción, falta de trazabilidad y dependencia operacional.
El problema que todavía queda abierto
Reconocer riesgos no significa que debamos mitigar cualquier caso hasta hacerlo agente.
A veces la conclusión correcta es más simple:
no utilizar un agente para esa tarea.
La siguiente página examina cinco señales fuertes de que la autonomía no es una buena elección: juicio profesional final sin revisión, fuentes no controlables, acciones irreversibles, ausencia de trazabilidad y costo de error excesivo.