Una respuesta de IA puede ser clara, convincente y equivocada. En QA ese problema no se limita a una mala redacción: puede crear casos basados en una regla inexistente, descartar una señal importante o atribuir una causa sin evidencia. La forma de reducir ese riesgo no es pedirle al modelo que “sea preciso”. Es construir trazabilidad.
Trazabilidad significa poder recorrer el camino completo: fuente, interpretación, riesgo, control, resultado y decisión. Si una recomendación cambia, debemos saber por qué. Si una prueba falla, debemos identificar qué regla protege. Si un agente resume un conjunto de logs, su conclusión debe llevarnos de vuelta a los datos originales.
La cadena mínima de evidencia
- Fuente: requisito, contrato, diseño, código, decisión o señal de producción.
- Versión: estado de esa fuente en el momento del análisis.
- Interpretación: regla, condición, supuesto o pregunta extraída.
- Riesgo: qué podría ocurrir y a quién afectaría.
- Control: prueba, alerta, revisión o mecanismo que reduce incertidumbre.
- Evidencia: resultado observable con ambiente, datos y hora.
- Decisión: aceptar, corregir, desplegar, detener o investigar.
- Responsable: persona o rol que aprobó la decisión.
No todos los elementos necesitan vivir en una sola herramienta. Lo importante es conservar identificadores y enlaces suficientes para navegar entre ellos.
Qué cambia cuando interviene la IA
Una persona suele dejar rastros en comentarios, commits y conversaciones. Un agente puede procesar cientos de elementos y producir un resumen sin mostrar su recorrido. Por eso debemos registrar además:
- modelo o servicio utilizado;
- instrucciones relevantes y configuración;
- fuentes consultadas y elementos excluidos;
- herramientas invocadas;
- salidas intermedias cuando sean necesarias;
- validaciones automáticas aplicadas;
- correcciones humanas;
- limitaciones o incertidumbres declaradas.
El objetivo no es almacenar cada token. Es conservar lo necesario para reproducir, explicar y revisar una conclusión proporcional al impacto de la tarea.
Separar hechos, inferencias y propuestas
Una práctica simple mejora mucho la revisión: exigir que la salida identifique tres tipos de información.
- Hecho: aparece explícitamente en una fuente identificada.
- Inferencia: se deduce de uno o varios hechos y debe explicar el razonamiento.
- Propuesta: es una alternativa que todavía necesita validación.
Cuando todo se presenta como una afirmación, la persona revisora debe reconstruir el contexto. Esta separación evita que una idea útil se confunda con una regla confirmada.
Trazabilidad para casos de prueba
Cada condición generada debería responder:
- ¿qué fuente la justifica?;
- ¿qué regla o riesgo cubre?;
- ¿qué técnica de diseño se aplicó?;
- ¿qué datos necesita?;
- ¿qué resultado será observable?;
- ¿en qué nivel conviene probarla?;
- ¿qué prioridad tiene y por qué?
Mi artículo sobre casos de prueba con IA desde historias de usuario explica cómo separar condiciones, técnicas y casos ejecutables. La trazabilidad es el hilo que mantiene esas etapas conectadas.
Trazabilidad para defectos y causa raíz
En un defecto conviene separar observación, correlación e hipótesis. “La API respondió 500” es una observación. “El error coincide con una consulta lenta” es una correlación. “La causa es un índice faltante” es una hipótesis hasta que una prueba la confirme.
Un agente puede organizar logs, cambios y síntomas, pero debe enlazar cada afirmación con evidencia. La causa raíz se valida reproduciendo, aislando o descartando explicaciones, no eligiendo la narrativa más probable.
Un registro de decisiones ligero
Para decisiones relevantes utilizaría un formato compacto:
- decisión y fecha;
- riesgo o pregunta;
- opciones consideradas;
- evidencia consultada;
- recomendación del agente, si existe;
- cambios realizados por la persona revisora;
- decisión final y responsable;
- condiciones para revisarla en el futuro.
Este registro evita discutir semanas después con recuerdos diferentes. También permite evaluar si las recomendaciones de IA mejoran o repiten errores.
Privacidad y retención
Trazabilidad no significa copiar datos sensibles en cada registro. Debemos conservar referencias seguras, aplicar minimización, controlar acceso y definir periodos de retención. Los datos de usuarios, secretos, credenciales y detalles internos requieren reglas explícitas antes de llegar a un modelo.
El AI RMF de NIST plantea la gobernanza como una función transversal y promueve prácticas continuas para mapear, medir y gestionar riesgos. La trazabilidad aporta la evidencia necesaria para que esas actividades no dependan solo de declaraciones.
Controles que automatizaría
- Rechazar salidas sin fuentes cuando la tarea las requiere.
- Marcar referencias rotas o versiones antiguas.
- Validar estructura, campos obligatorios y formatos.
- Comparar reglas citadas con el documento original.
- Detectar datos sensibles antes de transmitir contenido.
- Conservar un hash o identificador de los artefactos utilizados.
- Solicitar aprobación cuando el nivel de riesgo supere el alcance del agente.
Cómo medir si la trazabilidad aporta valor
- Tiempo para verificar una recomendación.
- Porcentaje de afirmaciones con fuente válida.
- Cantidad de correcciones humanas por tipo.
- Decisiones que pueden reproducirse con la evidencia conservada.
- Pruebas huérfanas sin riesgo o requisito asociado.
- Incidentes donde faltó información para diagnosticar.
La meta no es documentar más, sino reducir el costo de confiar. Si nadie usa los enlaces o el registro no ayuda a decidir, el sistema debe simplificarse.
Una decisión explicable es una decisión mejor preparada
La trazabilidad no garantiza que una decisión sea correcta, pero permite desafiarla, aprender y corregirla. Esa capacidad es esencial cuando la IA acelera la producción de análisis. El Quality Owner debe asegurar que la velocidad no rompa el vínculo entre contexto, evidencia y responsabilidad.
Preguntas frecuentes
¿Debemos guardar todos los prompts?
Depende del impacto. Para una lluvia de ideas puede ser innecesario. Para una recomendación que afecta cobertura, datos o un release conviene conservar instrucciones relevantes, fuentes, configuración y correcciones. La profundidad del registro debe ser proporcional al riesgo.
¿La trazabilidad puede automatizarse?
Gran parte sí: capturar versiones, enlaces, identificadores y validaciones. Pero la relación semántica entre un riesgo y una decisión todavía necesita revisión. Automatizar metadatos ayuda; comprender por qué importan sigue siendo una responsabilidad humana.
Este artículo complementa el modelo de agentes de IA con control humano. El siguiente explora las habilidades necesarias para ejercer como AI QA y Quality Engineer.
¿Podrías explicar hoy por qué una prueba existe y qué decisión protege? Cuéntame tu enfoque en LinkedIn.