Volver al blog
Published· Minerva Data Solutions

Cada respuesta del Company Brain necesita pruebas

Cómo trazar respuestas hasta la evidencia de origen para que auditoría, legal, dirección y agentes confíen en lo que dijo el sistema.

enterprise RAGaudit traildocument intelligence

Enterprise RAG no es simplemente “chat con tus documentos”. En equipos regulados, el producto real es una cadena de evidencia defendible: quién preguntó, qué documentos se buscaron, qué fragmentos se recuperaron, qué modelo respondió y qué fuentes exactas respaldan la respuesta.

Esto importa porque una respuesta convincente sin procedencia es peligrosa. Puede ahorrar cinco minutos hoy y costar cinco semanas en una auditoría, revisión legal, disputa con un proveedor o escalado al comité de dirección.

Qué necesita una respuesta RAG auditable

Una respuesta útil para empresa debería incluir un registro de procedencia:

  • ID del documento, título, propietario, versión y estado de retención
  • Página, sección, párrafo o fragmento que respalda cada afirmación
  • Método de recuperación, score de ranking, score de reranking e instantánea del índice
  • Versión del prompt, versión del modelo, temperatura y llamadas a herramientas
  • Usuario, workspace, timestamp, política de acceso y contexto de negocio
  • Respuesta final más los IDs de evidencia que declara usar

La idea central es la reproducibilidad. Si alguien cuestiona una respuesta seis meses después, el equipo debe poder reconstruir qué sabía el sistema en ese momento, no cómo está el corpus ahora.

El patrón de arquitectura

Empieza con un archivo bruto. Normaliza el texto a una representación canónica. Divide en fragmentos con reglas estables. Guarda cada fragmento con metadatos que sobrevivan a todo el pipeline. Versiona los índices, no solo los documentos. Después registra recuperación, reranking, generación y validación de citas como una única traza.

Aquí fallan muchos prototipos de RAG. Guardan la respuesta final y algunas citas, pero no alternativas recuperadas, scores, versión del índice, inputs del prompt o controles de acceso. Sirve para una demo. No sirve para compliance.

Qué medir

No basta con “la respuesta parece buena”. Mide precisión de recuperación, validez de citas, fidelidad, calidad del rechazo, tasa de documentos obsoletos y exactitud cuando no hay respuesta. En flujos regulados, decir “no hay respuesta fiable en el corpus actual” suele ser mejor que inventarla.

Lecturas útiles: Enterprise RAG with provenance and auditability, evaluación RAG con Ragas en Langfuse y conceptos de observabilidad de Langfuse.