Las citas no son gobernanza

Los enlaces a fuentes hacen que una respuesta de IA parezca fiable. Pero no la convierten automáticamente en fiable. Un sistema RAG puede citar un documento real y aun así tergiversarlo, citar un documento que no usó realmente o añadir una fuente después de generar la respuesta desde memoria del modelo.

Por eso los equipos que construyen inteligencia documental deben separar presencia de cita de fidelidad de cita.

Tres fallos de citación a vigilar

El primer fallo son IDs de cita inventados. El modelo fabrica una referencia a un fragmento que nunca fue recuperado. Esto se detecta fácil: obliga a usar un formato estricto y valida cada ID citado contra el conjunto de evidencias recuperadas antes de devolver la respuesta.

El segundo fallo es atribución débil. El fragmento citado existe, pero no respalda la afirmación. Esto exige evaluación de fidelidad: comparar las afirmaciones de la respuesta contra el contexto recuperado, no solo comprobar si hay una cita.

El tercer fallo es autoridad obsoleta. La fuente respaldaba la afirmación antes, pero fue reemplazada por una política, adenda contractual, regulación o procedimiento más reciente. Por eso importan el versionado documental y la expiración de índices.

Controles en tiempo de ejecución

En runtime, limita al modelo a citar solo IDs recuperados. Rechaza o reintenta si la respuesta cita IDs no soportados. Exige que cada afirmación material se mapee a uno o más fragmentos. Añade una ruta explícita de “no hay evidencia suficiente”. Trata la sobrecitación como defecto, porque citar todos los documentos en cada frase vuelve las citas inútiles.

Controles de evaluación

Evalúa precisión de contexto, relevancia de respuesta, validez de citas y fidelidad sobre trazas de producción. Empieza con scoring por lotes si el coste preocupa. El objetivo no es una métrica académica perfecta; es una señal estable que indique cuándo deriva la recuperación, el chunking o el comportamiento del modelo.

Fuentes útiles: Correctness is not Faithfulness in Retrieval Augmented Generation Attributions, Enterprise RAG with citation tracking and audit trails y evaluación RAG con Ragas.