Les cites no són governança

Els enllaços a fonts fan que una resposta d’IA sembli fiable. Però no la converteixen automàticament en fiable. Un sistema RAG pot citar un document real i tot i així tergiversar-lo, citar un document que no ha utilitzat realment o afegir una font després de generar la resposta des de memòria del model.

Per això els equips que construeixen intel·ligència documental han de separar presència de cita de fidelitat de cita.

Tres fallades de citació a vigilar

La primera fallada són IDs de cita inventats. El model fabrica una referència a un fragment que mai s’ha recuperat. Això es pot detectar fàcilment: obliga a usar un format estricte i valida cada ID citat contra el conjunt d’evidències recuperades abans de retornar la resposta.

La segona fallada és atribució feble. El fragment citat existeix, però no sosté l’afirmació. Això exigeix avaluació de fidelitat: comparar les afirmacions de la resposta contra el context recuperat, no només comprovar si hi ha una cita.

La tercera fallada és autoritat obsoleta. La font sostenia l’afirmació abans, però ha estat substituïda per una política, addenda contractual, regulació o procediment més recent. Per això importen el versionat documental i l’expiració d’índexs.

Controls en temps d’execució

En runtime, limita el model a citar només IDs recuperats. Rebutja o reintenta si la resposta cita IDs no suportats. Exigeix que cada afirmació material es mapegi a un o més fragments. Afegeix una ruta explícita de “no hi ha evidència suficient”. Tracta la sobrecitació com un defecte, perquè citar tots els documents a cada frase torna les cites inútils.

Controls d’avaluació

Avalua precisió de context, rellevància de resposta, validesa de cites i fidelitat sobre traces de producció. Comença amb scoring per lots si el cost preocupa. L’objectiu no és una mètrica acadèmica perfecta; és un senyal estable que indiqui quan deriven la recuperació, el chunking o el comportament del model.

Fonts útils: Correctness is not Faithfulness in Retrieval Augmented Generation Attributions, Enterprise RAG with citation tracking and audit trails i avaluació RAG amb Ragas.