Cada resposta del Company Brain necessita proves

Enterprise RAG no és només “xat amb els teus documents”. En equips regulats, el producte real és una cadena d’evidència defensable: qui ha preguntat, quins documents s’han consultat, quins fragments s’han recuperat, quin model ha respost i quines fonts exactes sostenen la resposta final.

Això importa perquè una resposta convincent sense procedència és perillosa. Pot estalviar cinc minuts avui i costar cinc setmanes durant una auditoria, revisió legal, disputa amb un proveïdor o escalada al consell.

Què necessita una resposta RAG auditable

Una resposta útil per empresa hauria de portar un registre de procedència:

• ID del document, títol, propietari, versió i estat de retenció
• Pàgina, secció, paràgraf o fragment que sosté cada afirmació
• Mètode de recuperació, score de ranking, score de reranking i instantània de l’índex
• Versió del prompt, versió del model, temperatura i crides a eines
• Usuari, workspace, timestamp, política d’accés i context de negoci
• Resposta final més els IDs d’evidència que diu utilitzar

La idea central és la reproduïbilitat. Si algú qüestiona una resposta sis mesos després, l’equip ha de poder reconstruir què sabia el sistema en aquell moment, no com és el corpus avui.

El patró d’arquitectura

Comença amb un arxiu brut. Normalitza el text a una representació canònica. Fragmenta amb regles estables. Desa cada fragment amb metadades que sobrevisquin a tot el pipeline. Versiona els índexs, no només els documents. Després registra recuperació, reranking, generació i validació de cites com una sola traça.

Aquí fallen molts prototips RAG. Guarden la resposta final i algunes cites, però no alternatives recuperades, scores, versió de l’índex, inputs del prompt o controls d’accés. Serveix per a una demo. No serveix per a compliance.

Què cal mesurar

No n’hi ha prou amb “la resposta sembla bona”. Mesura precisió de recuperació, validesa de cites, fidelitat, qualitat del rebuig, taxa de documents obsolets i exactitud quan no hi ha resposta. En fluxos regulats, dir “no hi ha resposta fiable al corpus actual” sovint és millor que inventar-la.

Lectures útils: Enterprise RAG with provenance and auditability, avaluació RAG amb Ragas a Langfuse i conceptes d’observabilitat de Langfuse.