Recherche, reranking et citations

L'essentiel

• La recherche combine deux signaux : la similarité vectorielle (sens) et BM25 (mots exacts : numéros de pièce, noms propres, références d'articles). En droit, le second est indispensable.
• La fusion se fait par RRF (k = 60, Cormack et al. 2009) : robuste, sans réglage, disponible nativement dans Qdrant, OpenSearch, Weaviate, LanceDB, à coder en SQL avec pgvector.
• Le filtre de permissions s'applique dans la requête (pré-filtrage). Avec HNSW, un post-filtrage renvoie trop peu de résultats ; pgvector documente le problème et son remède (iterative_scan, 0.8.0) ; Qdrant intègre le filtre au graphe.
• Un reranker (bge-reranker-v2-m3 ou Qwen3-Reranker-0.6B, Apache 2.0) reclasse 20 à 50 candidats et en garde 5 à 10 pour le LLM.
• Chaque réponse cite dossier, document, page, extrait et lien. Une citation n'est pas une preuve de fidélité (« up to 57% of citations being post-rationalized ») : d'où des garde-fous et une évaluation.

Recherche vectorielle

La question est vectorisée avec le même modèle que les chunks (embeddings), puis la base renvoie les k vecteurs les plus proches (cosinus ou produit scalaire). L'index HNSW rend la recherche approximative mais rapide ; ses paramètres (m, ef_construction, ef_search) arbitrent rappel contre latence et mémoire. Sur quelques centaines de milliers de chunks, une recherche exacte (scan complet) reste envisageable en secours pour vérifier le rappel de l'index (estimation).

Ce que la recherche vectorielle rate : un numéro de pièce, une référence « L. 1235-3 », un nom de partie mal orthographié, une date précise. Ce sont pourtant les requêtes les plus fréquentes d'un avocat.

BM25 et recherche hybride

BM25 indexe les termes et pondère par fréquence et rareté. Il retrouve les identifiants exacts et les termes rares. La recherche hybride lance les deux recherches, sur le même filtre de permissions, puis fusionne.

Le français exige un analyseur adapté pour BM25 : lemmatisation ou au minimum stemming (french dans PostgreSQL), suppression des mots vides, gestion des apostrophes et des accents. Sans cela, « contrats » et « contrat » sont deux termes différents.

Reciprocal Rank Fusion

Score d'un document = somme, sur chaque liste de résultats, de 1 / (k + rang). Introduit par Cormack, Clarke et Büttcher (SIGIR 2009) ; k = 60 est la valeur empirique de l'article et k entre 40 et 80 donne des résultats équivalents ; la méthode ignore les scores bruts, donc s'accommode d'un score BM25 non borné et d'un cosinus entre 0 et 1 ¹. C'est le défaut d'OpenSearch, Elasticsearch, Azure AI Search, Weaviate (avant 1.24) et LanceDB. Pour la Box : RRF avec k = 60, 50 candidats par liste, sans pondération au départ ; la pondération éventuelle sera décidée par l'évaluation.

Pré-filtrage et post-filtrage

Le pré-filtrage a un coût que chaque moteur gère différemment :

• pgvector : « With approximate indexes, filtering is applied after the index is scanned. If a condition matches 10% of rows, with HNSW and the default hnsw.ef_search of 40, only 4 rows will match on average » ². Autrement dit, sans précaution, un avocat qui n'a accès qu'à 10 % des dossiers obtient 4 résultats au lieu de 40, parfois zéro. Remèdes documentés : augmenter ef_search, créer des index partiels par dossier, et depuis la 0.8.0 activer hnsw.iterative_scan = relaxed_order (ou strict_order) qui « will automatically scan more of the index until enough results are found », borné par hnsw.max_scan_tuples (défaut 20 000) et hnsw.scan_mem_multiplier. Ce n'est pas une fuite mais une perte de rappel silencieuse, exactement ce qu'il faut mesurer.
• Qdrant : le filtrage sur le payload est intégré à la traversée HNSW ; un index payload marqué is_tenant: true regroupe physiquement les vecteurs d'un même dossier et rend la recherche filtrée efficace ³.
• Weaviate : en hybride, la doc indique d'appliquer les clauses where « post-fusion », ce qui demande vérification avant tout usage ACL ⁵.
• LanceDB : préfiltrage par défaut ⁶.

Azure justifie aussi le pré-filtrage par la performance : « Filtering inside the search pipeline is faster than loading larger result sets into your application and trimming there » ¹⁴.

Reranking

Le bi-encodeur (embeddings) compare la question et le chunk séparément ; le cross-encodeur (reranker) lit les deux ensemble et produit un score bien plus fin, au prix d'un passage par paire. On l'applique donc à une liste courte.

Hypothèse de départ : bge-reranker-v2-m3 sur GPU (ou CPU si la mémoire GPU est réservée au LLM), 40 candidats en entrée, 8 en sortie, seuil de score minimal pour rejeter les passages hors sujet plutôt que de les donner au modèle. À comparer avec Qwen3-Reranker-0.6B sur le corpus fictif.

Top-k et fenêtre de contexte

Le nombre de passages transmis au LLM est un compromis : trop peu, la réponse rate une pièce ; trop, le modèle se disperse et la fenêtre de contexte se remplit, ce qui allonge le TTFT et consomme du KV cache partagé entre utilisateurs (multi-utilisateurs).

Ordre de grandeur (hypothèse) : 8 passages de 600 tokens = environ 5 000 tokens de contexte documentaire, plus la question, l'historique et les consignes : 6 000 à 8 000 tokens par requête. Avec un modèle à 128k de contexte, la limite n'est pas la fenêtre mais le temps de prompt processing sur la machine candidate, à mesurer dans les benchmarks. Open WebUI ne transmet que 3 passages par défaut (RAG_TOP_K 3) ¹², ce qui est faible pour du juridique.

Le prompt de génération contient : la consigne de répondre uniquement à partir des passages, de citer leurs numéros, et de dire quand l'information n'y est pas ; puis les passages numérotés avec leur en-tête (dossier, pièce, page) ; puis la question. Rappel : ces consignes servent la qualité, pas la sécurité.

Citations : restituer page, passage et lien

Chaque passage envoyé au modèle porte un numéro et ses métadonnées. Le modèle référence les numéros ; l'interface les remplace par des cartes :

RAGFlow annonce des « grounded citations » ancrées dans le document ¹³ ; c'est le niveau visé : cliquer sur une citation ouvre la pièce à la bonne page, passage surligné. Cela suppose que le lien respecte lui aussi les permissions : la visionneuse vérifie la portée avant de servir le fichier (une seconde fois, indépendamment de la recherche).

Deux compléments utiles : afficher les passages récupérés non utilisés dans la réponse (l'avocat voit ce que le système a lu) et un bouton « signaler une citation fausse » qui alimente le jeu d'évaluation.

Hallucinations et garde-fous

Une réponse est fondée « when it correctly answers a question using only the information in the documents, and the response can be inferred from the inline citations » ; or une étude mesure « up to 57% of citations being post-rationalized » : le modèle cite après avoir répondu, pas parce qu'il a lu ¹¹. Les hallucinations en RAG prennent trois formes : réponse hors des passages, citation qui ne soutient pas la phrase, mélange de deux dossiers.

Garde-fous, du plus simple au plus coûteux :

1. Seuil de pertinence au reranking : sous le seuil, la Box répond « rien dans les documents accessibles » au lieu d'inventer.
2. Consigne de refus et exemples dans le prompt ; température basse.
3. Vérification des citations : après génération, vérifier que chaque numéro cité existe dans la liste fournie et que la phrase citée a un recouvrement lexical minimal avec le passage (règle simple, peu coûteuse).
4. Second passage de vérification par le LLM (« cette phrase est-elle soutenue par ce passage ? ») sur les réponses longues : coûteux, à réserver aux usages sensibles.
5. Évaluation hors ligne de la fidélité (Ragas, DeepEval) sur le jeu de test (évaluation).
6. Isolation par dossier dans le prompt : quand la portée couvre plusieurs dossiers, grouper les passages par dossier et le dire au modèle, pour limiter les mélanges.

Questions ouvertes

Ce qu'il reste à tester

• Comparer les modèles d'embeddings sur du français juridiqueSur des questions juridiques en français, bge-m3 et multilingual-e5-large atteignent un recall@10 comparable ; le reranker bge-reranker-v2-m3 apporte un gain de MRR supérieur à celui du changement de modèle d'embeddings ; la recherche hybride (BM25 + vecteurs, RRF) bat chacune des deux recherches seules.À tester