Comparer les modèles d'embeddings sur du français juridique

Pourquoi

Le choix du modèle d'embeddings conditionne toute la recherche et impose une réindexation complète en cas de changement (chunking et embeddings). Les classements génériques (MTEB) ne disent rien du français juridique. jina-embeddings-v3 est exclu d'office (CC BY-NC) ¹.

Protocole

1. Corpus et jeu de questions de l'évaluation, version figée.
2. Modèles : bge-m3, multilingual-e5-large (avec préfixes query: / passage:), Qwen3-Embedding-0.6B et 4B, nomic-embed-text v2 ; vérifier licence, dimensions et contexte sur chaque model card avant le test (chiffres non vérifiés dans nos recherches).
3. Trois modes de recherche : dense, BM25 (PostgreSQL tsvector configuration french), hybride RRF k = 60.
4. Rerankers : bge-reranker-v2-m3 ², Qwen3-Reranker-0.6B ³, sur 40 candidats, sortie 10.
5. Métriques : recall@5/10/20, MRR ; temps de vectorisation pour 100 000 chunks (CPU, GPU) ; mémoire de l'index à 768 / 1 024 / 2 560 dimensions.
6. Variante : chunks de 512 tokens à taille fixe, pour tester l'effet du chunking en même temps ⁴.

Critères

Retenir le modèle au meilleur recall@10 en hybride + reranker, à licence MIT ou Apache 2.0, dont le coût d'ingestion reste compatible avec une nuit de traitement pour un cabinet. À égalité, préférer le plus petit.

Résultat

À venir.