Aller au contenu
Tag

#embeddings

18 entrée(s) portent ce tag.

Pages

2

Chunking et embeddingsRAG · Découper les documents en passages exploitables, les étiqueter (dont l'ACL), les vectoriser avec un modèle multilingue sous licence libre, et estimer la mémoire des index.RAG : vue d'ensembleRAG · Pipeline documentaire de la Box, de l'ingestion des dossiers à la réponse citée, avec le filtre de permissions au cœur de la recherche.

Modèles

5

bge-m3 (embeddings)Modèle · Embedding multilingue BAAI de 568 M de paramètres, dimension 1024, contexte 8192, MIT : le candidat par défaut pour le RAG de la Box.jina-embeddings-v3 (embeddings)Modèle · Embedding multilingue Jina AI (570 M, dimension 1024, contexte 8192, 89 langues) sous CC BY-NC 4.0 : licence non commerciale, écarté pour la Box sauf accord avec Jina.multilingual-e5-large (embeddings)Modèle · Embedding multilingue Microsoft de 560 M, dimension 1024, contexte 512, MIT : alternative éprouvée à bge-m3, limitée par son contexte court.nomic-embed-text-v2-moe (embeddings)Modèle · Embedding MoE de Nomic (475 M, 305 M actifs), dimension 768 réductible à 256, contexte 512, Apache 2.0, environ 100 langues : option légère pour le RAG.Qwen3-Embedding (0.6B / 4B / 8B)Modèle · Famille d'embeddings Alibaba (juin 2025), contexte 32k, dimensions réglables jusqu'à 4096, plus de 100 langues, Apache 2.0 : le 8B est le plus puissant mais le plus lourd à servir.

Expérimentations

1

Comparer les modèles d'embeddings sur du français juridiqueExpérimentation · Mesurer recall@k et MRR de bge-m3, multilingual-e5-large, Qwen3-Embedding (0.6B, 4B) et nomic-embed-text v2 sur le jeu de questions du corpus fictif, avec et sans reranker.

Sources

8

BAAI/bge-m3 — fiche modèleSource · 568 M de paramètres (XLM-R), dimension 1024, dense + sparse + ColBERT, contexte 8192, plus de 100 langues, MIT.BAAI/bge-reranker-v2-m3 — model cardSource · Reranker de référence, léger, licence permissive.intfloat/multilingual-e5-large — fiche modèleSource · 560 M de paramètres, dimension 1024, contexte 512, 100 langues, MIT.Jina-ColBERT-v2 — late interaction multilingueSource · La late interaction est une troisième voie entre bi-encodeur et cross-encodeur, mais coûteuse en stockage (un vecteur par token).nomic-ai/nomic-embed-text-v2-moe — fiche modèleSource · MoE 475 M / 305 M actifs, 8 experts top-2, dimension 768 (256 en Matryoshka), contexte 512, environ 100 langues, Apache 2.0.QwenLM/Qwen3-Embedding — dépôt GitHubSource · Dépôt commun des modèles Qwen3-Embedding et Qwen3-Reranker, exemples d'usage.Qwen/Qwen3-Embedding-0.6B — fiche modèle (famille 0.6B / 4B / 8B)Source · Famille 0,6 / 4 / 8 Md, dimensions 1024 / 2560 / 4096 (réglables de 32 au maximum), contexte 32k, plus de 100 langues, Apache 2.0.Qwen/Qwen3-Reranker — model card (0.6B / 4B / 8B)Source · Alternative plus récente à bge-reranker, en trois tailles ; 0.6B compatible CPU/GPU modeste.

Glossaire

2

Embedding (plongement vectoriel)Terme · Représentation numérique d'un texte sous forme de vecteur de plusieurs centaines de dimensions, telle que deux textes de sens proche produisent des vecteurs proches.RAG (génération augmentée par récupération)Terme · Technique qui retrouve les passages pertinents dans une base documentaire puis les fournit au modèle de langage pour qu'il réponde à partir de sources réelles et citables.