Ingestion : parsing, OCR, métadonnées, synchronisation

L'essentiel

• Un cabinet produit des PDF natifs, des PDF scannés, des documents Word et Excel, des mails (souvent .msg ou .pst) et des images de pièces. Le parseur doit couvrir tout cela en local, sans envoyer un octet à l'extérieur.
• Docling (MIT, IBM Research) est le candidat principal : mise en page, tableaux, OCR, export structuré, chunking natif, « air-gapped » ¹. Unstructured et Tika servent de filet pour les formats exotiques.
• Plusieurs outils réputés ont des licences piégeuses pour une entité commerciale : PyMuPDF (AGPL ou commercial), Marker (poids non libres au-delà de 5 M$ de revenus), MinerU (licence custom), Nougat (poids CC BY-NC), extract-msg (GPL v3). À lire avant d'installer.
• Chaque document ingéré porte ses métadonnées (dossier, client, date, type, page) et ses droits d'accès, copiés sur chaque chunk : sans cela, le filtre de permissions est impossible.
• La synchronisation est incrémentale (hash du fichier) et la suppression d'un document supprime tous ses chunks et vecteurs ; ces deux mécanismes sont testés, pas supposés.

Ce qu'il faut extraire, et pourquoi c'est difficile

Un acte, une assignation, un contrat ou un jugement ont une structure (titres, articles, clauses, pieds de page répétés, numéros de page) que la recherche doit exploiter et que la citation doit restituer (« pièce 12, p. 4 »). Trois difficultés reviennent :

1. Les scans : une part importante des pièces arrive en PDF image (courriers reçus, pièces adverses). Sans OCR, elles n'existent pas pour le RAG.
2. Les tableaux : bordereaux, décomptes, échéanciers. Un extracteur qui linéarise un tableau ligne par ligne produit des chunks inutilisables.
3. Les mails : le corps, les pièces jointes, le fil de réponses cité. Un .pst de plusieurs gigaoctets contient des milliers de messages et de pièces jointes à rattacher au bon dossier.

Outils de parsing et d'OCR

Chaîne recommandée (hypothèse)

1. Détection : PDF natif (texte présent) ou scanné (pas de couche texte, ou couche texte vide).
2. Pré-OCR des scans avec OCRmyPDF + Tesseract fra (ou fra+eng pour les dossiers internationaux) : le PDF garde son image et gagne une couche texte réutilisable par n'importe quel outil, y compris le lecteur PDF de l'avocat ⁹.
3. Parsing avec Docling : structure (titres, paragraphes, listes), tableaux, numéros de page, coordonnées des blocs (pour surligner le passage cité) ¹.
4. Secours : Tika ou Unstructured pour un format que Docling refuse.
5. Contrôle qualité : taux de caractères non alphabétiques, longueur moyenne des mots, pages vides ; un document sous le seuil est marqué « OCR douteux » et remonté à l'utilisateur plutôt qu'indexé silencieusement.

PaddleOCR est à comparer à Tesseract sur les scans difficiles ; les deux tournent sur CPU, ce qui compte sur la machine candidate où le GPU est réservé au LLM.

Formats de messagerie

Métadonnées spécifiques aux mails : expéditeur, destinataires, date, sujet, identifiant de fil (Message-ID, In-Reply-To), pièce jointe parente. Le rattachement au dossier se fait par convention (sous-dossier Outlook exporté par affaire) ou par règle (adresse du client, référence dans l'objet) ; les mails non rattachés vont dans une zone de quarantaine visible du seul propriétaire.

Nettoyage

Avant chunking : supprimer les en-têtes et pieds de page répétés (détectés par répétition sur plusieurs pages), les numéros de page isolés, les lignes de signature de mail, les avertissements de confidentialité répétés ; normaliser les espaces et les apostrophes ; conserver les numéros d'articles et de clauses, qui sont des ancres de citation. Dédoublonner par hash de contenu (la même pièce est souvent présente trois fois dans un dossier : originale, scan, pièce jointe d'un mail) tout en gardant tous les chemins pour la citation.

Métadonnées

Chaque document, puis chaque chunk, porte :

Le champ acl_groups est dupliqué sur chaque chunk à dessein : Azure AI Search documente que les champs de permission suivent les fragments quand le document est découpé ¹³. Cette dénormalisation impose que la resynchronisation des ACL réécrive les métadonnées de tous les chunks concernés.

Synchronisation incrémentale

Le connecteur (voir documents) parcourt les sources à intervalle régulier et compare chemin + taille + mtime + hash. Trois cas :

• Nouveau ou modifié : réingestion complète du document (parsing, chunking, embeddings), remplacement atomique des anciens chunks par les nouveaux, puis mise à jour des ACL.
• Déplacé (même hash, autre chemin) : mise à jour des métadonnées ; si le déplacement change de dossier, les ACL changent aussi, ce qui est un événement de sécurité à journaliser.
• Supprimé : suppression de tous les chunks, vecteurs et entrées BM25, puis du journal d'ingestion (le journal d'accès est conservé selon sa propre durée).

L'état d'avancement (documents en attente, échecs d'OCR, dernier passage) est exposé au monitoring ; un document en échec est visible dans l'interface d'administration avec sa raison.

Comparaison avec le RAG intégré d'Open WebUI

Open WebUI propose Tika, Docling ou Mistral OCR comme moteur d'extraction et un splitter par caractères ou tokens ¹⁴. Cela suffit pour un POC sur quelques documents déposés à la main. Cela ne couvre pas : la synchronisation depuis un partage, la propagation des ACL, le rattachement des mails aux dossiers, le contrôle qualité OCR. C'est l'un des arguments pour un service d'ingestion séparé dès le POC (interface).

Questions ouvertes

Ce qu'il reste à tester

• Évaluer Docling sur un corpus juridique françaisDocling (MIT) avec Tesseract fra extrait correctement texte, structure et tableaux des documents juridiques français natifs, et atteint une qualité OCR acceptable sur des scans de qualité moyenne, à un débit compatible avec l'ingestion initiale d'un cabinet sur CPU.À tester