Évaluer Docling sur un corpus juridique français

Pourquoi

Le parsing est la première étape du pipeline et la moins visible : une erreur d'OCR ou un tableau linéarisé produit des chunks inutilisables sans que personne ne s'en aperçoive (ingestion). Docling est le candidat principal (MIT, exécution locale, HybridChunker) ¹ ; sa qualité sur le français juridique n'est pas documentée.

Protocole

1. Constituer le corpus fictif décrit dans la procédure (rien de réel) ; produire les scans en imprimant puis numérisant à trois qualités.
2. Saisir la vérité terrain pour 30 documents (texte, titres, tableaux).
3. Exécuter Docling (OCR Tesseract fra ⁴), Unstructured hi_res ², PyMuPDF + Tesseract ³ (usage de test uniquement, AGPL), et PaddleOCR ⁵ sur l'OCR seul.
4. Mesurer : taux d'erreur caractères et mots ; cellules de tableaux correctes ; titres et numéros d'articles détectés ; pages par minute ; mémoire.
5. Inspecter à la main 10 documents par outil pour les erreurs qualitatives (ordre de lecture, colonnes, en-têtes répétés).

Critères

Docling est retenu si le taux d'erreur mots sur scans 300 dpi est inférieur à 2 % (à confirmer), si les tableaux simples sont restitués cellule par cellule, et si le débit CPU permet d'ingérer 10 000 pages en une nuit (estimation de volume à confirmer). Sinon, combiner OCRmyPDF + PaddleOCR en amont.

Résultat

À venir.