Mesure de détection et test hors ligne d'AnonymFiles : la méthode et les résultats

Les résultats en bref

• 364 informations sur 366 masquées, soit 99 % de rappel, sur 40 documents fictifs de cabinets.
• Sur les vrais formats : 100 % en Word, 97 % en e-mail, 98 % en PDF texte, 100 % en PDF scanné (OCR) et en tableur.
• En détection légère (activée d'office sur les ordinateurs de 8 Go ou moins, environ 1 Go de mémoire en moins) : 360 sur 366, soit 98 %.
• 1 terme à conserver masqué par erreur sur les 55 des documents texte (« URSSAF Pays de la Loire »), et deux dans les formats : un organisme public et une juridiction, masqués par prudence.
• Relevé du 14 octobre 2026, avec le moteur réel de l'application (deux modèles locaux et des règles), réseau désactivé.

La méthode de mesure

Le corpus compte quarante documents fictifs en français, écrits comme ceux des sept métiers auxquels s'adresse AnonymFiles : conclusions, assignation, jugement, promesse de vente, acte de donation, lettre de mission, procès-verbal d'assemblée, export de paie, procès-verbal de constat, signification, rapport de mandataire, liste de créanciers, projet de brevet, contrat, accord de confidentialité, e-mails. Toutes les personnes, sociétés, adresses, coordonnées et numéros y sont inventés. Le corpus contient des pièges volontaires : homonymes, noms dans des tableaux, noms en majuscules, sociétés désignées par leur forme juridique, dates de naissance à côté de dates de textes de loi, numéros SIREN et de sécurité sociale.

Pour chaque document, une liste fixe deux choses :

• les informations qui doivent disparaître de la copie caviardée (366 au total), classées par type : personne, organisation, adresse, e-mail, téléphone, IBAN, date privée, identifiant ;
• les termes qui doivent rester lisibles (55 au total) : références de textes, juridictions, notions juridiques.

Quarante-cinq autres éléments (montants, numéros de rôle, références cadastrales, immatriculations) relèvent du masquage à la main lors de la relecture : ils ne sont pas comptés. Une partie des documents est ensuite déclinée en Word, PDF texte, PDF scanné, e-mail et tableur, puis préparée par le circuit complet de l'application, extraction et OCR compris. Une information est comptée trouvée si sa valeur n'apparaît plus, mot entier, dans la copie caviardée ; un terme à conserver est compté en erreur s'il a disparu. Le corpus, les réponses attendues et les scripts sont publiés avec le code : la mesure se rejoue à l'identique.

Résultats par type d'information

Résultats par format de fichier

Mêmes documents, préparés dans leur format réel par l'application. Pour les scans, une information que l'OCR ne lit pas exactement (accent perdu, lettre confondue) est comptée « non lue » et reste à vérifier à la relecture.

Sur un PDF à interligne serré, une zone caviardée n'efface plus les mots de la ligne voisine : le défaut, repéré par ce corpus, est corrigé (sur une page scannée, l'effacement des pixels couvre toujours toute la hauteur des mots).

Ce que cette mesure ne dit pas

• Le corpus est fictif. Quarante documents écrits pour l'occasion ne représentent pas toute la variété d'un vrai dossier : noms rares, fautes de frappe, abréviations, pièces en langue étrangère, scans de mauvaise qualité.
• Des ratés restent. Les six informations manquées sont des organisations sans forme juridique (« Clinique du Parc », « Nord Habitat Expertise ») et des noms de famille seuls dans un en-tête de dossier ou un objet d'e-mail. Ce sont exactement les éléments à surveiller à la relecture.
• Ce n'est pas un audit. La mesure est faite par l'éditeur, sur son propre corpus. Les mesures publiées par d'autres éditeurs portent sur d'autres jeux de test : les chiffres ne sont pas comparables entre eux.
• Les montants et passages sensibles ne sont pas comptés. Ils se masquent à la main, d'un clic, à la relecture.

D'où la règle de l'application : chaque pièce s'affiche côte à côte avec son original, et rien n'est exporté sans validation. La mesure est refaite à chaque changement de modèle ou de règle de détection.

Ce que l'application fait sur le réseau

Voici, d'après le code de l'application, tout ce qui touche au réseau :

Le pont local 127.0.0.1 n'est pas internet

L'adresse 127.0.0.1 désigne l'ordinateur lui-même : une connexion vers elle ne quitte jamais la machine. AnonymFiles y ouvre un petit service, sur un port choisi au hasard et protégé par un jeton secret, que seuls les agents IA installés sur le même ordinateur (Claude Code, Codex…) peuvent appeler pour lire les copies caviardées et validées, jamais les originaux. Un pare-feu ou un outil de surveillance peut afficher cette adresse : c'est normal, rien ne part vers l'extérieur.

Le détail est sur la page sécurité et périmètre réseau.

Vérifier vous-même le hors-ligne

Sur Mac

1. Coupez le Wi-Fi (et débranchez le câble réseau) dès l'installation, avant le premier lancement.
2. Traitez un dossier de test : détection, relecture, export. Tout fonctionne, modèles compris : ils sont inclus dans l'application.
3. Pour une preuve plus fine, installez un pare-feu sortant : LuLu, gratuit et open source, ou Little Snitch. Il affiche chaque tentative de connexion vers internet, application par application. Seules des connexions vers 127.0.0.1 peuvent apparaître, celles du pont local.
4. Sans rien installer, le Moniteur d'activité (onglet « Réseau ») indique les octets envoyés et reçus par chaque processus.

Sur Windows, à la sortie de la version Windows

1. Laissez le premier traitement télécharger les modèles publics : c'est la seule connexion prévue, sans texte de document.
2. Bloquez ensuite l'application dans le Pare-feu Windows Defender, ou coupez le réseau : le traitement continue.
3. Pour observer, le Moniteur de ressources (onglet « Réseau ») liste les processus qui communiquent, et la commande netstat -b, dans une invite de commandes lancée en administrateur, affiche leurs connexions.

Et sur le fichier exporté

Ouvrez un PDF exporté, sélectionnez tout le texte et collez-le dans un éditeur : le texte masqué n'y est plus, il a été supprimé et non recouvert. Les six contrôles à faire sur n'importe quel PDF caviardé sont dans notre guide pour vérifier qu'un PDF est vraiment anonymisé.