Mesures

Ce que la détection trouve, mesuré et publié.

Nous mesurons le moteur réel, réseau coupé, sur des dossiers fictifs construits comme de vrais dossiers de cabinet. Une information compte comme trouvée si elle n'apparaît plus dans la copie. Voici les résultats, leur méthode et leurs limites.

Quels sont les résultats ?

Par type, sur les documents de cabinets : personnes 166/166, organisations 58/58, adresses 72/72, e-mails 21/21, téléphones 21/21, IBAN 10/10, dates 14/14, identifiants 12/12. Une même personne ne reçoit jamais deux étiquettes différentes.

Et sur un jeu de données public ?

Pour qu'un tiers puisse refaire la mesure, nous avons passé le moteur sur les 2 000 premiers textes en français du jeu public OpenPII 1.5M d'Ai4Privacy (validation, textes de France, de Suisse et du Canada), sous licence CC BY 4.0. En détection complète, 97,8 % des valeurs que le produit annonce masquer disparaissent : personnes 98,6 %, adresses 93,6 %, e-mails 100 %, téléphones 99,7 %, identifiants 98,7 %, et 97,2 % des dates.

En détection légère, le résultat tombe à 51,9 % : ses règles reconnaissent les formats français, alors que le jeu, synthétique, utilise surtout des formats suisses, canadiens ou inventés (26 téléphones sur 770 seulement sont au format français, et les 26 sont trouvés). Les noms (91 %) et les e-mails (100 %) tiennent. Ce jeu ne contient ni IBAN ni organisations, et ses textes courts ne ressemblent pas à des pièces de cabinet. Méthode, correspondance des étiquettes, échantillon et résultats bruts : sur demande à contact@anonymfiles.com.

Données : OpenPII 1.5M, Ai4Privacy / Ai Suisse SA, CC BY 4.0. Ai4Privacy n'est pas associé à cette mesure.

Et face à Microsoft Presidio ?

Sur le même corpus et avec la même règle de comptage, Presidio (configuration française, modèle spaCy moyen) trouve 85 % des informations dans sa meilleure configuration, et ne reconnaît ni les dates ni les identifiants français. Méthode, versions et résultats par type : Presidio en français, mesuré.

Comment la mesure est-elle faite ?

• Le moteur de l'application, avec ses modèles locaux et ses règles, réseau désactivé.
• Un corpus entièrement fictif : jugements, conclusions, actes, procès-verbaux, exports de paie, e-mails, courriers, rédigés comme de vraies pièces.
• Une information est trouvée si elle n'apparaît plus dans la copie caviardée. Les montants, numéros de RG et références cadastrales (45 informations) relèvent du masquage à la main et ne sont pas comptés.
• Le corpus contient aussi 57 termes à garder lisibles (juridictions, organismes, termes juridiques) : un terme masqué est compté comme une erreur.

Quelles sont les limites ?

• C'est notre corpus, construit par nous : il ne remplace ni un audit indépendant ni un test sur vos propres dossiers.
• Aucune détection automatique n'est parfaite : chaque pièce se relit côte à côte avant l'export, et rien ne sort sans validation.
• Le corpus et les scripts de mesure sont disponibles sur demande à contact@anonymfiles.com.

Pour aller plus loin : la mesure de détection et le test hors ligne · le risque de ré-identification.