193 - Dokumente schwärzen

Ein Klick, und alle persönlichen Daten sind aus dem Dokument verschwunden, so steht es bei den Anbietern. Wir haben in einem Projekt Akten aus der Immobilienverwaltung geschwärzt, bevor sie weitergegeben werden durften, und die kamen nicht als saubere PDFs, sondern als Fotos aus aufgeklappten Ordnern. Ein Erfahrungsbericht darüber, was die Werkzeuge gut können, an welchen ganz normalen Stellen sie nicht anschlagen, und wie daraus eine Pipeline in mehreren Durchläufen wurde.

• Schwärzen sind zwei Aufgaben: finden und entfernen. Warum ein schwarzes Rechteck über dem Text kein Schwärzen ist
• Je Datentyp eine Methode: Muster mit Prüfsumme für IBAN und E-Mail, Eigennamen-Erkennung für Namen und Adressen, ein Bildmodell für den Rest. Presidio als Rahmen, GLiNER für eigene Kategorien
• Bei Fotos der Umweg über die Texterkennung: jedes Wort ein Kästchen, die Fundstelle wird zurück aufs Bild gerechnet
• Die Fälle, die durchgerutscht sind: eine E-Mail-Adresse ohne Punkt vor der Endung, eine IBAN mit Zeilenumbruch in der Fußzeile
• Die Pipeline in Zyklen: erst die schnellen Erkenner, dann ein lokales Bildmodell als Kontrolleur, und alles zurück in den nächsten Durchlauf. Warum die Treffer vereinigt werden, nicht geschnitten
• Von gefühlt siebzig auf knapp hundert Prozent, und was diese Zahl wert ist, wenn sie nur aus Stichproben stammt

Zum Nachlesen: Microsoft Presidio: https://github.com/microsoft/presidio GLiNER, Eigennamen-Erkennung mit eigenen Kategorien: https://github.com/urchade/GLiNER PyMuPDF, echtes Schwärzen in PDFs: https://pymupdf.readthedocs.io/ Desert Ant Labs mit dem Redact-Modell aus Folge 190: https://desertant.com/de/

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.