Heroimage

Das Fraunhofer SIT und cosee helfen Ermittlern, Kunstwerke mittels KI zu erkennen

KIKU – Kunst­expertise für die Hosen­tasche

Kulturgüter wie antike Münzen, Vasen, Figuren, Waffen und Fossilien werden immer wieder gestohlen und geschmuggelt. Oft passiert der Diebstahl in Form von Raubgrabungen direkt an den historischen Stätten. Damit sind die Güter nirgendwo durch einen Experten erfasst worden. Gleichzeitig sind diese Güter für einen Beamten beim Zoll oder bei der Polizei nur schwer zu erkennen und von legalen Objekten zu unterscheiden. Das Fraunhofer SIT als Projektpartner und cosee kombinieren ein Deep-Learning-Netz und eine App, um dieses Problem zu lösen.

Kontaktiert uns!

Fakten & Eckdaten

Technologien
Android, Kotlin
Team-Setup
2 Mobile Engineers
1 Designer
1 Product Owner
1 Scrum Master
Laufzeit
Oktober 2020 – Dezember 2020
Am Anfang klang die Aufgabenstellung gar nicht so schwierig: Entwickelt eine App, um bis zu eine Handvoll Fotos von Kunstgegenständen aufzunehmen. Alle Fotos werden mit der App danach auf einen Server hochgeladen, dort von einem Deep-Learning-Netz analysiert und die Ergebnisse an die App zurückgegeben. Soweit, so klar, oder? Natürlich war es dann nicht ganz so einfach. In Wirklichkeit ist die App ein Werkzeug für den Alltag von Polizei- und Zollbeamten. Sie hilft ihnen beim Aufnehmen der Bilder, damit diese Bilder möglichst gut von einem Deep-Learning-Netz verarbeitet werden können. Und das im zuweilen hektischen Alltag der Beamten, in dem es auf Zeit ankommt.

Wie sieht ein praktisches Helferlein im Polizeialltag aus?

Die Idee, Polizei- und Zollbehörden bei der Identifikation von illegalen Kulturgütern zu unterstützen, geht auf das Jahr 2015 zurück. Im Zusammenhang mit den kriegerischen Auseinandersetzungen im Irak und Syrien kam es verstärkt zum Diebstahl, Schmuggel und Handel von antiken Kulturgütern aus diesen Regionen. Vor diesem Hintergrund wurde seinerzeit das Forschungsprojekt „Illicid“ ins Leben gerufen. Schon bei diesem Projekt stand die Frage im Mittelpunkt, wie ein Beamter am Einsatzort durch eine App unterstützt werden kann, die quasi den Kunsthistoriker ersetzt. Im Projekt „Illicid“ versuchten wir dies zunächst über eine geführte Tour durch einen bebilderten Thesaurus. Der Bedarf für eine solche Software ist seitdem nicht kleiner geworden. Nach Angaben von Interpol wurden für 2018 weltweit mehr als 91.000 gestohlene Kulturgüter und fast 223.000 sichergestellte Objekte (z.B. antike Münzen, Keramiken, historische Waffen oder Fossilien) registriert.
Twitter
Durch die nationale KI-Strategie eröffnete sich 2020 für unseren Projektpartner, das Fraunhofer SIT, und uns die Möglichkeit, die im Projekt „Illicid“ entstandene App weiterzuentwickeln. Entsprechend sollte dieses Mal der Fokus eher auf Bilderkennung mittels Künstlicher Intelligenz liegen (Projekt KIKu). Zu Beginn des neuen Projekts stellten wir uns gemeinsam Fragen wie
•
Wer sind die Benutzer der App?
•
Wie viel technisches Vorwissen haben diese Benutzer?
•
In welchen Situationen wird die App benutzt? Ist der Benutzer während der Benutzung unter Zeitdruck? Müssen bestimmte Informationen versteckt werden, damit jemand, der zufällig kurz auf den Bildschirm schaut, sie nicht sehen kann?
•
Welche Objekte werden aufgenommen? Gibt es eine Abhängigkeit vom Objekttyp?
Basierend auf diesen Überlegungen entstand in mehreren Iterationen eine App, die den Beamten hilft, von verschiedensten Kunst- und Kulturgütern für die KI verwertbare Fotos aufzunehmen – auch unter Zeitdruck. Mit diesem Workshop nahm die Vision für uns Gestalt an. Sie war ein wichtiger Kompass auf unser weiteren Hochgeschwindigkeitsreise.

Schritt für Schritt zur Objekterkennung

Die Qualität des Eingangsmaterials ist von entscheidender Bedeutung, weil auf dem Server aus den Bildern ein Modell erzeugt wird, das man sich sehr vereinfacht als 3D-Modell des Objekts vorstellen kann. Dieses Modell wird dann mit den Modellen bekannter Objekte verglichen. Das Ziel ist aber nicht, das gleiche Objekt, sondern ähnliche Objekte zu identifizieren – was ungleich schwieriger ist, wie Martin Steinebach, der zuständige Abteilungsleiter am Fraunhofer SIT im Interview mit SWR2 erklärt.
Twitter
Warum aber konzentriert sich das Projekt auf den wesentlich schwierigeren Objektvergleich, statt auf die einfachere Objekterkennung? Der Grund dafür ist, dass viele gestohlene Kulturgüter an Ort und Stelle an den historischen Stätten durch sogenannte Raubgrabungen gestohlen werden. Von diesen Objekten gibt es naturgemäß keine Aufnahmen; dafür aber von vergleichbaren Objekten.

Für den Aufbau des 3D-Modells ist wichtig, dass das Objekt zum einen von möglichst vielen Seiten aufgenommen wird und zum anderen über Metadaten ersichtlich ist, welches Bild von welcher Seite aufgenommen wurde. Für diesen Zweck haben wir zunächst einen Wizard konzipiert, der den Benutzer für jede der sechs Seiten fragt, ob er ein Foto aufnehmen möchte. Berücksichtigt man, dass die meisten Gemälde nur eine interessante Seite, Münzen zwei, Vasen aber wirklich sechs Seiten haben, wurde schnell klar, dass der Wizard keine gute User Experience bieten wird – insbesondere wenn der Benutzer unter Zeitdruck steht.
KIKu-App Kunstobjekt Perspektiv AuswahlKIKu-App FotomodusKIKu-App Bildüberprüfung
Deswegen kann der Beamte in der App an einem stilisierten Kunstobjekt die Seiten nach und nach antippen, für die er Fotos aufnehmen will und kann. Bei einer großen, schweren Statue, die gegen eine Wand gelehnt ist, könnte die Rückseite z.B. nur mit hohem Aufwand fotografiert werden.

Neben der „Lage“ der Fotos ist für die Ergebnisse der KI aber auch die Qualität der Einzelbilder wichtig. Zu helle, zu dunkle oder kontrastarme Bilder können zu schlechten Ergebnissen führen. Sollte einer dieser Parameter nicht passen, informiert die App den Benutzer mit einer Nachricht, die direkt ins Kamerabild eingeblendet wird.

Noch nachteiliger als die Ausleuchtung sind störende Hintergründe – wenn das Objekt z.B. vor einer Tapete mit ausgeprägten Ornamenten steht. Die App erklärt dem Benutzer, wann er ein Foto zuschneiden soll und wie das funktioniert. So ist die störende Tapete schnell entfernt.

Übung macht den Meister

Selbst wenn die Fotos perfekte Ausgangsvoraussetzungen bieten, wird das Deep-Learning-Netz des Fraunhofer SIT nicht direkt perfekte Ergebnisse liefern. Das liegt daran, dass bei KI-Verfahren die Logik nicht ausprogrammiert, sondern antrainiert bzw. gelernt wird – genau wie beim menschlichen Gehirn.

Deswegen sind die Experten am Fraunhofer SIT auf Feedback von Benutzern angewiesen. Gab es ein völlig unpassendes Ergebnis? Wurden auch Objekte durch das Modell gefunden, die selbst aus Sicht eines kunsthistorischen Laien nichts mit den hochgeladenen Fotos gemein haben? In diesen Fällen kann der Benutzer den entsprechenden Fall an einen Experten zur Begutachtung weiterleiten. So lernt das Netz immer besser und besser und liefert immer passendere Ergebnisse.

Aber nicht nur die Entwickler der KI sind auf Feedback der Nutzer angewiesen. Wir bei cosee möchten auch Feedback aus dem realen Einsatz haben und die App basierend auf diesem Feedback verbessern. Passen die Hypothesen, die wir zu Beginn des Projekts aufgestellt haben? Ist die App intuitiv und unter Zeitdruck benutzbar? Für die Antwort auf diese Fragen ist für 2021 eine zweite Projektphase vorgesehen.
Funktionsumfang
•
„Tap and Shoot“-Ansicht zur Perspektivauswahl
•
Interaktive Bildqualitätskontrolle in der Kamera-Ansicht (sind Kontrast und Helligkeit des Kamerabildes in Ordnung?)
•
Foto zuschneiden
•
Historie der bereits aufgenommenen Bilder inkl. Einstufung und gefundener Referenzbilder
•
Bei unerwarteten Ergebnissen einen Experten kontaktieren
•
In-App Tutorials, die den Umgang mit der Software erklären und demonstrieren

Weitere Beiträge zu diesem Thema

light mode button