Forschung und Archive: Erschliessung und Zugänglichkeit neu gedacht

Täglich werden die Bestände in Archiven umfangreicher. Für die Erschliessung benötigen die Archivarinnen und Archivare viele Ressourcen in Form von Zeit und Geld und am Ende sind die Informationen und Daten weiterhin schwer zugänglich.

Unsere Beobachtungen und Gespräche mit den Betroffenen zeigen uns, dass diese Digitalisierungsthemen oft gar nicht erst angegangen werden. Fehlende Ressourcen verhindern dies.

Sind die Digitalisierung und Erschliessung der Daten bereits abgeschlossen, ist dies jedoch kein Garant für eine effektive und zugängliche Nutzung des Bestandes. Neue Fragestellungen folgen: Wie können die Daten durchsuchbar gemacht werden? Wie kann die Nutzung der Daten unterstützt werden? Wie können den Nutzenden die Daten angemessen präsentiert werden? Wie können die von Menschen erschlossenen textuellen Metadaten und Klassifizierungen erweitert werden?

vitrivr: Multimedia-Suchmaschine

An der Fachtagung des VSA haben wir eine moderne Alternative zur manuellen Erschliessung und zu traditionellen Suchmöglichkeiten vorgestellt. Diese basiert auf aktuellen Forschungsergebnissen.

vitrivr ist eine open source Multimedia-Suchmaschine. Sie entstand im Rahmen der Forschungsarbeiten der Forschungsgruppe Datenbanken und Informationssysteme der Universität Basel.

Durch aktuelle Forschungsmethoden des Maschinellen Lernens, sowie der Multimedia-Suche, erlaubt vitrivr die automatisierte, inhaltsbasierte Analyse von Multimedia-Sammlungen, die aus Bildern, Videos, Audio und sogar 3D-Modellen bestehen.

Die daraus entstandenen «Feature» ermöglichen einfaches Durchsuchen und freies Erkunden einer Sammlung. Ein Feature basiert jeweils auf entsprechenden Aspekten der Multimediainhalte.

Ein simples Beispiel eines inhaltsbasierten Features für Bilder und Videos ist die Durchschnittsfarbe, welche sich durch den RGB-Farbraum als dreidimensionaler Vektor darstellen lässt. Durch eine Berechnung der Distanz zwischen Durchschnittsfarbvektoren unterschiedlicher Bilder und Videos kann eine einfache Ähnlichkeit berechnet oder nach Inhalten mit bestimmter Farbe gesucht werden.

Eine neue Dimension bilden moderne modalitäts-überschreitende deep-learning co-embedding Features. Diese wenden von der Maschine gelernte Features auf grosse Datenmengen an und transformieren Multimedia-Daten aus unterschiedlichen Modalitäten, häufig Text und Bild, in einen gemeinsamen Vektorraum. In ihm beschreibt die Distanz zwischen Vektoren die semantische Ähnlichkeit des Multimediainhaltes.

vitrivr: konkretes Beispiel

Zum Beispiel ist im Vektorraum die Distanz zwischen dem Text «ein Hund der durch eine Wiese läuft» und einem Bild mit dem entsprechenden Inhalt geringer als die Distanz zwischen demselben Text und einem unpassenden Bild, beispielsweise einem Portrait.

Nachfolgend die Abbildung eines Visual-text co-embedding Diagram. Im Vektorraum ist die Distanz zwischen dem Text s kleiner zu dem dazu passenden Foto f, als zu dem unpassenden Foto f’.

Semantische co-embedding Features, die bei vitrivr verwendet werden, erlauben somit einen vielseitigen Umgang mit Multimedia-Sammlungen und Archiven. Diese Berechnung der Distanz einer textuellen Beschreibung und den Multimedia-Daten ermöglicht eine flexible Art der textuellen Suche. Besonders in noch nicht vom Menschen erschlossenen Sammlungen und Beständen, ganz ohne sich auf fix erkannte Objektklassen beschränken zu müssen.

Da die Ähnlichkeit auch zwischen Multimedia-Daten derselben Modalität berechnet wird, können Bestände sogar mit einem beliebigen Beispielbild nach inhaltlich ähnlichen Multimedia-Daten durchsucht werden.

Auch ohne konkretes Suchziel ermöglichen co-embedding Features die Erkundung von noch nicht erschlossenen Sammlungen. Durch Clustering Methoden im semantischen Vektorraum, wie Self-Organizing Maps, können Gruppierungen semantisch ähnlicher Multimedia-Daten berechnet und erkundbar gemacht werden.

Diesen Zugang ermöglicht beispielsweise VIRTUE, ein VR Museum, welches mit vitrivr im Backend entwickelt wurde. Es erlaubt die hierarchische Erkundung von Sammlungen basierend auf beliebigen Features.

vitrivr ist im Forschungslabor entstanden und für die Nutzung der Software werden ein tiefes technisches Verständnis und einiges an Aufwand benötigt. Die Fähigkeiten des Systems stehen an der oberen Grenze des derzeit technisch Möglichen.

Archipanion: intuitive Suchoberfläche für Archive und Museen

Damit diese neuesten Forschungsergebnisse auch in Museen und Archiven genutzt werden können, kam es zur Kooperation zwischen der Universität Basel und der Firma 4eyes GmbH. Entstanden ist die intuitive Suchoberfläche namens «Archipanion». Mit ihr können Inhalte, insbesondere Multimedia-Formate wie Bilder und Videos, ohne zusätzlichen Erschliessungsaufwand inhaltlich mit neuesten Methoden durchsucht werden.

Mit Archipanion wird modernste Forschung zu Multimedia-Analyse, Suche und Exploration auch Institutionen zugänglich. Um eigene Lösungen zu entwickeln oder Forschungssysteme zu verwenden, fehlen oft die Ressourcen oder das technische Know-how. Archipanion hilft Museen und Archiven jeder Grösse, ihre wertvollen Bestände besser zu verstehen, zu verwalten und Nutzern schnell und einfach zur Verfügung zu stellen. Aus Daten wird Wissen.

Bibliographische Referenzen

• Spiess, F. et al. (2022). Multi-modal Video Retrieval in Virtual Reality with vitrivr-VR. In: Jonsson, B. P. et al. MultiMedia Modeling. MMM 2022. Lecture Notes in Computer Science, vol 13142. Springer, Cham. https://doi.org/10.1007/978-3-030-98355-0_45