KI trifft Literaturwissenschaft

Ziel unserer Zusammenarbeit mit VERS.AI.LLES-Talents war daher die gemeinsame und interdisziplinäre Untersuchung, (1.) wie sich die Kombination von projektiver Texturierung und generativer KI als ergänzende Mittel für eine virtuelle Hypokonstruktion dieses historischen Theaterraums nutzen lassen, sowie (2.) welche methodischen Herausforderungen sich dadurch ergeben und welche Lösungsansätze denkbar sind. Unsere Aufgabe war die technische Umsetzung, also die Modellierung, KI-gestützte Texturierung, Implementierung in der Entwicklungsumgebung und Programmierung der Interaktionen, sowie die Umsetzung der VR-Steuerung, damit die literaturwissenschaftlichen Forschungsergebnisse in Form einer virtuellen Führung im Theatermodell präsentiert werden können.

Eine PC-fähige Desktopversion unseres Modells finden Sie HIER (Wichtig: Bitte Lautsprecher aktivieren! Steuerung und Bewegung via Mauszeiger/Pfeiltasten; Stationswechsel nach Einführungsmoderation mittels Zahlentasten 1-5). Termine für eine VR-Demonstration in der Keplerstraße 17 sind jederzeit möglich - bei Interesse melden Sie sich gerne bei der Projektleitung (alisa.winkens@ilw.uni-stuttgart.de).

Für ein möglichst interaktives und immersives Ergebnis im Sinn der Wissenschaftsvermittlung haben wir uns für ein maßstabsgetreues Modell entschieden, das eine Kombination aus freiem, selbstbestimmtem Navigieren und einem 360° Panorama-Erlebnis ermöglicht. Um das Theater aus möglichst vielen verschiedenen Perspektiven erkunden zu können, werden die NutzerInnen gezielt an unterschiedlichen Standpunkten sowohl im Zuschauer- als auch im Bühnenraum positioniert. Für Erläuterungen und Hintergrundinformationen wurde eine Audio-Führung durch das Theater mit fünf verschiedenen Stationen und Musik implementiert.

Aufgrund des fehlenden maßstabsgetreuen Bildmaterials in den historischen Quellen bildete zunächst eine manuelle Modellierung unseren Ausgangspunkt. Die digitale 3D-Rekonstruktion des Gartentheaters wurde in Blender auf Basis der verfügbaren Informationen aus den historischen Quellen durchgeführt. Auf feine Details wurde zunächst weitgehend verzichtet: Durch eine simplere Geometrie entstand auch eine simplere Tiefenkarte, die für die Interpretation bei der Generierung von Texturen eine Vereinfachung darstellte. Um die 3D-Geometrie als Grundlage für die Bildgenerierung verwenden zu können, musste das KI-Modell eine Tiefenkarte unserer 3D-Rekonstruktion interpretieren können – ergänzt durch eine genaue Beschreibung des Perspektivbildes, um möglichst passgenaue Ergebnisse zu den literaturwissenschaftlichen Hypothesen zu erzielen. Da FLUX.1-dev diese Anforderungen am besten umsetzen konnte, wurde es als Modell für das Projekt gewählt.

Der genutzte Workflow zur Generierung von projektiven Texturen sollte eine Lösung schaffen, mit der die Texturierung des historischen Raums ganzheitlich mittels KI generiert werden kann. Das hat in der Theorie den Vorteil, dass eine einheitliche Textur mit bereits vorhandener Belichtung, Schatten und weiteren Details erstellt werden kann, welche nur auf einem Textprompt und den Tiefeninformationen eines simplen Blockouts des Theaters basiert. Dabei gab es in vielen Fällen Einschränkungen, da das KI-Modell manche Perspektiven mit sehr spezifischen Anforderungen nicht zufriedenstellend und präzise genug umsetzen konnte: Um den Ergebnissen der historisch-kritischen Quellenarbeit zu entsprechen, waren stellenweise komplexe und (zu) lange Prompts nötig, welche die KI nur bedingt verarbeiten konnte. Dadurch fehlten manchmal wichtige Details, welche in unserem Fall durch nachträgliches Compositing von mehreren generierten Bildern – mit anderen Prompts oder Seeds – korrigiert werden konnten. Das führte zu einem komplexeren Workflow, der durch nachträgliches Compositing auch nicht vollständig automatisierbar war.

Neben diesen Herausforderungen konnte das genutzte KI-Modell jedoch die meist recht komplexen visuellen Anforderungen, wie z.B. bemalte Palisadenwände des Zuschauerraums mit spezifischen Motiven, auch ohne die Nutzung von eigenen LoRAs recht zufriedenstellend generieren. Zudem wurde auch die Tiefenmap in den meisten Fällen gut interpretiert. Insgesamt lassen sich generative Diffusionsmodelle also für bestimmte Rekonstruktionsversuche nutzen, um bei der Erstellung von projektiven Texturen zu helfen und so verschiedene Hypothesen für Lücken im Quellmaterial zu generieren. Bei größeren oder komplexeren Räumen muss jedoch individuell beurteilt werden, in welchem Umfang und zu welchem Zweck sie genutzt werden können, um historisch akkurate und detailreiche Ergebnisse zu erzielen.

Zukünftige Forschungsprojekte könnten versuchen, über die einzelnen Ansichten der historischen Räumlichkeit hinauszugehen und eine aus mehreren zusammengesetzten Projektionen bestehende projektive Textur zu generieren, die den gesamten Raum abdeckt. Damit würde der Grad der immersiven Erfahrung erhöht, indem keine Beschränkung auf bestimmte Stationsperspektiven vorhanden wäre. Des Weiteren könnte dieser Workflow durch die Nutzung selbst trainierter LoRAs weiter optimiert werden, um Raumteile, für die es historische Bildquellen gibt, noch akkurater und detailreicher rekonstruieren zu können – wozu auch die stetige Weiterentwicklung der KI-Modelle beitragen wird.