Augmented Reconstruction

Architektur ist dreidimensional. Dementsprechend werden dreidimensionale Bestands- und Rekonstruktionsmodelle verlorener Gebäudezustände in der historischen Bauforschung als heuristisches Werkzeug begriffen. Sie sind nicht nur Vermittler bestimmter visueller Vorstellungen, sondern tragen entscheidend dazu bei, unser Verständnis zu Bauabläufen, Bauphasen, Raumgestaltung oder konstruktiven Zusammenhängen bis hin zu Detaillösungen zu klären. Die inhaltliche Bedeutung und Aussagekraft dieser Modelle steht in enger Beziehung mit dem realen Objekt, ihr Entstehungsprozess ist in aller Regel jedoch von diesem losgelöst.

Dafür gibt es zahlreiche – nicht zuletzt technische – Gründe. Dennoch tritt dieser Prozess der hauptsächlichen Maxime der historischen Bauforschung entgegen. Hier gilt das Bauwerk, also das reale Objekt, als primäre und wichtigste Quelle zur Untersuchung der oben aufgeworfenen Fragen. So werden Voruntersuchungen, Bauaufnahmen und Bauanalysen direkt am erhaltenen Baubestand durchgeführt.

Die Rekonstrukion selbst soll dabei vor Ort nicht in visuell eindrucksvollen, fotorealistischen oder anderen Modellen fertiggestellt werden. Vielmehr dient die Rekonstruktion als Kommunikationsmittel in der interdisziplinären Zusammenarbeit. Am realen Baubestand sollen mithilfe der virtuellen Modelle Arbeitshypothesen überprüft und aufgestellt werden. Ein integraler Bestandteil dieses neuartigen Ansatzes ist die Vernetzung aller am Rekonstruktionsprozess beteiligten Personen am Objekt. Über eine breite, inter- und transdisziplinär ausgerichtete Diskussion wird die disziplinäre Expertise erweitert; die Ergebnisse dieser kollaborativen Arbeit finden unmittelbar in der Rekonstruktion ihre Umsetzung. Ziel des Projektes war die Entwicklung eines Arbeitswerkzeuges zur methodischen Anwendung dieses neuen Ansatzes. Die Erprobung und Entwicklung des Werkzeuges erfolgte an zwei römischen Thermenanlagen: Den Stabianer Thermen in Pompeji und den Barbarathermen in Trier.

Nach Projektbeginn im November 2019 wurden zunächst die methodischen Grundlagen erarbeitet und zahlreiche technische Tests durchgeführt. Die Erprobung der Hardware erfolgte – durch die aus verschiedenen Gründen verzögerte Lieferung – ab Mai 2020.

Eine erste Appversion konnte im Dezember 2020 aufgrund der Coronapandemie an der Darmstädter Stadtmauer getestet werden. Grundlegende Abläufe waren hier bereits integriert, wie das erste Video zeigt: Holografische Modelle konnten in den realen Raum gesetzt werden, eine Interaktion mit diesen Modellen war bereits möglich. Manipulationen der Objekte, vor allem Bewegen, Skalieren und Drehen war entweder über AirTap und Ziehen möglich oder über direktes Anfassen der Objekte per Handgesten. Willkürliche Drehungen der Modelle sind hier im Video noch erkennbar – diese wurden in Folgeversionen der App durch die Sperrung bestimmter Achsen bei der Manipulation verhindert.

Herausforderungen, Hindernisse und Grenzen waren vor allem von technologischer Seite gegeben und mussten festgestellt und umgangen werden. Die größte Herausforderung stellte gleichermaßen für die Projektgruppe, die aus in der 3D-Modellierung erfahrenen Personen bestand, wie für die interdisziplinär zusammengesetzte, unerfahrene Tester*innengruppe in Trier und Pompeji die Interaktion mit den virtuellen Modellen in der realen Umgebung dar. Hindernisse und Grenzen lagen vor allem in den Sichtfeld- und Interaktionsgrenzen der Brille selbst. So können Bauteile nur in einem Radius von ca. 5-7 Metern bewegt werden, was gerade bei größeren Rekonstruktionskomplexen zu Schwierigkeiten führen könnte. Gleichzeitig schaffte der Ansatz, Unity als Grundlage zur Erstellung der App zu verwenden programmgegebene Limitationen. An- und Abwählen von Hologrammen war genauso eine Herausforderung wie das Management der Hologramme (löschen, kopieren, etc.).

Dabei konnte nur bedingt auf bisherige AR-Anwendungen aufgebaut werden, da diese überwiegend auf die reine Visualisierung vormodellierter Hologramme ausgelegt sind.

Daher ist der Entwicklungsstand der App Augmented Reconstruction noch nicht abgeschlossen, einige Probleme bleiben bisher ungelöst. Dennoch ist das Ergebnis als sehr zufriedenstellend zu bewerten, da die generelle Herangehensweise sowohl methodisch als auch technisch funktioniert und umsetzbar ist. Die grundlegenden Ziele, namentlich die Modellierung virtueller Modelle im realen Raum, wurden erstmals in einer architekturbezogenen App umgesetzt und vollumfänglich erreicht. Diese basalen Elemente der dreidimensionalen Modelliertätigkeit – Verschieben, Skalieren, Drehen von Elementen – bilden die entscheidende technische Grundlage für jegliche Rekonstruktionsarbeiten in der Augmented Reality.

Herausforderungen und Hindernisse wurden im Projekt vor allem durch die Neuartigkeit der verwendeten AR-Technologie spürbar. Wo für viele andere MR-Technologien (z.B. jegliche VR-Anwendungen) bereits auf weitreichende Expertise zurückgegriffen hätte werden können, ist diese für die Anwendung und Entwicklung von Apps für die Holo Lens 2 erst im Aufbau. Daher soll auch auf diesen Seiten schrittweise der Aufbau eines Glossars zu Bedienung, Appeinbindung und Hilfestellung rund um die Holo Lens 2 erfolgen.

Die letzte Version von Augmented Reconstruction inklusive der erarbeiteten Klassen und Assets sind GPL-lizenziert über das TU-GitLab sämtlichen Nutzer*innen mit GitHub-Authentifizierung oder DFN Single Sign-On zugänglich, siehe untenstehender Link. Die Dokumentation zur Software ist derzeit noch im Erstellen.

Rekonstruktieren im Feld

Über die bis zum Projektende im Januar 2022 regelmäßig an den verwendeten Case Studies durchgeführten Praxistests konnte die neuartige Methodik des 3D-Rekonstruierens im Feld erarbeitet und für verschiedene Anwendungsszenarien auf ihre Durchführbarkeit, Praktikabilität und Zukunftsfähigkeit überprüft werden. Dabei ist insbesondere für die Feldforschung der historischen Bauforschung und ihrer Nachbardisziplinen ein fundamentaler Fortschritt zu verzeichnen. Der erarbeitete Workflow für die 3D-Rekonstruktion im Feld dient dabei als Arbeits- und Kommunikationswerkzeug interdisziplinärer Forschung. Insbesondere bei fragmentiert erhaltenen Gebäudezuständen wie antiker Architektur spielt die gemeinsame Sprache und Terminologie eine wichtige Rolle. So ist es für das gemeinsame Verständnis wichtig, dass in disziplinären wie interdisziplinären Forscher*innengruppen über dieselben Elemente gesprochen wird, vor allem wenn diese nicht mehr vorhanden sind. Mit dem methodischen Ansatz der Augmented Reconstruction wird dies nun nicht nur in einem frühen Stadium der Forschung möglich, sondern erlaubt dies auch gemeinsam in einem tatsächlich kollaborativen Prozess durchzuführen.

Dabei fielen zwei Punkte besonders auf: Durch die abstrakt weiß (abgewählt) und rot (angewählt) gehaltenen Modelle, die insbesondere auch in der Visualisierung historischer Kontexte verwendet werden, blieb die Barriere zwischen realer und virtueller Umgebung intakt. Gleichzeitig konnte festgestellt werden, dass von nahezu allen Tester*innen sämtliche virtuellen Bauteile als reale Barriere wahrgenommen wurde, d.h. die platzierten Modelle wurden stets umrundet und nicht durchschritten. Dieses aus der Wahrnehmungspsychologie erklärbare Verhalten, das eine dreidimensionale Raumwahrnehmung als angeboren voraussetzt, führt letztlich zu einer Verschmelzung von realer Umgebung und virtuellen Inhalten und somit zu einer neuartigen Raumwahrnehmung.

Anwendungsszenarien und Folgeuntersuchungen

Die möglichen Szenarien wurden im Laufe des Projektes bewusst von der Anwendung in der historischen Bauforschung auf ihr Potential in anderen Bereichen getestet und erweitert. Zentral ist dabei immer noch die Anwendung in der historischen Bauforschung, sehr enge Berührungspunkte gibt es in der Bau- und Bodendenkmalpflege und Archäologie. Insbesondere die veränderten Möglichkeiten der Raumwahrnehmung können für alle Disziplinen gewinnbringend sein, für denkmalhistorische Fragestellungen sind darüber hinaus genauso der kollaborative, in diesem Falle auch partizipative Ansatz von großem Nutzen wie die komplett noninvasive Herangehensweise. Verschiedene Realrekonstruktionsszenarien können getestet, diskutiert, gemeinsam entwickelt werden. Gleichzeitig können Bürger*innen transparent Arbeitsweisen in der historischen Bauforschung, Denkmalpflege und Archäologie vermittelt werden.

Mit dem vorliegenden Pilotprojekt konnte bereits gezeigt werden, dass sich mit dem Ansatz, die 3D-Rekonstruktion an das Untersuchungsobjekt zu führen, große Potentiale insbesondere in der Raumwahrnehmung und interdisziplinären Architekturforschung ergeben. Gleichzeitig scheint es eine Festlegung in der technologischen Entwicklung zu geben, die sog. See-Through-Brillen reinen AR-Brillen vorzieht. Dies würde für die Weiterführung des erarbeiteten Ansatzes mehrere Vorteile bringen. Technische Einschränkungen wären aufgehoben, gleichzeitig wäre die Entwicklungsumgebung für AR und VR dieselbe. Während im vorliegenden Projekt vor allem die technische und methodische Machbarkeit nachgewiesen wurde, müssten Folgeuntersuchungen zeigen, dass dies für konkrete bauhistorische und archäologische Fragestellungen und Untersuchungen auch anwendbar und zukunftsfähig ist.

Technische Entwicklung der App

Fakultät für Gestaltung, Institut für zeitbasierte Medien, Hochschule Mannheim, Prof. Dr.-Ing. Martin Kim

Kompetenzzentrum für Virtual Engineering Rhein-Neckar (KVE)

Fallbeispiele Trier und Pompeji

Rheinisches Landesmuseum Trier, Dr. Karl-Uwe Mahler

Institut für Klassische Archäologie, Freie Universität Berlin, Prof. Dr. Monika Trümper

Architekturreferat an der Zentrale des Deutschen Archäologischen Instituts, Berlin

Forschungsdatenmanagement

Fachgebiet Klassische Archäologie, Fachbereich Architektur, TU Darmstadt, Prof. Dr. Franziska Lang

Fachinformationsdienst baudigital, ULB Darmstadt, Dr.-Ing. Andreas Noback