Augmented Reconstruction

Augmented Reality als Rekonstruktionswerkzeug der Bauforschung

Interdisziplinäre Methodenentwicklung in den Mixed Realities am Beispiel der römischen Weltkulturerbestätten Triers

Finanziert durch die Deutsche Forschungsgemeinschaft

Laufzeit: November 2019 – Januar 2022 (27 Monate)

Projektbeschreibung

Architektur ist dreidimensional. Dementsprechend werden dreidimensionale Bestands- und Rekonstruktionsmodelle verlorener Gebäudezustände in der historischen Bauforschung als heuristisches Werkzeug begriffen. Sie sind nicht nur Vermittler bestimmter visueller Vorstellungen, sondern tragen entscheidend dazu bei, unser Verständnis zu Bauabläufen, Bauphasen, Raumgestaltung oder konstruktiven Zusammenhängen bis hin zu Detaillösungen zu klären. Die inhaltliche Bedeutung und Aussagekraft dieser Modelle steht in enger Beziehung mit dem realen Objekt, ihr Entstehungsprozess ist in aller Regel jedoch von diesem losgelöst.

Dafür gibt es zahlreiche – nicht zuletzt technische – Gründe. Dennoch tritt dieser Prozess der hauptsächlichen Maxime der historischen Bauforschung entgegen. Hier gilt das Bauwerk, also das reale Objekt, als primäre und wichtigste Quelle zur Untersuchung der oben aufgeworfenen Fragen. So werden Voruntersuchungen, Bauaufnahmen und Bauanalysen direkt am erhaltenen Baubestand durchgeführt.

Die drei Ebenen der Überlagerung: Realer Gebäudebestand – digitales Abbild – digitale Rekonstruktion

Mithilfe der technischen Möglichkeiten der Augmented Reality (AR) wird nun der letzte Schritt, nämlich der Entstehungsprozess von Rekonstruktionsmodellen historischer Bauzustände, erstmals in der Geschichte virtueller Rekonstruktionen direkt mit dem Untersuchungsobjekt verbunden und damit die Rekonstruktionsmethodik neu definiert.

Allein durch die immersive Wirkungsweise der AR, also der Überlagerung von realer Umgebung und virtuellen Inhalten, wird die Arbeit an der Rekonstruktion direkt am Objekt in drei Realitätsebenen erst möglich. So wird im Projekt der tatsächlich existierende Gebäudebestand (erste Ebene) mit dem digital erfassten Gebäudebestand (zweite Ebene) verknüpft, um darauf unmittelbar am Objekt die virtuelle Rekonstruktion aufzubauen (dritte Ebene). Die zweite Ebene, der digital erfasste Gebäudebestand, ist vor allem für die Nachbereitung der vor Ort erstellten Modelle relevant: Der Wechsel zwischen AR am Objekt und VR standortunabhängig sollte dabei flüssig verlaufen.

Arbeitsablauf der geplanten Rekonstruktionsphase vor Ort

Die Rekonstrukion selbst soll dabei vor Ort nicht in visuell eindrucksvollen, fotorealistischen oder anderen Modellen fertiggestellt werden. Vielmehr dient die Rekonstruktion als Kommunikationsmittel in der interdisziplinären Zusammenarbeit. Am realen Baubestand sollen mithilfe der virtuellen Modelle Arbeitshypothesen überprüft und aufgestellt werden. Ein integraler Bestandteil dieses neuartigen Ansatzes ist die Vernetzung aller am Rekonstruktionsprozess beteiligten Personen am Objekt. Über eine breite, inter- und transdisziplinär ausgerichtete Diskussion wird die disziplinäre Expertise erweitert; die Ergebnisse dieser kollaborativen Arbeit finden unmittelbar in der Rekonstruktion ihre Umsetzung. Ziel des Projektes war die Entwicklung eines Arbeitswerkzeuges zur methodischen Anwendung dieses neuen Ansatzes. Die Erprobung und Entwicklung des Werkzeuges erfolgte an zwei römischen Thermenanlagen: Den Stabianer Thermen in Pompeji und den Barbarathermen in Trier.

Arbeitsablauf der geplanten Nachbereitung

Ergebnisse

Nach Projektbeginn im November 2019 wurden zunächst die methodischen Grundlagen erarbeitet und zahlreiche technische Tests durchgeführt. Die Erprobung der Hardware erfolgte – durch die aus verschiedenen Gründen verzögerte Lieferung – ab Mai 2020.

Eine erste Appversion konnte im Dezember 2020 aufgrund der Coronapandemie an der Darmstädter Stadtmauer getestet werden. Grundlegende Abläufe waren hier bereits integriert, wie das erste Video zeigt: Holografische Modelle konnten in den realen Raum gesetzt werden, eine Interaktion mit diesen Modellen war bereits möglich. Manipulationen der Objekte, vor allem Bewegen, Skalieren und Drehen war entweder über AirTap und Ziehen möglich oder über direktes Anfassen der Objekte per Handgesten. Willkürliche Drehungen der Modelle sind hier im Video noch erkennbar – diese wurden in Folgeversionen der App durch die Sperrung bestimmter Achsen bei der Manipulation verhindert.

Erste Einblicke in die App (Dezember 2020)

Modellerstellung: Clemens Brünenberg

Video: Martin Kim

Videoschnitt: Clemens Brünenberg

Herausforderungen, Hindernisse und Grenzen waren vor allem von technologischer Seite gegeben und mussten festgestellt und umgangen werden. Die größte Herausforderung stellte gleichermaßen für die Projektgruppe, die aus in der 3D-Modellierung erfahrenen Personen bestand, wie für die interdisziplinär zusammengesetzte, unerfahrene Tester*innengruppe in Trier und Pompeji die Interaktion mit den virtuellen Modellen in der realen Umgebung dar. Hindernisse und Grenzen lagen vor allem in den Sichtfeld- und Interaktionsgrenzen der Brille selbst. So können Bauteile nur in einem Radius von ca. 5-7 Metern bewegt werden, was gerade bei größeren Rekonstruktionskomplexen zu Schwierigkeiten führen könnte. Gleichzeitig schaffte der Ansatz, Unity als Grundlage zur Erstellung der App zu verwenden programmgegebene Limitationen. An- und Abwählen von Hologrammen war genauso eine Herausforderung wie das Management der Hologramme (löschen, kopieren, etc.).

Bauen einer einfachen Struktur (Mai 2021)

Modellerstellung: Clemens Brünenberg

Video: Martin Kim

Videoschnitt: Clemens Brünenberg

Bauradius und Verschieben von Elementen (Mai 2021)

App-Erprobung: Clemens Brünenberg

Video: Martin Kim

Videoschnitt: Clemens Brünenberg

Dabei konnte nur bedingt auf bisherige AR-Anwendungen aufgebaut werden, da diese überwiegend auf die reine Visualisierung vormodellierter Hologramme ausgelegt sind.

Daher ist der Entwicklungsstand der App Augmented Reconstruction noch nicht abgeschlossen, einige Probleme bleiben bisher ungelöst. Dennoch ist das Ergebnis als sehr zufriedenstellend zu bewerten, da die generelle Herangehensweise sowohl methodisch als auch technisch funktioniert und umsetzbar ist. Die grundlegenden Ziele, namentlich die Modellierung virtueller Modelle im realen Raum, wurden erstmals in einer architekturbezogenen App umgesetzt und vollumfänglich erreicht. Diese basalen Elemente der dreidimensionalen Modelliertätigkeit – Verschieben, Skalieren, Drehen von Elementen – bilden die entscheidende technische Grundlage für jegliche Rekonstruktionsarbeiten in der Augmented Reality.

Herausforderungen und Hindernisse wurden im Projekt vor allem durch die Neuartigkeit der verwendeten AR-Technologie spürbar. Wo für viele andere MR-Technologien (z.B. jegliche VR-Anwendungen) bereits auf weitreichende Expertise zurückgegriffen hätte werden können, ist diese für die Anwendung und Entwicklung von Apps für die Holo Lens 2 erst im Aufbau. Daher soll auch auf diesen Seiten schrittweise der Aufbau eines Glossars zu Bedienung, Appeinbindung und Hilfestellung rund um die Holo Lens 2 erfolgen.

Die letzte Version von Augmented Reconstruction inklusive der erarbeiteten Klassen und Assets sind GPL-lizenziert über das TU-GitLab sämtlichen Nutzer*innen mit GitHub-Authentifizierung oder DFN Single Sign-On zugänglich, siehe untenstehender Link. Die Dokumentation zur Software ist derzeit noch im Erstellen.

Rekonstruktieren im Feld

Über die bis zum Projektende im Januar 2022 regelmäßig an den verwendeten Case Studies durchgeführten Praxistests konnte die neuartige Methodik des 3D-Rekonstruierens im Feld erarbeitet und für verschiedene Anwendungsszenarien auf ihre Durchführbarkeit, Praktikabilität und Zukunftsfähigkeit überprüft werden. Dabei ist insbesondere für die Feldforschung der historischen Bauforschung und ihrer Nachbardisziplinen ein fundamentaler Fortschritt zu verzeichnen. Der erarbeitete Workflow für die 3D-Rekonstruktion im Feld dient dabei als Arbeits- und Kommunikationswerkzeug interdisziplinärer Forschung. Insbesondere bei fragmentiert erhaltenen Gebäudezuständen wie antiker Architektur spielt die gemeinsame Sprache und Terminologie eine wichtige Rolle. So ist es für das gemeinsame Verständnis wichtig, dass in disziplinären wie interdisziplinären Forscher*innengruppen über dieselben Elemente gesprochen wird, vor allem wenn diese nicht mehr vorhanden sind. Mit dem methodischen Ansatz der Augmented Reconstruction wird dies nun nicht nur in einem frühen Stadium der Forschung möglich, sondern erlaubt dies auch gemeinsam in einem tatsächlich kollaborativen Prozess durchzuführen.

Bauen eines Pfeilers in den Barbarathermen (November 2021)

Modellerstellung: Clemens Brünenberg

Video: Martin Kim

Videoschnitt: Clemens Brünenberg

Dabei fielen zwei Punkte besonders auf: Durch die abstrakt weiß (abgewählt) und rot (angewählt) gehaltenen Modelle, die insbesondere auch in der Visualisierung historischer Kontexte verwendet werden, blieb die Barriere zwischen realer und virtueller Umgebung intakt. Gleichzeitig konnte festgestellt werden, dass von nahezu allen Tester*innen sämtliche virtuellen Bauteile als reale Barriere wahrgenommen wurde, d.h. die platzierten Modelle wurden stets umrundet und nicht durchschritten. Dieses aus der Wahrnehmungspsychologie erklärbare Verhalten, das eine dreidimensionale Raumwahrnehmung als angeboren voraussetzt, führt letztlich zu einer Verschmelzung von realer Umgebung und virtuellen Inhalten und somit zu einer neuartigen Raumwahrnehmung.

Anwendungsszenarien und Folgeuntersuchungen

Die möglichen Szenarien wurden im Laufe des Projektes bewusst von der Anwendung in der historischen Bauforschung auf ihr Potential in anderen Bereichen getestet und erweitert. Zentral ist dabei immer noch die Anwendung in der historischen Bauforschung, sehr enge Berührungspunkte gibt es in der Bau- und Bodendenkmalpflege und Archäologie. Insbesondere die veränderten Möglichkeiten der Raumwahrnehmung können für alle Disziplinen gewinnbringend sein, für denkmalhistorische Fragestellungen sind darüber hinaus genauso der kollaborative, in diesem Falle auch partizipative Ansatz von großem Nutzen wie die komplett noninvasive Herangehensweise. Verschiedene Realrekonstruktionsszenarien können getestet, diskutiert, gemeinsam entwickelt werden. Gleichzeitig können Bürger*innen transparent Arbeitsweisen in der historischen Bauforschung, Denkmalpflege und Archäologie vermittelt werden.

Mit dem vorliegenden Pilotprojekt konnte bereits gezeigt werden, dass sich mit dem Ansatz, die 3D-Rekonstruktion an das Untersuchungsobjekt zu führen, große Potentiale insbesondere in der Raumwahrnehmung und interdisziplinären Architekturforschung ergeben. Gleichzeitig scheint es eine Festlegung in der technologischen Entwicklung zu geben, die sog. See-Through-Brillen reinen AR-Brillen vorzieht. Dies würde für die Weiterführung des erarbeiteten Ansatzes mehrere Vorteile bringen. Technische Einschränkungen wären aufgehoben, gleichzeitig wäre die Entwicklungsumgebung für AR und VR dieselbe. Während im vorliegenden Projekt vor allem die technische und methodische Machbarkeit nachgewiesen wurde, müssten Folgeuntersuchungen zeigen, dass dies für konkrete bauhistorische und archäologische Fragestellungen und Untersuchungen auch anwendbar und zukunftsfähig ist.

Projekttrailer

Augmented Reconstruction
Augmented Reality als Rekonstruktionswerkzeug der Bauforschung

Videoerstellung: Jürgen Springer

Augmented Reconstruction. Bauhistorische Methodenentwicklung zur 3D-Rekonstruktion vor Ort

Onlinevortrag am Architekturreferat an der Zentrale des Deutschen Archäologischen Instituts, „Werkstattgespräch über 3D-Modelle als Werkzeuge in der Denkmalpflege und im Kulturerhalt“, 17.12.2020

Augmented Reconstruction. On Introducing a new Reconstruction Method for Cultural Heritage Sites Using Mixed Realities

Onlinevortrag auf der Tagung “Digital Approaches to Art History and Cultural Heritage”, University of Oxford and Durham University, 04.03.2021

Programm und Book of Abstracts

Augmented Reconstruction. Interdisziplinäre Methodenentwicklung in den Mixed Realities für die historische Bauforschung

Vortrag auf der Tagung „Visualisierung historischer Zustände im digitalen Zeitalter – Chancen und Risiken für Kunstgeschichte und Denkmalpflege“, Hochschule Mainz, 26.10.2021

Videomitschnitt des Vortrags auf der Homepage der Tagung, Session 4

Augmented Reconstruction. Virtuelle Live-Rekonstruktion an den Barbarathermen in Trier

Vortrag im Archäologischen Kolloquium des Rheinischen Landesmuseums Trier, 04.11.2021

Augmented Reconstruction. Entwicklung einer feldbasierten 3D-Rekonstruktion zur interdisziplinären Zusammenarbeit in Bauforschung und Archäologie

Vortrag im Workshop „Neues Sehen. Aktuelle Ansätze der Digitalen Archäologie in der Objekt- und Bildwissenschaft“, Universität Trier, 21.05.2022,

Programm des Workshops

Publikation in Vorbereitung

Augmented Reconstruction. Interdisziplinäre Methodenentwicklung für die historische Bauforschung

Vortrag auf der 52. Tagung für Ausgrabungswissenschaft und Bauforschung der Koldewey-Gesellschaft, Straßburg, 26.05.2022,

Programm der Tagung

Publikation in Vorbereitung

Kontakt

Dr.-Ing. Clemens Brünenberg

Wissenschaftlicher Mitarbeiter

Kontakt

work +49 (0)6151 16-22476

Work L3/01 133
El-Lissitzky-Straße 1
64287 Darmstadt

Kooperationspartner

Technische Entwicklung der App

Fakultät für Gestaltung, Institut für zeitbasierte Medien, Hochschule Mannheim, Prof. Dr.-Ing. Martin Kim

Kompetenzzentrum für Virtual Engineering Rhein-Neckar (KVE)

Fallbeispiele Trier und Pompeji

Rheinisches Landesmuseum Trier, Dr. Karl-Uwe Mahler

Institut für Klassische Archäologie, Freie Universität Berlin, Prof. Dr. Monika Trümper

Architekturreferat an der Zentrale des Deutschen Archäologischen Instituts, Berlin

Forschungsdatenmanagement

Fachgebiet Klassische Archäologie, Fachbereich Architektur, TU Darmstadt, Prof. Dr. Franziska Lang

Fachinformationsdienst baudigital, ULB Darmstadt, Dr.-Ing. Andreas Noback