Zehn Jahre Visualisierung oder VR für die Wissenschaft: Was ist oder war Dein Lieblings-Projekt?
Dr. Thomas Odaker: Schwer zu sagen, im Lauf der Jahre wechselten die Favoriten regelmäßig. Der Nachbau des Kaisersaals von Bamberg in der virtuellen Welt, die detaillierteste und größte Visualisierung einer kosmischen Turbulenz, die 3D-Videointerviews von Zeitzeug:innen des Holocausts oder die Entwicklung der MOOSAIK-App mit AR – das waren zuletzt Projekte, die Kreativität, Wissen und Erfahrungen von uns forderten. Immer noch sehr gerne erkläre ich das Erdmodell von Prof. Hans-Peter Bunge, das um 2016 entstand und zu einer dauerhaften Partnerschaft mit dem Lehrstuhl Geophysik der Ludwig-Maximilians-Universität München (LMU) führte. Es zeigt die Temperaturverteilung im Erdmantel und den Drift der Kontinentalplatten. Diese Arbeit enthält alles, was uns Spaß macht: die technische Herausforderung, große Datensätze in Grafikprogramme zu transportieren und in Bilder umzusetzen, dafür Workflows und Schnittstellen zu entwickeln. Herausgekommen sind tolle Bilder, die man gerne anschaut und die das Verständnis von Prozessen verbessern. Vor allem aber wird das Modell nachhaltig eingesetzt, einerseits von Museen, außerdem vom Team um Bunge, das es stetig weiterentwickelt – wir haben da Einiges erreicht, das macht mich sehr zufrieden und auch ein bisschen stolz.

Welche Forschungsdisziplinen brauchen die Technik des V2C besonders oft?
Odaker: Kunstgeschichte, Archäologie, auch Naturwissenschaften wie Astro- und Geophysik, Ingenieurs- und Umweltwissenschaften, Human- und Tiermedizin – die Einsatzfelder sind breit gestreut. Stark vertreten sind historisch, künstlerisch geprägte Fächer, weil sich Forschende hier traditionell mit Räumen beschäftigen, meist schon Bilddaten und andere Informationen vorliegen und sich die Vorteile von Visualisierung und virtuellen Nachbauten schnell erschließen. So können sie durch eine altbabylonische Villa spazieren, Artefakte erfassen oder Bauphasen verdeutlichen. Eigentlich könnte im virtuellen Raum auch Technik veranschaulicht werden, mit der Technischen Universität München (TUM) haben wir 2014 einen gas-isolierten Überspannungsableiter in VR modelliert und zeigen Funktionsweisen im Inneren. Erstaunlicherweise aber kommen Ingenieur:innen seltener zu uns. Wahrscheinlich fehlt hier noch die praktische Erfahrung, was mit VR machbar wird.

Haben sich die Nutzungskreise des V2C verändert?
Odaker: Im Wesentlichen nicht, dafür aber die Technik, die Software und damit die Arbeitsabläufe. 2016 eroberten die Head Mounted Displays, kurz HMD, den Massenmarkt, was in Wirtschaft und Wissenschaft zu einem VR-Hype und damit auch zu teils unrealistischen Erwartungen führte. Vor allem aber die Software-Umgebung ist heute deutlich praktischer, vielfältiger und flexibler als vor zehn Jahren. Forschende können heute viel mit Grafikprogrammen am Notebook darstellen, wofür damals am LRZ noch eigene Tools erarbeitet werden mussten. Folglich machen die Lehrstühle immer mehr selbst, wir haben auf diese Entwicklung reagiert und bieten den Remote Access auf Grafikprogramme.

Ein Supercomputer wird etwa alle sechs Jahre ausgetauscht – ist das bei Visualisierungstechnik ähnlich?
Odaker: Bei Supercomputern zwingt unter anderem die Wirtschaftlichkeit zum schnellen Wechsel. Die Technik und Geräte für Visualisierung und VR wurden eher günstiger, einfacher einsetzbar, in den letzten Jahren war bei Visualisierungstechnik außerdem kein größerer Quantensprung erkennbar. Die fünfseitige CAVE und auch die Powerwall des LRZ wurden zum Start des V2C mit den damals besten, leistungsfähigsten Projektoren und Rechnern aufgebaut und gehören folglich immer noch zu den guten Systemen. Jetzt setzt sich zunehmend LED-Technik durch – ob es Sinn macht, die Projektoren der CAVE in ein paar Jahren damit zu ersetzen und so die Konstruktion zu vereinfachen, muss sich noch erweisen. Wir beobachten diese Entwicklung gespannt.

Das V2C stellt nicht nur Technik, es berät Forschende auch: Wo brauchen sie Unterstützung?
Odaker: Wissenschaftler:innen sind in ihren Fachgebieten spitze, aber nicht unbedingt in der Anwendung von Grafikprogrammen oder Game Engines, also Software, mit der räumliche Welten für Spiele oder für die Forschung aufgebaut werden können. Das V2C zeigt daher Wissenschaftler:innen auf, was machbar ist und wo die Grenzen der Technik liegen. Außerdem erklären wir, welche Daten für eine Visualisierung oder zum Aufbau von VR nötig sind, mit welchen Programmen sie verarbeitet werden können und welche Probleme dabei im Umgang mit großen Datensätzen entstehen. Natürlich beraten wir Lehrstühle und Institute bei der Anschaffung von Technik oder beim Aufbau von Arbeitsabläufen, etwa wenn sie wie die Fakultät der Tiermedizin an der LMU Präparate und andere Anschauungs-objekte digitalisieren und auf einer Online-Plattform zugänglich machen wollen. Hauptaufgabe des V2C ist jedoch die Optimierung von Anwendungen für die virtuelle Realität sowie die Visualisierung größter Datensätze: Dafür müssen die Daten vorbereitet, oft zwischen diversen Softwares ausgetauscht werden, Schnittstellenprobleme sind da programmiert. VR braucht viel Rechenleistung, auch für die Effizienz ist die Optimierung der Modelle wichtig.

Das V2C forscht selbst oder beteiligt sich an Projekten – wo liegen die Schwerpunkte?
Odaker: Durch das Aufkommen der HMD haben sich die Schwerpunkte verschoben. Früher haben wir uns intensiv mit der Verarbeitung von großen Datenmengen, der Darstellung räumlicher Bilder und den damit zusammenhängenden Systemfragen beschäftigt. Doch die Workflows sind einfacher geworden, daher widmen wir uns jetzt eher den Mensch-Maschine-Interaktionen, also wie Anwender:innen im virtuellen Raum mit Objekten interagieren, zusätzlich mit der Wirkung von Interfaces. Bei MOOSAIK konnten wir mit Umweltorganisationen testen, wie AR bei der Umwelt-kommunikation und bei der Beschreibung von Fauna und Flora einer Mooslandschaft funktioniert und wie Apps entwickelt werden. In das europäische Exzellenzzentrum CompBioMed bringen wir unsere Erfahrungen mit der Visualisierung großer Datensätze auf Supercomputern sowie mit interaktiven Medien für den Aufbau eines digitalen Zwillings ein. Nach der Durchblutung von Hirn-Regionen wurde 2021 der Blutfluss im Arm in VR dargestellt. Mit diesen Visualisierungen kann der Blutfluss in anderen Regionen des menschlichen Organismus einfacher simuliert und visualisiert werden.

Kommen Forschende noch ans LRZ, um Visualisierungen anzusehen oder in die VR einzutauchen?
Odaker: HMD sind günstig geworden, werden inzwischen von Lehrstühlen selbst angeschafft und ermöglichen dort die Rezeption immersiver Abbildungen. Mit der fünfseitigen CAVE, auch mit der Powerwall decken wir indes das obere Spektrum der Darstellungsmöglichkeit ab. Solche Systeme sind noch sehr teuer und äußerst aufwändig in Aufbau und Betrieb, sie bieten aber die besten Möglichkeiten, in Forschungsdaten einzutauchen, sich darin zu bewegen und ein Modell mit allen Sinnen aufzunehmen. Es ist immer wieder eine Freude zu sehen, wie sich Forschende in der CAVE bewegen und darin neue Perspektiven für ihre Forschung gewinnen. Bei manchen Forschungs- und Visualisierungsprojekten arbeiten wir für die Darstellung von Daten mit Game Engines und schaffen damit Anwendungen, die mit verhältnismäßig wenig Aufwand zwischen HMD und CAVE portiert werden können.

Bald bietet das V2C nicht mehr nur Grafik-Software im Remote-Zugriff, sondern auch auf Grafikkarten und andere Werkzeuge.
Odaker: In vielen Kooperationen haben wir erkannt, dass es Lehrstühlen und Instituten oft an leistungsfähigen Grafikkarten und entsprechenden Werkzeugen fehlt, um Visualisierungen oder VR-Anwendungen nachzubearbeiten oder sehr große Datensätze zu verarbeiten. Daher wird neu überarbeitete RemoteVIS einen Online-Zugriff über die LRZ-Cloud auf verschiedene Grafik-Tools bieten. Große Datenmengen können damit im Fernzugriff verarbeitet und gerendert werden, das Ergebnis wiederum kann  – ausreichend Speicherplatz vorausgesetzt – auf lokalen Systemen gespeichert werden. Noch ist RemoteVIS in der Testphase, und es wird sicher ein Dienst für eine sehr spezialisierte Zielgruppe sein.

Corona hat die Digitalisierung in Universitäten und Forschung beschleunigt: Sind dem V2C durch virtuelle Vorlesungen neue Aufgaben erwachsen?
Odaker: Nein, im Gegenteil, die Nutzungszahlen sind eingebrochen, weil HMD aus hygienischer Sicht eher problematisch sind. Sie können zwar nach jeder Nutzung abgewischt werden, aber die Linsen dürfen nur mit einem trockenen Tuch abgewischt werden. Für Vorlesungen und Seminare wurden Videokonferenz-Systeme eingesetzt. Es gibt noch keine etablierten Software-Lösungen, um größere Gruppen in VR zusammenzubringen. Als Konsequenz aus Corona-Maßnahmen haben wir aber in den Mozilla Hubs/The Virtual World virtuelle Räume aufgebaut, um Projekte zu präsentieren. Das hat wunderbar funktioniert, kleine Gruppen konnten sich dort virtuell treffen und sich untereinander mit mit Avataren akustisch austauschen.

Metaverse und andere dreidimensionalen virtuellen Welten liegen gerade im Trend: Werden sie ein Zukunftsthema für Wissenschaft und Forschung?

Odaker: Diese Entwicklung ist sicher interessant, aber zurzeit bin ich eher skeptisch gegenüber den Ankündigungen von Meta/Facebook und anderen Unternehmen. Ist ein dreidimensionales Internet überhaupt notwendig und sinnvoll? Viele Fragen sind nicht geklärt: etwa die Verwendung der Nutzungsdaten von Anwender:innen, Datenschutz und Privatsphäre, es fehlt ein einheitliches System für alle, ebenso Software zum Gestalten von Räumen. Allerdings haben wir bereits in einigen Forschungsprojekten mitgearbeitet, die VR für die Analyse aufbauen. Das V2C hat 2013 in Zusammenarbeit mit Forschenden der University of Tokio und der Tohoku University in Sendai Skulpturen aus der römischen Klassik in 3D aufgenommen und digitalisiert. Zu deren Bewertung wurde eine Software für die ortsunabhängige Kooperation von Forschenden eingesetzt und geprüft. Wir unterstützen zudem die Bayerische Staatsbibliothek bei der Digitalisierung von Skulpturen und anderen Ausstellungsstücken für Bavarikon, dem virtuellen Kunstschatz Bayerns. Die Stabi arbeitet zudem an virtuellen Lesesälen, in denen man sich mit anderen zum gemeinsamen Arbeiten treffen und mit Digitalisaten umgehen können soll. Auch im Gauss Centre for Supercomputing (GCS), dem Zusammenschluss der deutschen Höchstleistungs-Rechenzentren, wird an dem Thema VR und Analyse gearbeitet. Das ist spannend für die Wissenschaft und auch für das V2C, aber noch sind das vorwiegend Spezialfälle, es fehlt eben an einer massentauglichen Software.

Welche Entwicklungen werden das V2C treiben?
Odaker: Eher die Technik, LED zum Beispiel, das könnte den Aufbau der nächsten CAVE vereinfachen, bei der LED-Wall, die wir 2018 installierten, hat sich die Technik bereits etabliert. Auch neue, einfacher anwendbare Software und Baukästen für Online-Welten werden unsere Arbeit und die wissenschaftliche Visualisierung verändern und verbessern.

Und was wäre ein künftiges Wunschprojekt für das V2C?

Odaker: Eines, das uns wie das Erdmodell von Professor Bunge fordert und das uns deshalb Spaß macht: wenn wir also in Partnerschaft mit Forschenden und Instituten Probleme beim Visualisieren von Daten lösen können, wenn wir wie für CompBioMed Arbeitsabläufe durch eigene Entwicklungen entwickeln und vereinfachen können, wenn wir wie beim Corpus der barocken Deckenmalerei Standards setzen und diese Darstellungen nachhaltig genutzt und weiterentwickelt werden. Wenn wir mit komplexen, schwierigen Datensätzen umgehen und diese händeln können. Kurzum – wenn wir ordentlich herausgefordert werden.