TU Ilmenau entwickelt AR-Kommunikationssystem

Die Technische Universität Ilmenau hat das Forschungsprojekt „Multiparties – Multi-Party Augmented Reality Telepresence System“ gestartet, in dem ein 3D-Kommunikationssystem entwickelt werden soll, das realitätsnahe Online-Treffen zwischen mehreren Personen über Distanzen hinweg ermöglicht. Das zweieinhalbjährige Verbundprojekt unter Führung der Brandenburg Labs GmbH wird im Rahmen von „KMU-innovativ: Interaktive Technologien für Gesundheit und Lebensqualität“ vom Bund gefördert.

Noch immer unterscheiden sich Online-Treffen von realen Zusammenkünften. Dies hat nicht zuletzt die Corona-Pandemie gezeigt. Wichtige zwischenmenschliche Aspekte der Kommunikation wie Körpersprache oder die Möglichkeit, dem Gegenüber etwas zuzuflüstern, gehen verloren. Auch führen Online-Treffen zu einer höheren kognitiven Belastung als reale Treffen. Ziel von Multiparties ist es, diese Grenzen zu überwinden und eine natürlichere Gesprächsführung von Menschen, die räumlich getrennt sind, online möglich zu machen.

Mit Hilfe von Augmented Reality (AR), also der computergestützten Erweiterung der Realitätswahrnehmung, und räumlicher Audiotechnologien sollen sich die Personen, die an einem Multiparties-Treffen teilnehmen, so natürlich wie möglich wahrnehmen, verständigen und miteinander interagieren. Dazu werden realitätsnahe 3D-Avatare der Personen mit Gestik und Mimik sowie räumlich plausibles Audio nahtlos in die reale Umgebung integriert. So entsteht der Eindruck, sich tatsächlich mit den anderen Gesprächspartner:innen zu treffen. Karlheinz Brandenburg, CEO der Brandenburg Labs GmbH, sieht in AR-Telepräsenzsystemen die Zukunft von Online-Konferenzen: „Das Ziel solcher Systeme ist keinesfalls realen zwischenmenschlichen Kontakt zu ersetzen. Vielmehr möchten wir digitale Lern- sowie Arbeitsprozesse erleichtern, das Miteinander fördern, sowie vielfältigere Möglichkeiten der gesellschaftlichen Teilhabe schaffen.“

Partner des Verbundprojekts sind neben der TU Ilmenau und den Brandenburg Labs GmbH, die plazz AG, ein Erfurter Unternehmen, das ganzheitlich integrierte Lösungen für Events entwickelt, und die Consensive GmbH aus Weimar, die Software-Anwendungen entwickelt, die den sozialen Austausch erleichtern. Auf Seiten der TU Ilmenau bringen drei Fachgebiete ihre Expertise in das Multiparties Projekt ein. Das Fachgebiet Virtuelle Welten und Digitale Spiele ist für die Erforschung von AR-Technologien und Interaktionstechniken verantwortlich. Der Leiter Prof. Wolfgang Broll: „Eine große Herausforderung liegt in der Erfassung und Wiedergabe individueller Mimik und Gestik, um realitätsnahe und ausdrucksstarke Avatare zu ermöglichen. Darüber hinaus werden wir neue Interaktionstechniken zur Steuerung der Anwendung sowie zur Zusammenarbeit zwischen den Teilnehmerinnen und Teilnehmern erforschen”. Prof. Alexander Raake, Leiter des Fachgebiets Audiovisuelle Technik, widmet sich im Multiparties-Projekt den Fragen, welche Faktoren zu einer möglichst natürlichen Kommunikation beitragen, und wie dies gemessen werden kann. Dabei stehen vor allem Hören, Sehen, Sprechen und die Kommunikation durch Mimik und Gestik im Fokus. Und Dr. Stephan Werner, Leiter des Fachgebiets Elektronische Medientechnik, führt grundlegende Untersuchungen zur Erkennung und Beurteilung von relevanten und irrelevanten akustischen Informationen durch und entwickelt die Audiowiedergabe der neuen Online-Technologie.

Die Brandenburg Labs GmbH, Koordinatorin des Projekts, widmet sich im Projekt der räumlichen Audiowiedergabe über Kopfhörer, die im System integriert sind. Sie ermöglichen eine natürliche Wiedergabe von Klang, die es den Teilnehmenden des virtuellen Treffens erlaubt, sich beispielsweise gleichzeitig zu unterhalten oder anderen Personen etwas „ins Ohr zu flüstern“. Jürgen Mayer, CEO der plazz AG, erwartet wertvolle Erkenntnisse für den Event-Bereich: „Mit unserer Event- und Community-Plattform Polario verbinden wir auf natürliche Weise eine Vielzahl von Menschen in unterschiedlichen Umgebungen und Szenarien. Mit Multiparties ermöglichen wir es den Nutzerinnen und Nutzern, tiefere Verbindungen untereinander zu erzeugen, und wir verbessern die digitalen Arbeitsumgebungen. Firmeninterne und externe Events, die insbesondere durch die Corona-Pandemie nachhaltig virtuell oder hybrid organisiert werden, aber auch klimafreundliche online Marketing- und Sales-Meetings werden von Multiparties profitieren”. Das Weimaraner Start-up consensive GmbH bringt seine Expertise für die 3D-Darstellung und Interaktion von Teilnehmenden in der gemischten Realität ein. Ein wichtiger Ansatzpunkt von consensive ist die Nutzung sogenannter digitaler Zwillinge. Dabei werden die realen Umgebungen der Personen digital nachgebildet und sogar neu miteinander kombiniert, um so einen gemeinsamen Raum zu schaffen.