{"id":25974,"date":"2025-12-18T08:50:55","date_gmt":"2025-12-18T07:50:55","guid":{"rendered":"https:\/\/hub.hslu.ch\/informatik\/?p=25974"},"modified":"2026-02-24T10:48:22","modified_gmt":"2026-02-24T09:48:22","slug":"diese-technologie-digitalisiert-die-echte-welt-im-3d-raum-forschung-im-dialog-erklaert-volumetric-video","status":"publish","type":"post","link":"https:\/\/hub.hslu.ch\/informatik\/diese-technologie-digitalisiert-die-echte-welt-im-3d-raum-forschung-im-dialog-erklaert-volumetric-video\/","title":{"rendered":"Diese Technologie digitalisiert die echte Welt im 3D-Raum: \u00abForschung im Dialog\u00bb erkl\u00e4rt Volumetric Video"},"content":{"rendered":"\n

<\/h2>\n\n\n\n

<\/p>\n\n\n\n

\n

Herr Smolic, Ihr Slogan ist \u00abWe bring real people into XR\u00bb. Was meinen Sie damit?

<\/h2>\n\n\n\n

Mit der Volumetric-Video-Technologie lassen sich echte Menschen, Objekte und Umgebungen digitalisieren und in XR-Anwendungen einbinden. Das geschieht \u00fcber 3D-Scanning und Kameras, die auch Bewegungen erfassen. So entsteht Content aus der realen Welt, der mithilfe von Computergrafik und Computer Vision in Anwendungen wie Games, VR\/AR oder Film-Effekten genutzt werden kann \u2013 eine echte 3D-Digitalisierung der Realit\u00e4t. <\/p>\n\n\n\n

\n

Die Volumetric-Video-Technologie ist effizienter und verleiht mehr Authentizit\u00e4t als rein digital erzeugte Objekte.<\/p>\n<\/blockquote>\n\n\n\n

Unsere Forschungsgruppe hat zum Beispiel in einem Innosuisse-Forschungsprojekt mit dem Aargauer Kunsthaus einen K\u00fcnstler in seinem Atelier volumetrisch aufgenommen. Besuchende konnten im Museum per AR-App erleben, wie ein Maler virtuell vor seinem Bild erscheint und dar\u00fcber erz\u00e4hlt \u2013 eine sch\u00f6ne lokale Anwendung.<\/p>\n<\/div><\/div>\n\n\n\n

\n
\"\"<\/a>
Der K\u00fcnstler wurde mit einem einfachen Setup in seinem Studio mit einer Handykamera gefilmt. <\/em><\/figcaption><\/figure>\n\n\n\n
\"\"<\/a>
Das Video wurde mittels Volumetric-Video-Technologie zu einem 3D-Hologramm, das mit einer AR-App im Museum betrachtet werden konnte.<\/em><\/figcaption><\/figure>\n<\/figure>\n\n\n\n
\n


Was sind die Vorteile, wenn man echte Menschen und Orte statt digital erzeugter Objekte nutzt?<\/strong>

<\/h2>\n\n\n\n

Wenn man reale Orte oder Objekte digital nachbauen m\u00f6chte, ist es sehr aufwendig, sie m\u00f6glichst detailgetreu zu machen. Oft bleibt eine gewisse K\u00fcnstlichkeit \u2013 es sei denn, man investiert sehr viel Geld. F\u00fcr die FIFA-Spiele werden die Spielergrafiken zum Beispiel durch eine Kombination aus Foto-Scan-Technologie, Motion-Capture-Technologie und digitaler Kunst erstellt. So eine aufwendige Produktion mit viel Equipment steht aber nicht allen zur Verf\u00fcgung. <\/p>\n\n\n\n

\"\"<\/a><\/figure>\n\n\n\n
Aljosa Smolic beim Gitarrenspiel \u2013 aus verschiedenen Kamerawinkeln aufgenommen, um daraus ein volumetrisches 3D-Video zu erstellen.<\/figcaption><\/figure>\n\n\n\n

Reale Personen und Objekte kann man mittels volumetrischer Videos sehr einfach abbilden. Mit unserer Forschung haben wir es geschafft, die Aufnahmen aus dem Studio rauszubringen und \u00abnach draussen\u00bb zu verlagern. Die Bildqualit\u00e4t ist dann zwar nicht gestochen scharf, aber daf\u00fcr reichen f\u00fcr die Aufnahmen handels\u00fcbliche Kameras oder sogar das eigene Smartphone. Die Volumetric-Video-Technologie ist daher nicht nur effizienter, sondern verleiht auch mehr Authentizit\u00e4t als rein digital erzeugte Objekte.<\/p>\n<\/div><\/div>\n\n\n\n

<\/p>\n\n\n\n

<\/p>\n\n\n\n

\n

<\/p>\n\n\n\n

<\/p>\n\n\n\n

Echte Menschen in einem volumetrischen Video wirken also glaubw\u00fcrdiger als ein animierter Avatar?<\/strong><\/h2>\n\n\n\n


<\/p>\n\n\n\n

Genau diese Echtheit macht die Technologie so interessant. Derzeit wird volumetrischer Content meist offline produziert: Man nimmt statische Szenen oder ein volumetrisches Video auf und verarbeitet sie anschliessend. Die Forschung zielt jedoch darauf, dies in Echtzeit zu erm\u00f6glichen \u2013 etwa f\u00fcr Live-Volumetric-Hologramme oder 3D-Videoanrufe im Metaverse, bei denen man sich wie im \u00abJedi Council\u00bb direkt als dreidimensionale Abbilder begegnen kann.<\/p>\n<\/div><\/div>\n\n\n\n

\"\"<\/a>
Nicht nur 3D-Videoanrufe im Metaverse k\u00f6nnen mit Volumetric Video m\u00f6glich werden, sondern auch eine r\u00e4umlich losgel\u00f6ste Schachpartie. (Gif: Manuela Leuenberger)<\/figcaption><\/figure>\n\n\n\n
Augmented Reality, Virtual Reality, Mixed Reality und XR erkl\u00e4rt<\/summary>
\n

AR steht f\u00fcr \u00abAugmented Reality<\/a>\u00bb, zu Deutsch \u00abErweiterte Realit\u00e4t\u00bb: Dank AR-Technologie k\u00f6nnen die Nutzenden ihre Realit\u00e4tswahrnehmung erweitern. Dabei \u00fcberlagern virtuelle Informationen und Objekte ihre reale Welt. So k\u00f6nnen H\u00f6rgesch\u00e4digte zum Beispiel in einem Theater eine AR-Brille aufsetzen, die ihnen die gesprochenen Texte schriftlich einblendet.<\/p>\n\n\n\n

VR ist die Abk\u00fcrzung f\u00fcr \u00abVirtual Reality\u00bb oder \u00abVirtuelle Realit\u00e4t<\/a>\u00bb. Die Nutzenden tauchen dabei in eine vollst\u00e4ndig digital erstellte Umgebung ein. Diese Technologie hat sich in den letzten Jahren schnell entwickelt. Sie wird nicht nur in der Spiele- und Unterhaltungsindustrie eingesetzt, sondern auch in diversen Branchen wie Maschinenindustrie, Gesundheitswesen und Architektur. So k\u00f6nnen Teilnehmende etwa in einer virtuellen Trainingsumgebung Handgriffe auf sichere und effiziente Art und Weise \u00fcben. Oder ein Designteam erlebt ein neues Produkt in der virtuellen Betrachtung \u00abwie in echt\u00bb.<\/p>\n\n\n\n

MR bedeutet \u00abMixed Reality<\/a>\u00bb und wird sehr unterschiedlich verwendet. Aus wissenschaftlicher Perspektive betrachtet umfasst sie das gesamte Spektrum zwischen der physischen Welt, in der wir leben, bis hin zur vollst\u00e4ndig virtuellen Realit\u00e4t. Vielfach wird darunter aber auch eine Realit\u00e4t verstanden, die zwischen Virtual und Augmented Reality liegt. Auch hier wird die Realit\u00e4t mit virtuellen Elementen \u00fcberlagert, aber diese sollen so wirken, als ob sie wirklich Teil der realen Welt w\u00e4ren. Ein Beispiel f\u00fcr dieses MR-Begriffsverst\u00e4ndnis ist beispielsweise die HoloLens<\/a> von Microsoft. In der Branche entfernt man sich jedoch immer weiter davon, AR, MR und VR separat und isoliert zu betrachten. Vielmehr sieht man sie als unterschiedliche Punkte eines Spektrums. Dies f\u00fchrte zu neuen Begriffsbildungen wie \u00abXR\u00bb. Dabei soll x als Variable die Gesamtheit des Spektrums ausdr\u00fccken. Weitere Bedeutungen k\u00f6nnen sein: \u00abeXtended Reality\u00bb, \u00abEnhanced Reality\u00bb, \u00abX-Reality\u00bb, \u00abExpanded Reality\u00bb oder \u00abCross Reality\u00bb.<\/p>\n<\/div><\/details><\/div>\n\n\n\n

\n

<\/p>\n\n\n\n

Was steckt denn da technisch dahinter?

<\/h2>\n\n\n\n

<\/p>\n\n\n\n

Dahinter steckt vor allem Informatik: Computer Vision und Computergrafik. Algorithmen verarbeiten Bilddaten aus Kameras oder Tiefensensoren und erstellen daraus 3D-Modelle. Diese Technologie hat sich \u00fcber Jahrzehnte stetig verbessert \u2013 in den letzten Jahren beschleunigt durch K\u00fcnstliche Intelligenz.<\/p>\n<\/div><\/div>\n\n\n\n

<\/p>\n\n\n\n

<\/p>\n\n\n\n

\n

<\/p>\n\n\n\n

<\/p>\n\n\n\n

<\/p>\n\n\n\n

Wie wird denn ein dreidimensionales Modell aus realen Aufnahmen erzeugt?

<\/h2>\n\n\n\n

<\/p>\n\n\n\n

3D-Scanner-Apps sind inzwischen weit verbreitet. Man l\u00e4uft einfach mit dem Smartphone um ein Objekt herum und ein Cloud-Algorithmus erstellt daraus ein 3D-Modell. Entscheidend sind Aufnahmen aus verschiedenen Blickwinkeln, aus denen die grundlegende 3D-Struktur berechnet wird. Solche Techniken werden seit Langem in der Visual-Effects-Welt eingesetzt \u2013 inspiriert etwa von den legend\u00e4ren Bullet-Time-Effekten in den Matrix-Filmen.<\/p>\n<\/div><\/div>\n\n\n\n

<\/p>\n\n\n\n

<\/p>\n\n\n\n

\n

<\/p>\n\n\n\n

<\/p>\n\n\n\n

<\/p>\n\n\n\n

Braucht es nicht jede Menge Bilder aus allen Blickwinkeln, damit die Visualisierung vollst\u00e4ndig wird und kein Loch entsteht, weil von einem Teil keine Bilddaten vorhanden sind?

<\/h2>\n\n\n\n

<\/p>\n\n\n\n

Genau, je mehr Bilder man hat, desto besser wird das Ergebnis \u2013 zumindest theoretisch. Gleichzeitig forschen wir daran, den Aufwand zu reduzieren, also mit m\u00f6glichst wenigen Aufnahmen trotzdem eine hohe Qualit\u00e4t zu erreichen, um Zeit und Kosten zu sparen.<\/p>\n<\/div><\/div>\n\n\n\n

<\/p>\n\n\n\n

<\/p>\n\n\n\n

\n

<\/p>\n\n\n\n

<\/p>\n\n\n\n

Welche Rolle spielt KI im Bereich Volumetric Video?

<\/h2>\n\n\n\n

<\/p>\n\n\n\n

KI hat die technische Entwicklung stark beschleunigt. Die Idee ist, KI-Systeme zu entwickeln, die aus grossen Datens\u00e4tzen mit 3D-Modellen und den zugeh\u00f6rigen Bildern lernen. So k\u00f6nnen sie aus einem einzelnen Foto die passende 3D-Struktur berechnen \u2013 etwas, das fr\u00fcher aufwendig per Hand mit klassischen Algorithmen entwickelt wurde. Die neuesten Ans\u00e4tze, an denen wir intensiv forschen, heissen Neural Radiance Fields (NeRFs) und Gaussian Splatting.<\/p>\n<\/div><\/div>\n\n\n\n

<\/p>\n\n\n\n

<\/p>\n\n\n\n

\n

Keynote von Aljosa Solic: Wie KI echte Menschen in virtuelle Welten bringt<\/strong><\/p>\n\n\n\n

\n