VR und AR

Definition über das Reality-Virtuality Continuum

截屏2020-10-10 12.36.04
  • Mixed Reality (MR): Mischung zwischen Realität und Virtualität
  • Augmented Reality (AR): erweitert die Realität um virtuelle Inhalte
  • Virtual Reality (VR): erweitert die Virtualität um reale Inhalte

Virtual Reality (VR)

Definition über die drei I‘s

  • Interaktion
    • Beschreibt die Fähigkeit, Nutzereingaben zu erkennen und die virtuelle Welt entsprechend in Echtzeit zu ändern (Z.B. Navigation in der virtuellen Welt und die Manipulation von Objekten.)
  • Immersion
    • Beschreibt das Gefühl, ein Teil der virtuellen Welt zu sein
    • Das „Eintauchen“ in die virtuelle Welt
    • Je größer der Immersionsgrad, desto stärker taucht der Mensch in die virtuelle Welt ein
    • Immersion wird erzielt, indem möglichst viele Sinne des Menschen getäuscht werden.
  • Informationsintensität: Stellt den Wissenstransfer der virtuellen Welt an den Benutzer dar

Kerntechnologien

  • Optische, akustische und haptische Displays
    • die für Immersion sorgen
    • und widersprüchliche Informationen der Realwelt ausblenden
  • Tracking-System
    • bestimmt die Position und Orientierung des Körpers

Freiheitsgrade

  • Degrees of Freedom (DOF): tragen maßgeblich zur erfahrbaren Immersion und den Einsatzmöglichkeiten bei
    • 3 DOF: Rotation
    • 6 DOF („Room Scale“): Rotation + Position
  • Verfahren
    • Outside-In: mit externer Sensorik
    • Inside-Out: mit integrierter Sensorik

Displaytechnologien

  • Head Mounted Display (HMD)

    截屏2020-10-10 12.43.25

  • Cave Automatic Virtual Environment (CAVE)

    截屏2020-10-10 12.44.07

Einsatzgebiete

  • Visualisierung von komplexen Datenmengen zur interaktiven Erkundung
  • Design und Prototyping im 3D-Kontext
  • Virtuelles Training und Ausbildung
  • Kollaboration mehrerer Benutzer, welche lokal oder räumlich entfernt voneinander arbeiten, im virtuellen Raum

Augmented Reality (AR)

Definition von AR

  • AR erlaubt es die wahrgenommene, reale Welt durch zusätzliche Sinneseinflüsse zu erweitern
  • Ähnliche Konzepte wie VR, daher Definitionen zum Teil übertragbar
  • AR ist eine Ergänzung der Realität mit den folgenden drei Charakteristiken:
    • Kombination von Realem und Virtuellem
    • Interaktivität in Echtzeit
    • Die Registrierung in 3D (Tracking)

Displaytechnologien

  • Video see-through

    截屏2020-10-10 12.46.52

  • Optical see-through

    截屏2020-10-10 12.47.29

  • Projektor-basierte Verfahren: Bestrahlen einer Oberfläche

    截屏2020-10-10 12.50.35
  • Projektion in der Luft: Bestrahlen eines Nebels

    截屏2020-10-10 12.50.48

Herausforderungen von VR und AR

  • Täuschung möglichst vieler Sinne für hohe Immersion
  • Akzeptanz
  • Hardwarelimitierung
  • realistische Visualisierung…

Sehsinn

  • Augenabstand: Verschwommenes Bild, wenn falsch eingestellt

    • Lösung
      • Manuell
      • Automatisch mit Eye Tracking
    • Mögliche Umsetzungen
      • 1 Display pro Auge
      • 1 Display insgesamt
  • Auge hat sehr hohe Auflösung (~7 MP in der Fovea)

    • Lösung: Foveated Rendering
      • Nur dort mit hoher Auflösung rendern, wo Auge hinschaut
      • Fixed Foveated Rendering
  • Aktuell Fixe Fokusebene bei ~ 2m Entfernung

    • Problem: Nähere und entferntere Objekte sind unscharf

    • Lösung: Varifocal Renderung

      • Dynamische Anpassung der Fokusebene\
      • Benötigt Eye-Tracking
      • Entfernung an Punkt gegeben durch Rendering (Z-Buffer)
      截屏2020-10-10 12.57.13 截屏2020-10-10 12.57.31
    • Mögliche Umsetzungen

      • Display und Linsen bewegen
      • Mehrere Schichten transparenter Displays

Haptik

  • Aktiv: Gerät übt Kraft auf Benutzer aus

    截屏2020-10-10 12.59.45
  • Passiv

    • Erkennen von Oberflächen/Objekten und Interaktion mit diesen

      截屏2020-10-10 13.00.25
    • Positionierung dynamischer Oberflächen + Vermitteln von Textur

    • Erschaffen von Oberflächen in der Luft

Propriozeption

  • Force Feedback: Roboter-Arm/Exoskelett übt Kraft auf den Menschen aus

    截屏2020-10-10 13.04.20

Gleichgewicht

  • Problem: Übelkeit in VR 😢
  • Grund: visuell-vestibulärer Konflikt
    • Das was das Auge sieht und der Körper spürt stimmen nicht überein –> Konflikt führt zu Übelkeit (Simulator Sickness, Motion Sickness)
  • Mögliche Lösungen
    • Keinen Konflikt erzeugen durch Einsatz des eigenen Körpers
    • Der Benutzer sollte die Bewegung selber steuern
    • Bewegung in der Peripherie einschränken

Chancen von VR und AR

  • Mit VR/AR besteht die volle Kontrolle über die Inhalte
  • VR/AR erlauben es Personen unabhängig vom Standort zusammenzuarbeiten
  • VR erlaubt es die Sinne des Menschen zu überlisten
    • Redirected interaction/walking
  • In VR/AR können sonst unmögliche Erfahrungen gemacht werden
    • Zu Gefährlich (Feuer, Strahlung, etc.)
    • Unmöglich (Gravitation abschalten)

VR/AR für Sehgeschädigte

  • Erschwertes Lesen
    • Vergrößerung von Inhalten
  • Erhöhte Blendempfindlichkeit
    • Reduktion der Umgebungshelligkeit (VR)
  • Anpassung der Farben
    • Kontrast erhöhen
    • Farben invertieren
    • Kanten verstärken
  • Hervorheben von Objekten

Transparent Vehicle

截屏2020-10-10 13.10.10 截屏2020-10-10 13.10.26

Redirected Walking

  • Problem: Realer Raum ist begrenzt

  • Idee

    • Mensch nimmt kleine Anpassungen in der Rotation nicht wahr
    • Nutzen, um Laufweg anzupassen
    截屏2020-10-10 13.11.56

Redirected Interaction

Redirection auch für Handbewegungen

Personal Perspective

  • Volle Anpassbarkeit erlaubt durchaus große Veränderungen

  • Dadurch, dass der reale Gegenüber in VR nicht sichtbar ist, kann der Avatar beliebig verändert werden

  • Bsp: Zwei Personen sehen das „A“ richtig herum, obwohl sie sich gegenüberstehen

    截屏2020-10-10 13.13.41

Entfernte Kollaboration

  • Zwei Personen können sich in einem virtuellen Raum treffen

    • Unabhängig vom realen Standort
    • Spart Reisekosten und –zeit
    截屏2020-10-10 13.14.35
  • Vorteile gegenüber klassischer Telefon-/Videokonferenz

    • Inhaltsbezogene Diskussion: Person und Inhalt sind nicht zwei Fenster, sondern stehen in direktem Kontakt
    • Sprachkommunikation mit räumlichen Bezug: Ton kommt aus der Richtung des Avatars