VR und AR

Definition über das Reality-Virtuality Continuum

• Mixed Reality (MR): Mischung zwischen Realität und Virtualität
• Augmented Reality (AR): erweitert die Realität um virtuelle Inhalte
• Virtual Reality (VR): erweitert die Virtualität um reale Inhalte

Virtual Reality (VR)

Definition über die drei I‘s

• Interaktion
  • Beschreibt die Fähigkeit, Nutzereingaben zu erkennen und die virtuelle Welt entsprechend in Echtzeit zu ändern (Z.B. Navigation in der virtuellen Welt und die Manipulation von Objekten.)
• Immersion
  • Beschreibt das Gefühl, ein Teil der virtuellen Welt zu sein
  • Das „Eintauchen“ in die virtuelle Welt
  • Je größer der Immersionsgrad, desto stärker taucht der Mensch in die virtuelle Welt ein
  • Immersion wird erzielt, indem möglichst viele Sinne des Menschen getäuscht werden.
• Informationsintensität: Stellt den Wissenstransfer der virtuellen Welt an den Benutzer dar

Kerntechnologien

• Optische, akustische und haptische Displays
  • die für Immersion sorgen
  • und widersprüchliche Informationen der Realwelt ausblenden
• Tracking-System
  • bestimmt die Position und Orientierung des Körpers

Freiheitsgrade

• Degrees of Freedom (DOF): tragen maßgeblich zur erfahrbaren Immersion und den Einsatzmöglichkeiten bei
  • 3 DOF: Rotation
  • 6 DOF („Room Scale“): Rotation + Position
• Verfahren
  • Outside-In: mit externer Sensorik
  • Inside-Out: mit integrierter Sensorik

Displaytechnologien

• Head Mounted Display (HMD)

  

• Cave Automatic Virtual Environment (CAVE)

  

Einsatzgebiete

• Visualisierung von komplexen Datenmengen zur interaktiven Erkundung
• Design und Prototyping im 3D-Kontext
• Virtuelles Training und Ausbildung
• Kollaboration mehrerer Benutzer, welche lokal oder räumlich entfernt voneinander arbeiten, im virtuellen Raum

Augmented Reality (AR)

Definition von AR

• AR erlaubt es die wahrgenommene, reale Welt durch zusätzliche Sinneseinflüsse zu erweitern
• Ähnliche Konzepte wie VR, daher Definitionen zum Teil übertragbar
• AR ist eine Ergänzung der Realität mit den folgenden drei Charakteristiken:
  • Kombination von Realem und Virtuellem
  • Interaktivität in Echtzeit
  • Die Registrierung in 3D (Tracking)

Displaytechnologien

• Video see-through

  

• Optical see-through

  

• Projektor-basierte Verfahren: Bestrahlen einer Oberfläche

  

• Projektion in der Luft: Bestrahlen eines Nebels

  

Herausforderungen von VR und AR

• Täuschung möglichst vieler Sinne für hohe Immersion
• Akzeptanz
• Hardwarelimitierung
• realistische Visualisierung…

Sehsinn

• Augenabstand: Verschwommenes Bild, wenn falsch eingestellt

  • Lösung
    • Manuell
    • Automatisch mit Eye Tracking
  • Mögliche Umsetzungen
    • 1 Display pro Auge
    • 1 Display insgesamt

• Auge hat sehr hohe Auflösung (~7 MP in der Fovea)

  • Lösung: Foveated Rendering
    • Nur dort mit hoher Auflösung rendern, wo Auge hinschaut
    • Fixed Foveated Rendering

• Aktuell Fixe Fokusebene bei ~ 2m Entfernung

  • Problem: Nähere und entferntere Objekte sind unscharf

  • Lösung: Varifocal Renderung

    • Dynamische Anpassung der Fokusebene\
    • Benötigt Eye-Tracking
    • Entfernung an Punkt gegeben durch Rendering (Z-Buffer)
    

  • Mögliche Umsetzungen

    • Display und Linsen bewegen
    • Mehrere Schichten transparenter Displays

Haptik

• Aktiv: Gerät übt Kraft auf Benutzer aus

  

• Passiv

  • Erkennen von Oberflächen/Objekten und Interaktion mit diesen

    

  • Positionierung dynamischer Oberflächen + Vermitteln von Textur

  • Erschaffen von Oberflächen in der Luft

Propriozeption

• Force Feedback: Roboter-Arm/Exoskelett übt Kraft auf den Menschen aus

  

Gleichgewicht

• Problem: Übelkeit in VR 😢
• Grund: visuell-vestibulärer Konflikt
  • Das was das Auge sieht und der Körper spürt stimmen nicht überein –> Konflikt führt zu Übelkeit (Simulator Sickness, Motion Sickness)
• Mögliche Lösungen
  • Keinen Konflikt erzeugen durch Einsatz des eigenen Körpers
  • Der Benutzer sollte die Bewegung selber steuern
  • Bewegung in der Peripherie einschränken

Chancen von VR und AR

• Mit VR/AR besteht die volle Kontrolle über die Inhalte
• VR/AR erlauben es Personen unabhängig vom Standort zusammenzuarbeiten
• VR erlaubt es die Sinne des Menschen zu überlisten
  • Redirected interaction/walking
• In VR/AR können sonst unmögliche Erfahrungen gemacht werden
  • Zu Gefährlich (Feuer, Strahlung, etc.)
  • Unmöglich (Gravitation abschalten)

VR/AR für Sehgeschädigte

• Erschwertes Lesen
  • Vergrößerung von Inhalten
• Erhöhte Blendempfindlichkeit
  • Reduktion der Umgebungshelligkeit (VR)
• Anpassung der Farben
  • Kontrast erhöhen
  • Farben invertieren
  • Kanten verstärken
• Hervorheben von Objekten

Transparent Vehicle

Redirected Walking

• Problem: Realer Raum ist begrenzt

• Idee

  • Mensch nimmt kleine Anpassungen in der Rotation nicht wahr
  • Nutzen, um Laufweg anzupassen
  

Redirected Interaction

Redirection auch für Handbewegungen

Personal Perspective

• Volle Anpassbarkeit erlaubt durchaus große Veränderungen

• Dadurch, dass der reale Gegenüber in VR nicht sichtbar ist, kann der Avatar beliebig verändert werden

• Bsp: Zwei Personen sehen das „A“ richtig herum, obwohl sie sich gegenüberstehen

  

Entfernte Kollaboration

• Zwei Personen können sich in einem virtuellen Raum treffen

  • Unabhängig vom realen Standort
  • Spart Reisekosten und –zeit
  

• Vorteile gegenüber klassischer Telefon-/Videokonferenz

  • Inhaltsbezogene Diskussion: Person und Inhalt sind nicht zwei Fenster, sondern stehen in direktem Kontakt
  • Sprachkommunikation mit räumlichen Bezug: Ton kommt aus der Richtung des Avatars