Mittwoch 29.3. und Donnerstag 30.3.

Workshop »Immersive Medien und Mixed Reality«

Konzepte und Methoden für interaktive immersive Medien

  • Game-Design und Interaktionsgestaltung
  • 3D-Gestaltung und -Modellierung, Medienproduktion
  • Technologien und Formate

Ausprobieren

  • 360°, Panorama-Fotos- und Videos mit Google Cardboard und Daydream
  • Virtual Reality (VR) mit HTC Vive
  • Augmented Reality (AR) mit Tablets, Google Tango, Microsoft Hololens

Praktische Aufgabenstellung

 Storyworld

Ziel/Zielgruppe

  • Experience: immersiv, interaktiv, intuitiv, lustvoll
  • verbunden mit Wissenserwerb
  • z.B. Tourismus, EGA/BUGA,…

Elemente

Verhalten, Interaktion

  • Entdecken, untersuchen, lernen
  • Wachsen, Züchten
  • Arrangieren, Gestalten, Assemblierung
  • Nektar sammeln
  • Honig machen

Ablauf

Mittwoch

10:00 Einführung

  • Ablauf und Ziele
  • Hintergründe, Begriffe 
    • Plastisches Sehen, Stereoskopie, Immersion, Presence, Motion Sickness
  • Konzepte und Anwendungsgebiete
    • Bildung, Unterhaltung, Industrie, Gesundheit
  • Technologien
    • Tracking, Interaktionsgeräte und Navigation: Rotation / Position, Controller, Gaze
  • Workflow: Modellierung, Level-Design, Interaktions- / Logikprogrammierung
  • Produktkategorien

11:15 Hands-On: Ausprobieren 

12:30 Aufgabenstellung und erste Ideensammlung

13:00 Mittagspause

14:00 Kick-Off Projekte

  • Aufteilung in 3-4 Gruppen
  • Projektkonzeption und Aufgabenteilung

15:00 Gruppenarbeit, u.a.

  • Einarbeitung
  • Erstellen von Assets: Grafiken, Videos, Modelle, ,…
  • Aufbau der Szene,  Interaktionsprogrammierung

17:00 Wrap-Up und weitere Planung

 

Donnerstag

10:00 Integration der ersten Assets 

11:00 Test und Konzeptverfeinerung

11:30 Ausarbeitung der Assets

13:00 Mittagspause

14:00 Integration der überarbeiteten und weiteren Assets

15:00 Optimierung

16:00 Präsentation

Prof. Dr. Klaus Chantelau

Angewandte digitale Bildverarbeitung, Hochschule Schmalkalden

Prof. Rolf Kruse

Digitale Medien und Gestaltung, FH Erfurt

Jörg Michel

Dipl.-Designer | Visuelle Kommunikation, Geschäftsführer Kids interactive GmbH

Prof. Hartmut Seichter, PhD

Hochschule Schmalkalden
Fakultät Informatik

3D-Modellierung für 360°-Panorama

Anforderungen Erstellung

  • Rechner (Windows oder Mac) mit Maxon Cinema4D (Demoversion > aktivieren)

Anforderungen Wiedergabe

  • Desktop- oder Mobil-Browser mit Youtube-Player
  • Smartphone/Tablet mit 360°-Player wie z.B. GoPro VR Player

Virtual Reality

Desktop VR mit PC und HTC Vive

Hardware-Anforderungen

  • PC: Windows, möglichst gute Grafikkarte

  • HTC Vive: Brille, 2x Lighthouses, 2 Controller

HTC Vive: VR-Brille mit Controllern
  • Freie Fläche: 3,50 x 3,50 m
Aufbau HTC Vive (Quelle: Techradar)

Software

Demos

  • Tilt Brush
  • Strandszene

Mobile VR mit Smartphone

Hardware: Google Daydream

Google Daydream View
  • (hohe) Anforderungen an Smartphone: Android 7.0 (kein iOS), 2-Prozessor mit mind. 2 Kernen, hochauflösendes Display, Grafikprozessor: Vulkan-Grafikschnittstelle, performante Video-Decodierung
    • z.B. Google Pixel, Moto Z,  (ASUS Zenfone AR)
  • Headset:
    • bisher nur „Daydream View“ erhältlich (69€)
    • Controller mit Bewegungssensor

Hardware: Google Cardboard

Google Cardboard (Quelle: Hypergrid Business)

Software

Anleitung: Getting-Started mit Unity für Android

  • Unity 5.6 (Beta) installieren
    • Beta bietet Unterstützung für Daydream und Cardboard
    • Sie benötigen beim Start einen Unity-Account
    • zu installierende Programmteile: Unity, Documentation, Standard Assets, Android Build Support, (kein Visual Studio)
  • Google VR SDK for Unity für erweiterte Funktionalität
  • Android-SDK für Zielplattform installieren
  • Entwickler-Optionen und Debugging-Modus am Smartphone aktivieren

Raum- und Interaktionsgestaltung

  • Wie sieht meine Umgebung aus?
  • Welche Elemente gibt es in der Szene?
  • Was kann der Nutzer tun? Woher weiß er, was er tun kann (Affordance) bzw. das er etwas getan hat (Feedback)? Wie sieht die Bedienoberfläche/-elemente aus? Welche Tasten/Gesten/Befehle gibt es?
  • Animation/Interaktion: Wie verhalten sich bzw. reagieren die Elemente?

Assets: Modelle, Sounds, Texturen

  • in Unity integriert
    • einfache Geometrien (Primitives)
    • Terrain (Landschaftsmodellierung, Texturierung, Bepflanzung)
  • Modelle, Texturen, Effekte, Scripte aus dem Unity-Asset Store
    • „Standard Assets“-Package kann zu Beginn mitinstalliert werden
  • 3D-Modelle aus dem Internet: TF3DM, 3D-Cafe,…
    • auf Rechte achten
    • besonders für Mobile Anwendungen auf minimale Komplexität (Polygonanzahl) achten
  • Eigene 3D-Modelle: FBX-Dateien können von fast allen 3D-Programmen erzeugt werden: z.B. Autodesk 3ds Max (für Studierende kostenlos), Cinema4D (Demoversion), Blender  (Open Source)
  • Bilder (JPG, PNG mit Transparenzkanal)
    Bildbearbeitung z.B. mit 
  • Videos (nur PC: OGG/OGV oder Quicktime-kompatibel)
    Aufbereitung, z.B. mit
    • Adobe After Effects o.ä
  • Animationen
    • mit integriertem einfachen Editor
    • Import von Daten aus Motion Capture-System
    • per Scripting
    • durch Physik-Simulation (Schwerkraft, Wind, Kollision,…)
  • Dynamisches Verhalten durch Scripting (C#, JS) mit integriertem Editor MonoDevelop oder Visual Studio

Augmented Reality-Anwendung

Anforderungen Erstellung

  • Rechner (Windows oder Mac) mit Blender ?

Anforderungen Wiedergabe

  • Smartphone/Tablet ?