Dienstag 27.3. und Mittwoch 28.3.

Workshop »Immersive Medien und Mixed Reality«

Konzepte und Methoden für interaktive immersive Medien

In diesem Workshop lernt ihr Technologien und Anwendungen im Bereich 360°, Virtual Reality (VR) und Augmented Reality (AR) kennen und erstellt auf Basis von Vorlagen einen eigenen immersiven Film bzw. interaktive Anwendung.

Verstehen und Ausprobieren

Die beste Basis ist die eigene Erfahrung mit den versch. Formaten, Technologien und Produkten und das Gespräch darüber. Nach einer Einführung in die Konzepte, Formate und Technologien könnt Ihr selbst ausprobieren:

  • 360°-Fotos, -Videos und -Umgebungen mit Halterungen für Smartphones (Google Daydream)
  • Virtual Reality (VR) mit der VR-Brille (HTC Vive)
  • Augmented Reality (AR) mit Smartphones/Tablets und einer AR-Brille (Microsoft Hololens)

Praktische Aufgabenstellung

Zuerst werden euch die Produktionsmethoden und Werkzeuge für die verschiedenen Anwendungsarten aufgezeigt. Dann erarbeiten wir gemeinsam auf Basis einer Vorlage und funktionalen Bausteinen eine Konzeption für eine interaktive Präsentation. Für die Umsetzung und Medienproduktion teilen wir uns in Gruppen auf; dabei wird Rücksicht genommen auf unterschiedliches (techn.) Vorwissen und Interessengebiete:

  • Inhaltliche Konzeption
  • Interaktionsgestaltung (Abläufe, Bedienelemente)
  • Mediengestaltung und -produktion
    • Text
    • Bild (Adobe Photoshop, …)
    • Audio (Adobe Audition, …)
    • Video (Adobe Premiere, …)
    • 360°-Aufnahme (Samsung Gear 360, Kodak Pixpro SP360) und -Bearbeitung
    • 3D-Modelle und -Modellierung(Sketchfab, Google Poly, Blender, Autodesk 3ds Max, Cinema4D, …)
  • Integration aller Medien in Szenen
  • Programmierung (Unity3D, C#)
Zum Abschluss zeigen bzw. probieren wir alles gemeinsam aus.

Ablauf

Dienstag

9:30 Einführung

  • Ablauf und Ziele
  • Hintergründe, Begriffe
    • Plastisches Sehen, Stereoskopie, Immersion, Presence, Motion Sickness
  • Konzepte und Anwendungsgebiete
    • Bildung, Unterhaltung, Industrie, Gesundheit
  • Technologien und Produkte
    • Tracking, Interaktionsgeräte und Navigation: Rotation / Position, Controller, Gaze

11:15 Hands-On: Ausprobieren 

13:00 Mittagspause

14:00 Vorstellung der vorbereiteten Formate und Einführung in Produktionsmethoden und -werkzeuge

15:00 Ideensammlung und Aufteilung in 2-3 Gruppen

  • Grobkonzept und Aufgabenteilung
  • Beschaffung oder Erstellung von Testmedien: Grafiken, Videos, Modelle, ,…
  • Grober Aufbau der Szene („Bühnenbild“)
  • Interaktionsprogrammierung

17:00 Wrap-Up

  • Besprechung der Konzepte und Tests
  • weitere Planung

Mittwoch

9:30 Tagesplanung 

9:45 Projektarbeit

  • Feinkonzept
  • Projekteinrichtung 
  • Medienproduktion
  • Programmierung von Grundfunktionen
  • Szenenaufbau

13:00 Mittagspause

14:00 Projektarbeit

  • Weitere Integration
  • Optimierung
  • Ergänzung

16:30 Präsentation

Prof. Rolf Kruse

Digitale Medien und Gestaltung, FH Erfurt

Entwicklung

Hardware

  • HTC Vive (2 Stück)
    • Headset (Brille): Augabstand (IPD), Displayabstand
    • Controller: Touchpad, Trigger, Menü
    • Basisstationen (Lighthouses)
  • PC mit leistungsfähiger Grafikkarte (Nvidia GTX 970)
  • Laptop mit leistungsfähiger Grafikkarte (Nvidia GTX 1070)

SOFTWARE

INTERAKTIONEN

  • Umschauen (Kopfdrehung)
  • Laufen (solange das Kabel und der Erfassungsbereich der Lighthouses reicht)
    • Trigger, Portal: Auslösen von Aktionen beim Betreten
  • mit (beiden) Controllern
    • Darstellung wie physischer Controller oder als passendes Werkzeug (Zange, Taschenlampe,…)
    • Berühren („Touch“)
    • Zeigen („Pointer“)
    • Springen („Teleport“)
    • Greifen („Grab“): Objekt nehmen, drehen, werfen, auffangen, klettern, öffnen (Tür, Schublade, Kiste,..)
    • Platzieren: frei oder an vorderfinierten Ort („Snap“), stapeln
    • Aktivieren, Aktionen auslösen („Use“): Einfärben, Drehen, Austauschen, Form ändern
    • Texthinweise am Controller zur Erläuterung der Interaktionsmöglichkeiten
    • Bedienfelder: Schalter, Schiebe-/Drehregler, Hebel („Controls“)
  • Unity-Beispiel-Szenen

Feedback

  • Hervorheben („Highlighting“) von Objekten, Pfeile
  • Text- oder Audiohinweise
  • Vibrationen („Rumble“)

Szenenelemente, Medien

  • Text
  • Bild (JPG, PNG)
  • Audio (MP3, OGG, WAV)
  • Video (MP4 H.264)
  • 360°-Foto (JPG, PNG, equirectangular 2:1, mono)
  • 360°-Video (MP4 H.264 equirectangular 2:1, mono)
  • 3D-Modelle (FBX, OBJ)
  • Animationen
    • intern mit Animation-Editor
    • per Script
    • importiert (FBX, BVH)
  • Scripte, zur Definition von Verhalten
 

Intern

Storyworld (Intern)

  • eine „Spring School“: Wiese/Parcour/Museum der Medien
  • Interaktive Dokumentation der Seminare und Workshops
  • Infos, Grafiken, Karte, Zeitstrahl, Symbole, Modelle, Berichte und Geschichten
  • kleine Aufgaben: Rätsel, Zuordnungen, Zusammenbau
  • Zielgruppe

Vorbereitung (Intern)

  • Hololens
    • Holograms, HoloCar, 
  • Daydream View, ASUS Zenfone
    • Daydream, 360°-Video
    • Tango, ARCore, AR-Sticker
    • 3D-Scanning
  • 2x Vive, Stative, Adapter, Kabelbinder, 1 Laptop, 1 PC, 1-2 Monitore, Stromkabel/Verteiler
    • Job Simulator, Fantastic, Albedo
  • Samsung Gear360, Kodak Pixpro
  • 2 Stative

Teams (Intern)

  • Text und Audio
  • Video
  • 3D-Objekte
  • Umgebung
  • Interaktion, Logik, Verhalten
  • Szene, Integration

ORganisation (intern)

  • Datenaustausch: Google Drive
  • Kommunikation: Slack? Trello?
  • Illustration, Grafik: Lucidchart