Mittwoch 29.3. und Donnerstag 30.3.

Workshop »Immersive Medien und Mixed Reality«

Konzepte und Methoden für interaktive immersive Medien

  • Game-Design und Interaktionsgestaltung
  • 3D-Gestaltung und -Modellierung, Medienproduktion
  • Technologien und Formate

Ausprobieren

  • 360°, Panorama-Fotos- und Videos mit Google Cardboard und Daydream
  • Virtual Reality (VR) mit HTC Vive
  • Augmented Reality (AR) mit Tablets, Google Tango, Microsoft Hololens

Praktische Aufgabenstellung (weitere Details unten)

 Storyworld

Ziel/Zielgruppe

  • Experience: immersiv, interaktiv, intuitiv, lustvoll
  • verbunden mit Wissenserwerb
  • z.B. Tourismus, EGA/BUGA,…

Elemente

Verhalten, Interaktion

  • Entdecken, untersuchen, lernen
  • Wachsen, Züchten
  • Arrangieren, Gestalten, Assemblierung
  • Nektar sammeln
  • Honig machen

Konzept 29.3. (nur für Teilnehmer)

Prof. Dr. Klaus Chantelau

Angewandte digitale Bildverarbeitung, Hochschule Schmalkalden

Prof. Rolf Kruse

Digitale Medien und Gestaltung, FH Erfurt

Prof. Hartmut Seichter, PhD

Hochschule Schmalkalden
Fakultät Informatik

Jörg Michel

Dipl.-Designer, Geschäftsführer Kids interactive GmbH

Daniel Bischoff

Game Entwickler, Kids interactive GmbH

Ablauf

Mittwoch

10:00 Einführung

  • Ablauf und Ziele
  • Hintergründe, Begriffe 
    • Plastisches Sehen, Stereoskopie, Immersion, Presence, Motion Sickness
  • Konzepte und Anwendungsgebiete
    • Bildung, Unterhaltung, Industrie, Gesundheit
  • Technologien
    • Tracking, Interaktionsgeräte und Navigation: Rotation / Position, Controller, Gaze
  • Workflow: Modellierung, Level-Design, Interaktions- / Logikprogrammierung
  • Produktkategorien

11:15 Hands-On: Ausprobieren 

12:30 Aufgabenstellung und erste Ideensammlung

13:00 Mittagspause

14:00 Kick-Off Projekte

  • Aufteilung in 3-4 Gruppen
  • Projektkonzeption und Aufgabenteilung

14:45 Einführung Unity

15:30 Ausprobieren, u.a.

  • Erstellen von Assets: Grafiken, Videos, Modelle, ,…
  • Aufbau der Szene,  Interaktionsprogrammierung

17:15 Wrap-Up und weitere Planung

 

Donnerstag

10:00 Integration der ersten Assets 

11:00 Test und Konzeptverfeinerung

11:30 Ausarbeitung der Assets

13:00 Mittagspause

14:00 Integration der überarbeiteten und weiteren Assets

15:00 Optimierung

16:00 Präsentation

3D-Modellierung für 360°-Panorama

Ziel

Immersive Medien wie 360 Grad Videos erweitern die audio-visuellen Darstellungsmöglichkeiten beträchtlich und werden in immer größeren Maße in verschiedenen Bereichen eingesetzt. In diesem Workshop wollen wir uns von der Seite der Videoproduktion dem Thema nähern und uns zum Ziel setzen, ein 360 Grad Video zu konzipieren und zu realisieren, welches für das Stadtmarketing z.B. für Erfurt genutzt werden könnte. Hierzu wollen wir die atmosphärische Wirkung eines touristisch interessanten Platzes verstärken in dem wir seine historische Bedeutung herausstellen oder ihm ein frühlingshaftes Ambiente verleihen. Das Ergebnis soll auf Youtube und speziellen 360 Playern in Form einer interaktiven 360 Grad Darstellung betrachtet werden können.  

Umsetzung

Wir verwenden zunächst ein bereitgestelltes reales 360 Grad Photo oder Video eines Platzes in Erfurt. In diese reale Umgebung integrieren wir vorhandene virtuelle Objekte und erzeugen mit einer entsprechenden Beleuchtung die gewünschte Stimmung.

Bewegte Objekte können in Form von bereitgestellten Greenscreen-Aufnahmen oder durch animierte Objekte hinzukommen. Abschließend wird das benötigte Format mit dem Renderprozess erzeugt. Dadurch dass wir uns im wesentlichen auf vorhandene Objekte und die notwendigsten Techniken beschränken bleibt viel Raum für die eigene kreative Gestaltung.  

Anforderungen Erstellung

  • Rechner (Windows oder Mac) mit Maxon Cinema4D (Demoversion > aktivieren)

Anforderungen Wiedergabe

  • Desktop- oder Mobil-Browser mit Youtube-Player
  • Smartphone/Tablet mit 360°-Player wie z.B. GoPro VR Player

Interaktive 3D-Anwendung

Raum- und Interaktionsgestaltung

  • Wie sieht meine Umgebung aus?
  • Welche Elemente gibt es in der Szene?
  • Was kann der Nutzer tun? Woher weiß er, was er tun kann (Affordance) bzw. das er etwas getan hat (Feedback)? Wie sieht die Bedienoberfläche/-elemente aus? Welche Tasten/Gesten/Befehle gibt es?
  • Animation/Interaktion: Wie verhalten sich bzw. reagieren die Elemente?

Assets: Modelle, Sounds, Texturen

  • in Unity integriert
    • einfache Geometrien (Primitives)
    • Terrain (Landschaftsmodellierung, Texturierung, Bepflanzung)
  • Modelle, Texturen, Effekte, Scripte aus dem Unity-Asset Store
    • „Standard Assets“-Package kann zu Beginn mitinstalliert werden
  • 3D-Modelle aus dem Internet: TF3DM, 3D-Cafe,…
    • auf Rechte achten
    • besonders für Mobile Anwendungen auf minimale Komplexität (Polygonanzahl) achten
  • Eigene 3D-Modelle: FBX-Dateien können von fast allen 3D-Programmen erzeugt werden
  • Bilder (JPG, PNG mit Transparenzkanal)
  • Videos (PC: OGG/OGV oder Quicktime-kompatibel)
  • Animationen
    • mit integriertem einfachen Editor
    • Import von Daten aus Motion Capture-System
    • per Scripting
    • durch Physik-Simulation (Schwerkraft, Wind, Kollision,…)
  • Dynamisches Verhalten durch Scripting (C#, JS) mit integriertem Editor MonoDevelop oder Visual Studio

Software für AR- und VR-Entwicklung

Um gleich loslegen zu können brauchen wir einen konsistenten und abrufbaren Software Stamm:

  • Game Engine + Szeneneditor: Unity 5.5.2 Personal (keine Beta!)
    • Sie benötigen beim Start einen Unity-Account
    • zu installierende Programmteile: Unity, Documentation, Standard Assets,  (optional: Visual Studio Tools)
  • für AR/Cardboard/Daydream mit Android-Geräten (kein iOS bzw. nur wer die entsprechende Hardware und das Know How mit Xcode Projekte zu bearbeiten mitbringt): 
    • Unity-Programmteil:  Android Build Support
    • Android-SDK für Zielplattform
    • Entwickler-Optionen und Debugging-Modus am Smartphone aktivieren
  • für Cardboard/Daydream: 
  • für Asseterstellung/-bearbeitung
  • für die Zusammenarbeit:

Virtual Reality

Desktop VR mit PC und HTC Vive

Hardware-Anforderungen

  • PC: Windows, möglichst gute Grafikkarte
  • HTC Vive: Brille, 2x Lighthouses, 2 Controller

HTC Vive: VR-Brille mit Controllern
  • Freie Fläche: 3,50 x 3,50 m
Aufbau HTC Vive (Quelle: Techradar)

Software

Demos

  • Tilt Brush
  • Strandszene

Mobile VR mit Smartphone

Hardware: Google Daydream

Google Daydream View
  • (hohe) Anforderungen an Smartphone: Android 7.0 (kein iOS), 2-Prozessor mit mind. 2 Kernen, hochauflösendes Display, Grafikprozessor: Vulkan-Grafikschnittstelle, performante Video-Decodierung
    • z.B. Google Pixel, Moto Z,  (ASUS Zenfone AR)
  • Headset:
    • bisher nur „Daydream View“ erhältlich (69€)
    • Controller mit Bewegungssensor

Hardware: Google Cardboard

Google Cardboard (Quelle: Hypergrid Business)

Augmented Reality-Anwendung: [b]edien[m]i|e|nen

Übersicht

Augmented Reality verbindet Realität mit virtuellen Inhalten. Kern von AR Anwendungen ist es 3D Inhalte in Echtzeit akkurat in die Umgebung zu integrieren. Interaktion mit den Inhalten wird durch eine Vielzahl von Methoden unterstützt.

In unserem Workshop versuchen wir einen ersten Versuch mit virtuellen Inhalten und realen Objekten zu starten. Es geht darum Nutzen, “User-experience” und Erwartungshaltung von Medienrezipienten im Kontext von AR/MR auszuloten. Das Experiment ist es, so viele Bedienminen der AR Medienbienen zu finden …

Ziel

Es soll ein AR Spiel konzipiert werden welches Nutzer zur Interaktion mit den “Medienbienen” und den dahinter liegenden Inhalten animiert.

Ein paar lose Fragen zum Start:

  1. Wie können die realen “Objekte” gefunden werden
  2. Welchen Spiele-Anreiz bieten die Bienen und welche Inhalte machen in AR Sinn, welcher Mehrnutzen kann generiert werden?
  3. Wie “nähere” ich mich den Inhalten
    1. Pokemon Go – Style
    2. Proximity, Touch Interaction, Tangibles …
    3. Etwas anderes?

Technologien

Microsoft Hololens und andere AR Brillen sind vermutlich die Zukunft. Jedoch auch mit ganz einfachen Mitteln, wie Smartphones lassen sich heute schon AR Anwendungen erstellen. Dabei setzen wir auf das bekannte Vuforia SDK das sich sehr intuitiv in die Unity Umgebung integriert. Dadurch können wir uns schnell auf Konzepte und Interaktionen konzentrieren. Trotzdem gibt es ein paar …

Voraussetzungen

Hardware

  • Halbwegs photo/kamara-fähiges Telefon/Kamera
  • Kartons, Buntstifte, Klebestifte, Papierrollen
  • Android Telefon/Tablet (ein paar Geräte werden gestellt)
  • separate USB Webcam (ein paar Geräte werden gestellt)
  • wenn möglich Laptop mit dedizierter Grafikkarte
  • Windows, Mac, Linux (alle Plattformen sind möglich – Software dann laut optionaler Varianten) 

Software s. oben 

Weiteres

Ein bisschen Mut mitbringen ist auch notwendig. Wir werden die ersten Konzepte auf der Wiese mit Rollenspielen erarbeiten: macht garantiert Laune!