Mittwoch 29.3. und Donnerstag 30.3.

Workshop »Immersive Medien und Mixed Reality«

Konzepte und Methoden für interaktive immersive Medien

  • Game-Design und Interaktionsgestaltung
  • 3D-Gestaltung und -Modellierung, Medienproduktion
  • Technologien und Formate

Ausprobieren

  • 360°, Panorama-Fotos- und Videos mit Google Cardboard und Daydream
  • Virtual Reality (VR) mit HTC Vive
  • Augmented Reality (AR) mit Tablets, Google Tango, Microsoft Hololens

Praktische Aufgabenstellung

 Storyworld

Ziel/Zielgruppe

  • Experience: immersiv, interaktiv, intuitiv, lustvoll
  • verbunden mit Wissenserwerb
  • z.B. Tourismus, EGA/BUGA,…

Elemente

Verhalten, Interaktion

  • Entdecken, untersuchen, lernen
  • Wachsen, Züchten
  • Arrangieren, Gestalten, Assemblierung
  • Nektar sammeln
  • Honig machen

Ablauf

Mittwoch

10:00 Einführung

  • Ablauf und Ziele
  • Hintergründe, Begriffe 
    • Plastisches Sehen, Stereoskopie, Immersion, Presence, Motion Sickness
  • Konzepte und Anwendungsgebiete
    • Bildung, Unterhaltung, Industrie, Gesundheit
  • Technologien
    • Tracking, Interaktionsgeräte und Navigation: Rotation / Position, Controller, Gaze
  • Workflow: Modellierung, Level-Design, Interaktions- / Logikprogrammierung
  • Produktkategorien

11:15 Hands-On: Ausprobieren 

12:30 Aufgabenstellung und erste Ideensammlung

13:00 Mittagspause

14:00 Kick-Off Projekte

  • Aufteilung in 3-4 Gruppen
  • Projektkonzeption und Aufgabenteilung

15:00 Gruppenarbeit, u.a.

  • Einarbeitung
  • Erstellen von Assets: Grafiken, Videos, Modelle, ,…
  • Aufbau der Szene,  Interaktionsprogrammierung

17:00 Wrap-Up und weitere Planung

 

Donnerstag

10:00 Integration der ersten Assets 

11:00 Test und Konzeptverfeinerung

11:30 Ausarbeitung der Assets

13:00 Mittagspause

14:00 Integration der überarbeiteten und weiteren Assets

15:00 Optimierung

16:00 Präsentation

Prof. Dr. Klaus Chantelau

Angewandte digitale Bildverarbeitung, Hochschule Schmalkalden

Prof. Rolf Kruse

Digitale Medien und Gestaltung, FH Erfurt

Jörg Michel

Dipl.-Designer | Visuelle Kommunikation, Geschäftsführer Kids interactive GmbH

Prof. Hartmut Seichter, PhD

Hochschule Schmalkalden
Fakultät Informatik

3D-Modellierung für 360°-Panorama

Anforderungen Erstellung

  • Rechner (Windows oder Mac) mit Maxon Cinema4D (Demoversion > aktivieren)

Anforderungen Wiedergabe

  • Desktop- oder Mobil-Browser mit Youtube-Player
  • Smartphone/Tablet mit 360°-Player wie z.B. GoPro VR Player

Virtual Reality

Desktop VR mit PC und HTC Vive

Hardware-Anforderungen

  • PC: Windows, möglichst gute Grafikkarte

  • HTC Vive: Brille, 2x Lighthouses, 2 Controller

HTC Vive: VR-Brille mit Controllern
  • Freie Fläche: 3,50 x 3,50 m
Aufbau HTC Vive (Quelle: Techradar)

Software

Demos

  • Tilt Brush
  • Strandszene

Mobile VR mit Smartphone

Hardware: Google Daydream

Google Daydream View
  • (hohe) Anforderungen an Smartphone: Android 7.0 (kein iOS), 2-Prozessor mit mind. 2 Kernen, hochauflösendes Display, Grafikprozessor: Vulkan-Grafikschnittstelle, performante Video-Decodierung
    • z.B. Google Pixel, Moto Z,  (ASUS Zenfone AR)
  • Headset:
    • bisher nur „Daydream View“ erhältlich (69€)
    • Controller mit Bewegungssensor

Hardware: Google Cardboard

Google Cardboard (Quelle: Hypergrid Business)

Software

Anleitung: Getting-Started mit Unity für Android

  • Unity 5.6 (Beta) installieren
    • Beta bietet Unterstützung für Daydream und Cardboard
    • Sie benötigen beim Start einen Unity-Account
    • zu installierende Programmteile: Unity, Documentation, Standard Assets, Android Build Support, (kein Visual Studio)
  • Google VR SDK for Unity für erweiterte Funktionalität
  • Android-SDK für Zielplattform installieren
  • Entwickler-Optionen und Debugging-Modus am Smartphone aktivieren

Raum- und Interaktionsgestaltung

  • Wie sieht meine Umgebung aus?
  • Welche Elemente gibt es in der Szene?
  • Was kann der Nutzer tun? Woher weiß er, was er tun kann (Affordance) bzw. das er etwas getan hat (Feedback)? Wie sieht die Bedienoberfläche/-elemente aus? Welche Tasten/Gesten/Befehle gibt es?
  • Animation/Interaktion: Wie verhalten sich bzw. reagieren die Elemente?

Assets: Modelle, Sounds, Texturen

  • in Unity integriert
    • einfache Geometrien (Primitives)
    • Terrain (Landschaftsmodellierung, Texturierung, Bepflanzung)
  • Modelle, Texturen, Effekte, Scripte aus dem Unity-Asset Store
    • „Standard Assets“-Package kann zu Beginn mitinstalliert werden
  • 3D-Modelle aus dem Internet: TF3DM, 3D-Cafe,…
    • auf Rechte achten
    • besonders für Mobile Anwendungen auf minimale Komplexität (Polygonanzahl) achten
  • Eigene 3D-Modelle: FBX-Dateien können von fast allen 3D-Programmen erzeugt werden: z.B. Autodesk 3ds Max (für Studierende kostenlos), Cinema4D (Demoversion), Blender  (Open Source)
  • Bilder (JPG, PNG mit Transparenzkanal)
    Bildbearbeitung z.B. mit 
  • Videos (nur PC: OGG/OGV oder Quicktime-kompatibel)
    Aufbereitung, z.B. mit
    • Adobe After Effects o.ä
  • Animationen
    • mit integriertem einfachen Editor
    • Import von Daten aus Motion Capture-System
    • per Scripting
    • durch Physik-Simulation (Schwerkraft, Wind, Kollision,…)
  • Dynamisches Verhalten durch Scripting (C#, JS) mit integriertem Editor MonoDevelop oder Visual Studio

Augmented Reality - [b]edien[m]i|e|nen

Team

Einführung

Augmented Reality verbindet Realität mit virtuellen Inhalten. Kern von AR Anwendungen ist es 3D Inhalte in Echtzeit akkurat in die Umgebung zu integrieren. Interaktion mit den Inhalten wird durch eine Vielzahl von Methoden unterstützt.

In unserem Workshop versuchen wir einen ersten Versuch mit virtuellen Inhalten und realen Objekten zu starten. Es geht darum Nutzen, “User-experience” und Erwartungshaltung von Medienrezipienten im Kontext von AR/MR auszuloten. Das Experiment ist es, so viele Bedienminen der AR Medienbienen zu finden …

Konzept

Es soll ein AR Spiel konzipiert werden welches Nutzer zur Interaktion mit den “Medienbienen” und den dahinter liegenden Inhalten animiert.

Ein paar lose Fragen zum Start:

  1. Wie können die realen “Objekte” gefunden werden
  2. Welchen Spiele-Anreiz bieten die Bienen und welche Inhalte machen in AR Sinn, welcher Mehrnutzen kann generiert werden?
  3. Wie “nähere” ich mich den Inhalten
    1. Pokemon Go – Style
    2. Proximity, Touch Interaction, Tangibles …
    3. Etwas anderes?

Microsoft Hololens und andere AR Brillen sind vermutlich die Zukunft. Jedoch auch mit ganz einfachen Mitteln, wie Smartphones lassen sich heute schon AR Anwendungen erstellen. Dabei setzen wir auf das bekannte Vuforia SDK das sich sehr intuitiv in die Unity Umgebung integriert. Dadurch können wir uns schnell auf Konzepte und Interaktionen konzentrieren. Trotzdem gibt es ein paar …

Technologie

Hardware

  • Windows, Mac, Linux (alle Plattformen sind möglich – Software dann laut optionaler Varianten) –
  • wenn möglich Laptop mit dedizierter Grafikkarte
  • separate USB Webcam (ein paar Geräte werden gestellt)
  • Android Telefon/Tablet (ein paar Geräte werden gestellt)
  • Kartons, Buntstifte, Klebestifte, Papierrollen
  • Halbwegs photo/kamara-fähiges Telefon/Kamera

Software

Um gleich loslegen zu können brauchen wir einen konsistenten und abrufbaren Software Stamm: