Mittwoch 29.3. und Donnerstag 30.3.
Workshop »Immersive Medien und Mixed Reality«
Konzepte und Methoden für interaktive immersive Medien
- Game-Design und Interaktionsgestaltung
- 3D-Gestaltung und -Modellierung, Medienproduktion
- Technologien und Formate
Ausprobieren
- 360°, Panorama-Fotos- und Videos mit Google Cardboard und Daydream
- Virtual Reality (VR) mit HTC Vive
- Augmented Reality (AR) mit Tablets, Google Tango, Microsoft Hololens
Praktische Aufgabenstellung (weitere Details unten)
Storyworld
Ziel/Zielgruppe
- Experience: immersiv, interaktiv, intuitiv, lustvoll
- verbunden mit Wissenserwerb
- z.B. Tourismus, EGA/BUGA,…
Elemente
- Spiel(-wiese), florale Welt, Feld
- (Sags mit) Blumen, Krokusse als Stationen
- Bienen in 3D, Bienenflug
- Medien / Bienen s. http://www.kindermedienstandort.de/
Verhalten, Interaktion
- Entdecken, untersuchen, lernen
- Wachsen, Züchten
- Arrangieren, Gestalten, Assemblierung
- Nektar sammeln
- Honig machen
Konzept 29.3. (nur für Teilnehmer)
Prof. Dr. Klaus Chantelau
Angewandte digitale Bildverarbeitung, Hochschule Schmalkalden
Prof. Rolf Kruse
Digitale Medien und Gestaltung, FH Erfurt
Prof. Hartmut Seichter, PhD
Hochschule Schmalkalden
Fakultät Informatik
Jörg Michel
Dipl.-Designer, Geschäftsführer Kids interactive GmbH
Daniel Bischoff
Game Entwickler, Kids interactive GmbH
Ablauf
Mittwoch
10:00 Einführung
- Ablauf und Ziele
- Hintergründe, Begriffe
- Plastisches Sehen, Stereoskopie, Immersion, Presence, Motion Sickness
- Konzepte und Anwendungsgebiete
- Bildung, Unterhaltung, Industrie, Gesundheit
- Technologien
- Tracking, Interaktionsgeräte und Navigation: Rotation / Position, Controller, Gaze
- Workflow: Modellierung, Level-Design, Interaktions- / Logikprogrammierung
- Produktkategorien
11:15 Hands-On: Ausprobieren
12:30 Aufgabenstellung und erste Ideensammlung
13:00 Mittagspause
14:00 Kick-Off Projekte
- Aufteilung in 3-4 Gruppen
- Projektkonzeption und Aufgabenteilung
14:45 Einführung Unity
15:30 Ausprobieren, u.a.
- Erstellen von Assets: Grafiken, Videos, Modelle, ,…
- Aufbau der Szene, Interaktionsprogrammierung
17:15 Wrap-Up und weitere Planung
Donnerstag
10:00 Integration der ersten Assets
11:00 Test und Konzeptverfeinerung
11:30 Ausarbeitung der Assets
13:00 Mittagspause
14:00 Integration der überarbeiteten und weiteren Assets
15:00 Optimierung
16:00 Präsentation
3D-Modellierung für 360°-Panorama

Ziel
Immersive Medien wie 360 Grad Videos erweitern die audio-visuellen Darstellungsmöglichkeiten beträchtlich und werden in immer größeren Maße in verschiedenen Bereichen eingesetzt. In diesem Workshop wollen wir uns von der Seite der Videoproduktion dem Thema nähern und uns zum Ziel setzen, ein 360 Grad Video zu konzipieren und zu realisieren, welches für das Stadtmarketing z.B. für Erfurt genutzt werden könnte. Hierzu wollen wir die atmosphärische Wirkung eines touristisch interessanten Platzes verstärken in dem wir seine historische Bedeutung herausstellen oder ihm ein frühlingshaftes Ambiente verleihen. Das Ergebnis soll auf Youtube und speziellen 360 Playern in Form einer interaktiven 360 Grad Darstellung betrachtet werden können.
Umsetzung
Wir verwenden zunächst ein bereitgestelltes reales 360 Grad Photo oder Video eines Platzes in Erfurt. In diese reale Umgebung integrieren wir vorhandene virtuelle Objekte und erzeugen mit einer entsprechenden Beleuchtung die gewünschte Stimmung.
Bewegte Objekte können in Form von bereitgestellten Greenscreen-Aufnahmen oder durch animierte Objekte hinzukommen. Abschließend wird das benötigte Format mit dem Renderprozess erzeugt. Dadurch dass wir uns im wesentlichen auf vorhandene Objekte und die notwendigsten Techniken beschränken bleibt viel Raum für die eigene kreative Gestaltung.
Anforderungen Erstellung
Anforderungen Wiedergabe
- Desktop- oder Mobil-Browser mit Youtube-Player
- Smartphone/Tablet mit 360°-Player wie z.B. GoPro VR Player
Interaktive 3D-Anwendung
Raum- und Interaktionsgestaltung
- Wie sieht meine Umgebung aus?
- Welche Elemente gibt es in der Szene?
- Was kann der Nutzer tun? Woher weiß er, was er tun kann (Affordance) bzw. das er etwas getan hat (Feedback)? Wie sieht die Bedienoberfläche/-elemente aus? Welche Tasten/Gesten/Befehle gibt es?
- Animation/Interaktion: Wie verhalten sich bzw. reagieren die Elemente?
Assets: Modelle, Sounds, Texturen
- in Unity integriert
- einfache Geometrien (Primitives)
- Terrain (Landschaftsmodellierung, Texturierung, Bepflanzung)
- Modelle, Texturen, Effekte, Scripte aus dem Unity-Asset Store
- „Standard Assets“-Package kann zu Beginn mitinstalliert werden
- 3D-Modelle aus dem Internet: TF3DM, 3D-Cafe,…
- auf Rechte achten
- besonders für Mobile Anwendungen auf minimale Komplexität (Polygonanzahl) achten
- Eigene 3D-Modelle: FBX-Dateien können von fast allen 3D-Programmen erzeugt werden
- Bilder (JPG, PNG mit Transparenzkanal)
- Videos (PC: OGG/OGV oder Quicktime-kompatibel)
- Animationen
- mit integriertem einfachen Editor
- Import von Daten aus Motion Capture-System
- per Scripting
- durch Physik-Simulation (Schwerkraft, Wind, Kollision,…)
- Dynamisches Verhalten durch Scripting (C#, JS) mit integriertem Editor MonoDevelop oder Visual Studio
Software für AR- und VR-Entwicklung
Um gleich loslegen zu können brauchen wir einen konsistenten und abrufbaren Software Stamm:
- Game Engine + Szeneneditor: Unity 5.5.2 Personal (keine Beta!)
- Sie benötigen beim Start einen Unity-Account
- zu installierende Programmteile: Unity, Documentation, Standard Assets, (optional: Visual Studio Tools)
- für AR/Cardboard/Daydream mit Android-Geräten (kein iOS bzw. nur wer die entsprechende Hardware und das Know How mit Xcode Projekte zu bearbeiten mitbringt):
- Unity-Programmteil: Android Build Support
- Android-SDK für Zielplattform
- Entwickler-Optionen und Debugging-Modus am Smartphone aktivieren
- für Cardboard/Daydream:
- Google VR SDK for Unity (Anleitung und Link zum Unity-Package)
- für Asseterstellung/-bearbeitung
- Vektorgrafik: Adobe Illustrator (CC), Inkscape, Affinity Designer
- Bildbearbeitung
- Adobe Photoshop
- GIMP
- Paint.NET
- Autodesk Pixlr (WebApp) o.ä.
- Videobearbeitung
- Adobe After Effects o.ä
- 3D-Modelle und -Animation
- Blender 2.78c (Open Source, keine Betas)
- Autodesk 3ds Max (für Studierende kostenlos)
- Cinema4D (Demoversion)
- für die Zusammenarbeit:
- Atlassian SourceTree, Git, GitHub desktop
- Gemeinsame Repositories: BitbucketAccount anlegen!
Virtual Reality
Desktop VR mit PC und HTC Vive
Hardware-Anforderungen
- PC: Windows, möglichst gute Grafikkarte
HTC Vive: Brille, 2x Lighthouses, 2 Controller

- Freie Fläche: 3,50 x 3,50 m

Software
- Game Engine + Szeneneditor: Unity 5.5 Personal (keine Beta!)
- Sie benötigen beim Start einen Unity-Account
- zu installierende Programmteile: Unity, Documentation, Standard Assets, Windows Build Support, (optional Visual Studio)
- Plugins: SteamVR-Plugin, VRTK (Virtual Reality Toolkit)
Demos
- Tilt Brush
- Strandszene
Mobile VR mit Smartphone
Hardware: Google Daydream

- (hohe) Anforderungen an Smartphone: Android 7.0 (kein iOS), 2-Prozessor mit mind. 2 Kernen, hochauflösendes Display, Grafikprozessor: Vulkan-Grafikschnittstelle, performante Video-Decodierung
- z.B. Google Pixel, Moto Z, (ASUS Zenfone AR)
- Headset:
- bisher nur „Daydream View“ erhältlich (69€)
- Controller mit Bewegungssensor
Hardware: Google Cardboard

- geringere Anforderungen an Smartphone, aber auch schlechtere Darstellungsqualität
- auch für iOS
- Demos
- Cardboard App
- Cardboard Design Lab
- Google Cardboard Camera
- Youtube
Augmented Reality-Anwendung: [b]edien[m]i|e|nen

Übersicht
Augmented Reality verbindet Realität mit virtuellen Inhalten. Kern von AR Anwendungen ist es 3D Inhalte in Echtzeit akkurat in die Umgebung zu integrieren. Interaktion mit den Inhalten wird durch eine Vielzahl von Methoden unterstützt.
In unserem Workshop versuchen wir einen ersten Versuch mit virtuellen Inhalten und realen Objekten zu starten. Es geht darum Nutzen, “User-experience” und Erwartungshaltung von Medienrezipienten im Kontext von AR/MR auszuloten. Das Experiment ist es, so viele Bedienminen der AR Medienbienen zu finden …
Ziel
Es soll ein AR Spiel konzipiert werden welches Nutzer zur Interaktion mit den “Medienbienen” und den dahinter liegenden Inhalten animiert.
Ein paar lose Fragen zum Start:
- Wie können die realen “Objekte” gefunden werden
- Welchen Spiele-Anreiz bieten die Bienen und welche Inhalte machen in AR Sinn, welcher Mehrnutzen kann generiert werden?
- Wie “nähere” ich mich den Inhalten
- Pokemon Go – Style
- Proximity, Touch Interaction, Tangibles …
- Etwas anderes?
Technologien
Microsoft Hololens und andere AR Brillen sind vermutlich die Zukunft. Jedoch auch mit ganz einfachen Mitteln, wie Smartphones lassen sich heute schon AR Anwendungen erstellen. Dabei setzen wir auf das bekannte Vuforia SDK das sich sehr intuitiv in die Unity Umgebung integriert. Dadurch können wir uns schnell auf Konzepte und Interaktionen konzentrieren. Trotzdem gibt es ein paar …
Voraussetzungen
Hardware
- Halbwegs photo/kamara-fähiges Telefon/Kamera
- Kartons, Buntstifte, Klebestifte, Papierrollen
- Android Telefon/Tablet (ein paar Geräte werden gestellt)
- separate USB Webcam (ein paar Geräte werden gestellt)
- wenn möglich Laptop mit dedizierter Grafikkarte
- Windows, Mac, Linux (alle Plattformen sind möglich – Software dann laut optionaler Varianten)
Software s. oben
Weiteres
Ein bisschen Mut mitbringen ist auch notwendig. Wir werden die ersten Konzepte auf der Wiese mit Rollenspielen erarbeiten: macht garantiert Laune!