Donnerstag 21.3. und Freitag 22.3.2019
Workshop »Immersive Medien (360°/VR/AR)«
Konzepte und Methoden für interaktive immersive Medien
In diesem Workshop lernt ihr Technologien und Anwendungen im Bereich 360°, Virtual Reality (VR) und Augmented Reality (AR) kennen und erstellt eigene immersive Umgebungen bzw. interaktive Anwendung. Programmierkenntnisse sind dafür nicht unbedingt notwendig!
Verstehen und Ausprobieren
Die beste Basis ist die eigene Erfahrung mit den versch. Formaten, Technologien und Produkten und das Gespräch darüber. Nach einer Einführung in die Konzepte, Formate und Technologien könnt Ihr Geräte und Anwendungen selbst ausprobieren:
- 360°-Fotos, -Videos und -Umgebungen mit Halterungen für Smartphones (Google Daydream)
- Virtual Reality (VR) mit
- Highend-VR-Brille (HTC Vive Pro )
- autarker VR-Brille (Lenovo Mirage Solo)
- Augmented Reality (AR) mit
- Smartphones/Tablets (Vuforia, Google ARCore)
- Highend AR-Brille (Microsoft Hololens)
Dieser Parcour entstand beim Workshop 2018
Praktische Aufgabenstellung
Damit alle mit unterschiedlichem Wissenstand und Interessen etwas erarbeiten können, bereiten wir unterschiedliche Plattformen vor:
- Einrichtung von virtuellen Räumen mit dem Baukastensystem der rooom AG (Jena)
- Erfassung von 360°-Fotos und Videos mit Samsung Gear 360 (Android, kostenlos), Schnitt mit Samsung Action Director (Windows, kostenlos) oder Adobe Premiere (Windows/Mac, Testversion)
- Erstellung von interaktiver 3D-Anwendung mit cospaces.io (Web, 30 Tage kostenlos), optional einsteigerfreundliche grafische Programmierung
- Erstellung komplexer VR- oder AR-Anwendungen mit der Unity Game-Engine (Windows/Mac, kostenlos), Programmierung mit C#
Je nach Interessenslage in der Gruppe erarbeitet ihr gemeinsam ein größeres Projekt oder mehrere kleine. Die Inhalte könnten kleine Experiences wie eine virtuelle Ausstellung, Lernspiele, Exit-Games o.ä. sein.
- Einbindung von 3D-Modellen aus Google Poly und Sketchfab
- Erstellung von 3D-Modellen mit Autodesk 3ds Max (Windows, für Stud. kostenlos) oder – direkt in VR – mit Google Blocks
- Erstellung von 360°-Anwendungen mit uptale.io (Web)
- Erstellung eines Animationsfilms direkt in VR mit Tvori
- Einrichtung und Nutzung der SocialVR-Plattform AltspaceVR (Android-Smartphone, Samsung GearVR, Google Daydream, HTC Vive, WIndows Mixed Reality)
Einige der o.g. Tools sind webbasiert und erfordern keine Installation. Bringt aber nach Möglichkeit schon am Anfang der Woche Eure Laptops mit, damit wir ggf. schon vorab Software installieren können.
Ablauf
Donnerstag
9:30 Begrüßung
9:40 Einführung
- Ablauf und Ziele
- Hintergründe, Begriffe
- Konzepte und Anwendungsgebiete
- Technologien und Produkte
10:15 Hands-On: Ausprobieren
11:00 Einführung in Produktionsmethoden, -werkzeuge und -formate
- Interaktives 3D-Web
- Raumgestaltung mit rooom-Baukastensystem
- 3D: cospaces.io
- WebVR mit Oculus Go
- Unity-VR mit HTC Vive
- Bedienoberfläche
- Level-Design
- VR-Integration und -Interaktion
- Logik-Programmierung
- Asset-Produktion
- Bild, Panoramen
- Video, 360°
- Online-Bibliotheken: Unity Asset-Store, Google Poly, Sketchfab
- 3D-Modellierung: Blender, 3ds Max, Google Blocks
- Sounds
12:30 Mittagspause
13:30 Ideensammlung und Aufteilung in 2-3 Gruppen
14:00 Beginn Projektarbeit
- Grobkonzept und Aufgabenteilung
- Beschaffung oder Erstellung von Testmedien: Grafiken, Videos, Modelle, ,…
- Grober Aufbau der Szene („Bühnenbild“)
- Interaktionsprogrammierung
16:30 Wrap-Up
- Besprechung der Konzepte und Tests
- weitere Planung (Zwischendokumentation)
Freitag
FÜR NEUE TEILNEHMENDE:
9:30 Einführung
10:00 Hands-On: Ausprobieren
10:30 Theoretische Einführung in Produktionsmethoden, -werkzeuge und -formate
- Interaktives 3D-Web mit cospaces.io
- Asset-Produktion
11:00 Einstieg in praktische Projektarbeit
- Ideenentwicklung und Aufgabenaufteilung
FÜR TEILNEHMENDE VOM VORTAG:
9:30 Projektarbeit
- Tagesplanung Feinkonzept
- Projekteinrichtung
- Medienproduktion
- Programmierung von Grundfunktionen
- Szenenaufbau
FÜR ALLE:
13:00 Mittagspause
14:00 Projektarbeit
- Weitere Integration
- Optimierung
- Ergänzung
16:30 Präsentation unter Workshopteilnehmern
- Dokumentation auf Website
- Screenshots und -mitschnitte
Prof. Rolf Kruse
Digitale Medien und Gestaltung, FH Erfurt
Hans Elstner
Vorstand rooom AG, Jena
Luzius Kölling
Aditya Madawana
Jonathan Müller
Angewandte Informatik, FH Erfurt
Lily Kruse
Wirtschaftspädagogk, Uni Leipzg
Vorbereitungen
Accounts anlegen
- Unity ID
- cospaces.io
- Accounts für rooom werden zu Beginn des Workshops angelegt
SOFTWARE INSTALLIEREN
- Unity Personal
- optional f. Modellierung: Blender 2.80-Beta
- Für rooom und cospaces ist nur eine aktueller Webbrowser (Chrome, Firefox) erforderlich
Einstieg in Cospaces Edu
CospacesEdu ist eine webbasierte Lehr- und Lerntechnologie, mit der Schülerinnen und Schüler intuitiv 3D-Krationen umsetzen können. Der Lehrer lädt dazu die Schülerinnen und Schüler in eine Klasse ein und kann dort mit ihnen ein Projekt bearbeiten. Die Projekte, sind in Szenen aufgeteilt, die man selbständig und unabhängig von einander gestalten kann.
Anleitung
- Registrierung bei der Website https://cospaces.io/edu/ als „Schüler“
- Mit dem Einladungscode, den man von uns bekommt, wird man nun der Klasse hinzugefügt
- Bevor man startet, kann man sich im „Free Play“-Modus durch die Tutorials klicken, um sich mit der Steuerung vertraut zu machen
- Nun kann man die von uns definierte Aufgabenstellung bearbeiten
- Durch Drag-and-Drop lassen sich 3D-Gegenstände aus der Bibliothek in seine Umgebung ziehen. Es lassen sich ohne die Seite zu verlassen viele weitere Modelle aus Google Poly importieren.
Entwicklung 2018
Hardware
- HTC Vive (2 Stück)
- Headset (Brille): Augabstand (IPD), Displayabstand
- Controller: Touchpad, Trigger, Menü
- Basisstationen (Lighthouses)
- PC mit leistungsfähiger Grafikkarte (Nvidia GTX 970)
- Laptop mit leistungsfähiger Grafikkarte (Nvidia GTX 1070)
SOFTWARE
- Unity3D
- SteamVR-Plugin
- VRTK https://vrtoolkit.readme.io
INTERAKTIONEN
- Umschauen (Kopfdrehung)
- Laufen (solange das Kabel und der Erfassungsbereich der Lighthouses reicht)
- Trigger, Portal: Auslösen von Aktionen beim Betreten
- mit (beiden) Controllern
- Darstellung wie physischer Controller oder als passendes Werkzeug (Zange, Taschenlampe,…)
- Berühren („Touch“)
- Zeigen („Pointer“)
- Springen („Teleport“)
- Greifen („Grab“): Objekt nehmen, drehen, werfen, auffangen, klettern, öffnen (Tür, Schublade, Kiste,..)
- Platzieren: frei oder an vorderfinierten Ort („Snap“), stapeln
- Aktivieren, Aktionen auslösen („Use“): Einfärben, Drehen, Austauschen, Form ändern
- Texthinweise am Controller zur Erläuterung der Interaktionsmöglichkeiten
- Bedienfelder: Schalter, Schiebe-/Drehregler, Hebel („Controls“)
- Unity-Beispiel-Szenen
Feedback
- Hervorheben („Highlighting“) von Objekten, Pfeile
- Text- oder Audiohinweise
- Vibrationen („Rumble“)
Szenenelemente, Medien
- Text
- Bild (JPG, PNG)
- Audio (MP3, OGG, WAV)
- Video (MP4 H.264)
- 360°-Foto (JPG, PNG, equirectangular 2:1, mono)
- 360°-Video (MP4 H.264 equirectangular 2:1, mono)
- Youtube VR
- Mettle: Beispiele zum Herunterladen
- 3D-Modelle (FBX, OBJ)
- Animationen
- intern mit Animation-Editor
- per Script
- importiert (FBX, BVH)
- Scripte, zur Definition von Verhalten
Intern
Storyworld (Intern)
- eine „Spring School“: Wiese/Parcour/Museum der Medien
- Interaktive Dokumentation der Seminare und Workshops
- Infos, Grafiken, Karte, Zeitstrahl, Symbole, Modelle, Berichte und Geschichten
- kleine Aufgaben: Rätsel, Zuordnungen, Zusammenbau
- Zielgruppe
Vorbereitung (Intern)
- Hololens
- Holograms, HoloCar,
- Daydream View, ASUS Zenfone
- Daydream, 360°-Video
- Tango, ARCore, AR-Sticker
- 3D-Scanning
- 2x Vive, Stative, Adapter, Kabelbinder, 1 Laptop, 1 PC, 1-2 Monitore, Stromkabel/Verteiler
- Job Simulator, Fantastic, Albedo
- Samsung Gear360, Kodak Pixpro
- 2 Stative
Teams (Intern)
- Text und Audio
- Video
- 3D-Objekte
- Umgebung
- Interaktion, Logik, Verhalten
- Szene, Integration
ORganisation (intern)
- Datenaustausch: Google Drive
- Kommunikation: Slack? Trello?
- Illustration, Grafik: Lucidchart