SparX Holographic Storytelling, Lab #2

Der Sommer mag nicht enden und so konnten wir am 23.08. wieder bei wunderbarem Augustwetter unsere Gäste zum zweiten Workshoptermin des SparX Labs zum Thema Holographic Storytelling in den Räumen von Saint Elmo’s empfangen.

Auf dem Weg zu einer Demo oder einem Proof-of-Concept im November galt es in diesem Termin mit den Challenge-Gebern Museumsdorf Düppel, Golem Tanzprojekt und Constantin Television (per Telefonkonferenz), ein erstes Bild für eine skizzierte Umsetzung zu zeichnen und dabei die einzelnen Expertisen der Lab-Coaches zu koordinieren und zu bündeln.

Challenge 1: Holographic Entertainment im musealen Kontext

Nachdem wir im letzten Termin des SparX Labs mit Paul Spies von der Stiftung Stadtmuseum Berlin und Julia Heeb vom Museumsdorf Düppel als Challengegeber erste Ansätze einer holographischen Inszenierung diskutiert und Ideen gesammelt hatten, haben diesmal André Rittner von der K5 Factory, Lisa Sophie Frank von botspot und ich als Lab-Coaches die Gruppe geführt, um konkreter zu werden und in diesem Termin Szenarien zu identifizieren, die wir im Laufe des Labs als einen Proof-of-Concept für umsetzbar erachten.

Als Zielgruppe konnten wir nun Jugendliche Besucher des Museumsdorfes definieren. Eine holographische Inszenierung soll eher als Addendum verstanden werden und nichts an der Organisation oder den Abläufen vor Ort ersetzen. Insofern soll eine solche Inszenierung auch primär das Erlebnis vor Ort steigern und zum Beispiel nicht als reine Werbemaßnahme eingesetzt werden. Eine solche Experience soll helfen, Wissen vor Ort zu erlangen und so „etwas mitzunehmen“.

Hier zeigt sich in einem möglichen Proof-of-Concept auch, wie die einzelnen Lab Coaches mit ihren Expertisen gut zusammenarbeiten können: André konnte berichten, wie K5 Factory Interaktionen in AR-Anwendungen umsetzt und wie in einer holographischen Inszenierung beispielsweise Abläufe nachgespielt werden könnten. Der Gedanke war nämlich, einen holographischen Schmied auftreten zu lassen. Im nachzuspielendem Ansatz könnte man selbst den Hammer schwingen und virtuelle Pfeilspitzen herstellen. Lisa konnte berichten, wie botspot hier im Kontext 3D-Scan von Objekten in der Ausstattung einer holographischen Schmiede zur Verfügung stellen könnte.

Es bleibt spannend, denn im nächsten Termin wollen wir versuchen, einmal eine grundsätzliche Umsetzungsstrategie zu definieren und auch das Thema Machbarkeit zu skizzieren. Und eine mobile AR-Inszenierung, die einen Museumsbesucher holographisch in das frühe Mittelalter führt, hat man bis jetzt noch nicht gesehen.

Challenge 2: GOLEM – Wie kann ein Tanztheater mit VR ein größeres Publikum erreichen?

Das Tanzprojekt GOLEM setzt Virtual Reality ein, um Tanzdarstellungen ins Virtuelle zu übersetzen und so komplett neue Experiences zu kreieren. Die Kombination aus realer und virtueller Performance sehen die Initiatoren Thomas Lilge vom Gamelab Berlin und Carly Lave von der Stanford University als Möglichkeit, Geschichten auf eine völlig neue Art und Weise zu erzählen und die Wahrnehmung der Zuschauer zu verändern. Nach erfolgreicher Uraufführung konnten wir erste Eindrücke des letzten Events sehen und auch erfahren, was für Learnings Carly und Thomas seitdem machen konnten. Die beiden können wirklich stolz sein, zumal sie bereits weitere Partner akquirieren konnten und nun mit ihrer Performance eine größere Tour planen.

Da das Tanzerlebnis im Ganzen nur mithilfe von VR-Brillen möglich ist, liegt die Herausforderung für GOLEM darin, die Tanzperformances einem breiteren Publikum zugänglich zu machen. Außerdem sollen Zuschauer in die Lage versetzt werden, durch Interaktionen auf die Performance einzuwirken.

Die Session wurde in zwei Slots betreut. Einmal konnten André und ich mit Carly und Thomas brainstormen und im zweiten Slot Tanja Schmoller von der Gebrüder Beetz Filmproduktion.

Andrè konnte vor allem in Sachen einer erweiterten technischen Umsetzung und in vielen Punkten der Infrastrukturplanung beraten und aufzeigen, wie die Performance sich weiterentwickeln könnte. Seine Entwicklungen für BMW für eine interaktive und live-gerenderte Show zur Paris Motorshow setzt hier definitiv technologische Akzente und zeigt auf, wie sich der Gedanke für VR-Performances fortführen lassen könnte.

Warum eigentlich nur VR? Ich habe den Gedanken angestoßen, neben der Darstellung in VR auch über eine Ausspielung in AR nachzudenken. Der Verbreitungsgrad an mobilen Smartphones, die AR-fähig sind, liegt weit über dem von VR-Headsets. Wenn man die Performances auch in eine AR-Adaption portiert, steigert man seine Reichweiten enorm. Nutzt man zudem noch die sich grade als AR-Plattformen emanzipierenden Social Media Plattformen, so ist man auch gleich in der entsprechenden Community verankert und kann sämtliche Kommunikationstools der Plattformen nutzen. Die während den Performances erhobenen Datenpunkte lassen sich auch in AR-Applikation streamen und in 3D visualisieren.

Spannend wird sein, die demnächst kommenden Veröffentlichungen von iOS13 zu beobachten. ARKit3 bringt im Sinne von Body-Tracking bahnbrechende Neuigkeiten, die sich auch für eine Partizipation an virtuellen Performances rund um den Globus einsetzen lassen könnten.

Im Austausch mit Tanja sind folgende Lösungsansätze entstanden: Um die Reichweite zu erhöhen, könnte die Tanzperformance gestreamt werden. Die bereits vorhandenen Tanzaufnahmen mit AR könnten dazu verwendet werden, um Interessierten Anleitungen für Tanzchoreographien anzubieten – zum Beispiel auf einer Online-Plattform oder auch gesammelt in einer App. Das Material ließe sich zudem zu Marketingzwecken adaptieren und in Social Media einsetzen. In puncto Interaktion steht noch die Frage nach der technischen Umsetzbarkeit im Raum. Darauf wird im nächsten Workshop-Termin näher eingegangen.

Challenge 3: AR als Instrument für eine additive Inszenierung von Serieninhalten

Mit Robin von der Leyen konnten wir das Thema einer Kampagne zur Kommunikation einer Serie mit den Mitteln von AR diskutieren. Da wir mit AR und der Möglichkeit, Bilder erkennen zu können, ein extrem starkes Tool an der Hand haben, klassische Media-Kampagnen digital zu incentivieren, ist dies der Tenor unserer Gedanken für einen Proof-of-Concept gewesen.

Denn stelle man sich einmal folgendes Szenario vor: eine neue Serie wird eingeführt, überall in den Städten gibt es Plakate. Diese Plakate tragen neben schick gestalteter Serienkommunikation auch einen QR-Code, der gescannt werden kann. Er führt die Nutzer auf eine für Web-AR optimierte mobile Microsite, auf der man mit seiner Handycamera das Poster zum Leben erwecken kann. Plötzlich laufen bewegte Sequenzen, Previews, Trailer oder auch Sound-Elemente ab. Und das beste: man hat einen sehr eleganten Medienwechsel vollzogen. Vom Analogen ins Digitale. Mit allen Möglickeiten, die sich einem hier bieten.

Alternativ zu einer mobilen Web-AR Microsite kann man auch direkt in Social Media überführen und dort AR-Features inszenieren. Und genau hier sind wir in der Diskussion gelandet, als Proof-of-Concept soll ein Poster gestaltet werden, das eine Anmutung der geplanten Serie aufzeigt und welches scanbar sein wird. Auf dem Poster sollen dann Sequenzen aus der Serie ablaufen und evtl. noch weitere holographische Funktionen erlebbar sein. Konkretere Ebenen werden sich im nächsten Termin abzeichnen, wenn wir über Machbarkeit im großen Stil reden wollen.

„Berlin leuchtet“ war bei diesem Termin nicht dabei, hier sind wir aber in der Abstimmung für einen neuen Termin. Der nächste offizielle Termin für unser SparX Lab findet am 13.09.10 wieder bei Saint Elmo‘s statt.