Fallbeskrivningar – immersiva upplevelser
Här nedan listas ett antal exempelupplevelser från olika platser i världen, som visar på bredden av användningsområden, utformning och tematik för immersiva upplevelser.
Samtliga fallstudier har genomförts av forskare, interaktionsdesigners och utvecklare på RISE Prototyping Societies, på uppdrag av Riksantikvarieämbetet för att undersöka ”State of the Art” inom immersiva upplevelser.
AR/VR för att gestalta en historisk plats
Titel på upplevelsen: Anne Frank House VR
Typ av medium: VR
Grad av interaktivitet: Interaktiv upplevelse
Förflyttning i upplevelsen: Fysisk rörelse
Tillgänglighet på distans: Finns tillgänglig online
Värdinstitution: Anne Frank House/Force Field (finns som gratis nedladdning)
Skapare: Force Field
Signifikans: Historiskt plats knuten till historisk händelse som är tillgängliggjord för distansbesök via VR, men även testat vid ett tillfälle som MR-installation då utvecklarna mappade VR-upplevelsen mot den faktiska platsen.
Kort beskrivning: Det prisbelönta Anne Frank House VR erbjuder en unik och emotionell inblick i de två år då Anne Frank gömde sig undan nazisterna. Som besökare kan du uppleva det världsberömda “Secret Annex” på ett aldrig tidigare sett sätt. Du får resa tillbaka till åren under andra världskriget och vandra genom rummen i Anne Franks gömställe som även inkvarterade en grupp av åtta andra judiska människor som gömde sig för nazisterna. Besökaren får fördjupa sig i Annes tankar när den går igenom varje i VR troget återskapat rum och ta reda på vad som hände med annexets modiga invånare.
Tekniska beståndsdelar/beskrivning: Oculus-systemet (Quest och Rift)
Länkar och media:
https://www.oculus.com/experiences/quest/1958100334295482
https://annefrankhousevr.com/
https://youtu.be/f093i1q71TQ
https://forcefieldvr.com/project/anne-frank
AR/VR för att gestalta en historisk händelse
Titel på upplevelsen: Virtual Martin Luther King VR Experience
Typ av medium: VR
Grad av interaktivitet: Passiv upplevelse
Förflyttning i upplevelsen: Endast panorering (besökaren kan välja plats i början av upplevelsen)
Tillgänglighet på distans: Online (distans)
Värdinstitution: Virtual Martin Luther King VR Experience
Skapare: NC State University/Shadrick Addy
Signifikans: Historisk event återskapat, gestaltat och levandegjort genom VR
Kort beskrivning: Samarbete mellan Shadrick Addy och forskare vid N.C. State College of Humanities and Social Sciences för att utveckla ett återskapande av Martin Luther Kings tal ”Fill Up the Jails”. Dr. King höll det historiska talet bara några dagar efter Greensborodemonstrationerna 1960. I början av projektet arbetade Shadrick med en performance-skådespelare för att fånga rörelsesdata som simulerar Dr. King. Därefter uppdaterade Shadrick Kings virtuella avatar med denna rörelsesdata och anpassade animationer för att skapa en levande gestaltning.
Tekniska beståndsdelar/beskrivning: Motion capture av levande skådespelare. Avatar skapad i Autodesk Maya. VR-upplevelse skapad i Unity.
Länkar och media:
http://www.shadrickaddy.com/vmlkvr.html
https://vmlk.chass.ncsu.edu/
https://vmlk.chass.ncsu.edu/experience/virtual-reality/vr-from-the-balcony/
AR/VR för att gestalta och återuppleva en historisk händelse och plats
Titel på upplevelsen: I Am A Man
Typ av medium: VR
Grad av interaktivitet: Interaktiv upplevelse
Förflyttning i upplevelsen: Fysisk rörelse
Tillgänglighet på distans: Tillgänglig för nedladdning (freeware)
Värdinstitution: North Carolina State University
Skapare: Derek Ham, PhD – oberoende VR-skapare som också föreläser i grafisk design vid North Carolina State College of Design
Signifikans: Förstapersonsupplevelse av en känslomässigt laddad historisk händelse
Kort beskrivning: ”I Am A Man” är en interaktiv VR-upplevelse som är inriktad på de historiska händelserna i den afroamerikanska medborgarrättighetsrörelsen. Användaren får med ett Oculus Rift VR-headset bevittna Memphis Sanitation Worker’s Strike som utspelade sig 1968, och händelserna som ledde fram till mordet på Dr. Martin Luther King Jr. Syftet med upplevelsen är att ge människor en upplevelse av en historisk händelse på ett sätt som ger en mer personlig förståelse för dessa marginaliserade människors kamp. VR-upplevelsen gör att man bokstavligen kan gå i skorna tillhörande människor som kämpade för frihet och jämlikhet under medborgarrättsrörelsen. Den interaktiva upplevelsen kompletteras med historiska filmer och fotografier, tillsammans med röstberättelser från faktiska deltagare i medborgarrättsrörelsen.
Tekniska beståndsdelar/beskrivning: Utvecklad för Oculus-systemet
Länkar och media:
http://iamamanvr.logicgrip.com/
https://www.youtube.com/watch?v=Ko9Igz20_LQ
AR/VR för att guida besökaren
Titel på upplevelsen: Pope House MR-experience
Typ av medium: AR/MR
Grad av interaktivitet: Interaktiv upplevelse
Förflyttning i upplevelsen: Fysisk rörelse
Tillgänglighet på distans: På plats i museum
Värdinstitution: NC State University/Shadrick Addy
Skapare: Shadrick Addy
Signifikans: Historisk familjeboning gjord mera levande med hjälp av AR-teknologi (inkluderar interaktion med artefakter, avatarer av familjemedlemmarna, etc.) Rapporten talar om hur en kan hjälpa till att brygga besökarnas egen upplevelse och låta dem ha sin egen tolkning, istället för att endast låta den kurerande institutionen styra hela upplevelsen (sidan 12 i rapport, se länk).
Kort beskrivning: Med utgångspunkt i användarcentrerade designmetoder utvecklade och testade Shadrick Addy en AR-baserad mobilapplikation knuten till Pope House Museum i Raleigh, NC. Resultatet av denna forskning antyder att husmuseets besökare kände att de hade en större möjlighet att styra sina besök och att välja genom vilket/vems perspektiv de upplevde de olika historiska berättelserna som finns i hemmet.
Tekniska beståndsdelar/beskrivning: 3D-scanning, skapande av 3D-modeller av utvalda artefakter i huset och sedan en integrering av dem i en AR-miljö i huset genom användning av Unity och Vuforia.
Länkar och media
https://college.design.ncsu.edu/thenfinally/pdf/Addy-Final-Project.pdf
AR/VR i mer artistiskt fria utställningar
Titel på upplevelsen: The Memor
Medium: VR
Grad av interaktivitet: Interaktiv upplevelse
Förflyttning i upplevelsen: Rörelse
Tillgänglighet på distans: Konstinstallation bunden till visningsplatsen
Värdinstitution: Göteborgs Konsthall
Skapare: Lundahl & Seitl, samt ScanLAB Projects
Signifikans: Upplevelsen använder sig av flera sinnen som lukt och känsel men också av handledaren som blir en del av berättelsen. Berättar om en fiktiv plats/historia.
Kort beskrivning: Berättelsen är en aktiv och koreograferad berättelse i VR som innehåller interaktiva moment med skulpturer/objekt. Berättelsen har ett bestämt rörelsemönster i rummet som en handledare hjälper besökaren att ta sig igenom då den guidar besökaren genom ev htc puck som i vr världen gestaltas som ett ljus. Berättelser förflyttar dig till filosofiska tankar och platser genom interaktionen och förflyttningen mellan platser, objekt, personer och lukter. Upplevelsen använder sig av flera sinnen som lukt och känsel men också av handledaren som blir en del av berättelsen.
Tekniska beståndsdelar/beskrivning: HTC-systemet, handledare, interagerbara skulpturer, lukter.
Deltagarens interaktion i upplevelsen möjliggörs av handledaren och en HTC-puck.
Länkar och media:
https://konsthallen.goteborg.se/program/vernissage-the-memor/
https://konsthallen.goteborg.se/utstallningar/the-memor-lundahl-seitl-och-scanlab-projects/
https://vimeo.com/331968775
https://vimeo.com/331988008
AR/VR Visualisering av platsbundet, dolt kulturarv
Titel på upplevelsen: Enter Mölndal
Medium: AR
Grad av interaktivitet: Interaktiv
Förflyttning i upplevelsen: Rörelse
Tillgänglighet på distans: Installation bunden till visningsplatsen
Värdinstitution: Mölndals Stadsmuseum
Skapare: Jacob Michelsen, RISE Interactive samt konstnären Marika Hedemyr
Signifikans: Upplevelsen använder AR-teknologi för att levandegöra olika former av dolt kulturarv, i detta fallet industrihistoria och arkeologiska fynd
Kort beskrivning: Upplevelsen är bunden till och utspelar sig vid två platser i Mölndal, i Kvarnbyn och vid Tylebosjön. Vid Kvarnbyn så får besökaren uppleva platsen genom att ta del av historier från olika tider, och dessa visualiseras genom AR-gränssnittet. Vid Tulebosjön gjordes år 1998 en arkeologisk utgrävning där resterna av en bosättning från bronsåldern upptäcktes. Dessa utgrävningar är avslutade och inte längre synliga, men genom en AR-app så får besökaren göra en vandring genom tiden, lära sig om historien, stiga in i virtuella rum och uppleva hur platsen kan ha sett ut på bronsåldern.
Tekniska beståndsdelar/beskrivning: Upplevelsen och vandringen sker genom webbläsaren i telefonen, eller via en app för iPhone i fallet med Kvarnbyn. För upplevelsen vid Tulebosjön så finns en app både för iPhone och Android.
Länkar och media: https://entermolndal.se/
Exempel på domeföreställning
Titel: Mars 1001
Typ: Domeföreställning
Skapare: Mirage 3D
Beskrivning: I den här domeföreställningen får vi följa rymdreporter Miles O’Brien som guidar dig genom det första mänskliga uppdraget till Mars. Det är ett vågat 1000-dagarsuppdrag för att flyga en internationell besättning till den röda planeten och sedan få dem säkert hem till Jorden. Dem stöter på många olika utmaningar som de måste lösa på vägen. Filmen visar på ett starkt sätt hur det känns att åka ut i rymden och till Mars. Fått utmärkelse 2019 för bästa domeföreställning: ”Best Fulldome Cinematography Award” vid Reflections of the Universe International Fulldome Festival i Yaroslavl, Ryssland, och även utmärkelsen ”Best Scientific Communication Award” vid Beijing International Film Festival Science & Technology center.
Länkar och media: http://mirage3d.nl/portfolio/mars1001/
Exempel på projektionsmappning, för att levandegöra objekt
Titel: A Projection-Based Augmented Reality Setupfor Blended Museum Experiences
Typ: Projektormapping
Värdinstitution: Universität Hamburg, Human-Computer Interaction, Germany
Skapare: S. Schmidt1and F. Steinicke1
Beskrivning: De flesta traditionella museer förlitar sig fortfarande på fysiska artefakter eftersom deras äkthet och unikhet främjar ett känslomässigt engagemang med själva föremålen och berättelserna de ska berätta för besökaren. I alla fall gör utställningens sammanhang det svårt att levande presentera information som är nära besläktad med artefaktens ursprung. I den här artikeln föreslår dem en 3D-projektionsbaserad augmented reality-installation, som håller fokus på en fysisk utställning och samtidigt tillåter besökare att sömlöst byta till virtuella representationer av utställningens ursprungliga utseende och sammanhang.
Teknisk beskrivning: CAVE är utrustad med fyra optomaprojektorer som är monterade på taket. För att minska skuggorna till ett minimum placeras väggprojektorerna på ett avstånd från 0,8min framför väggarna. Ett markörbaserat ARTTRACK2-system av A.R.T. användes för installationen, nyligen släppta konsumenthårdvaror eftersom HTC Vive tracker skulle vara ett annat prisvärt alternativ.
Länkar och media: https://dl.acm.org/citation.cfm?id=3298876
Exempel på hologram
Titel: Hologram Box
Typ: Holografi
Värdinstitution: Resande utställning
Skapare: Jimmy Herdberg och Rickard Lindqvist
Beskrivning: “Hologram Box” är en rumslig digital skyltningsinstallation som visar en tredimensionell klädkatalog där varje plagg kan roteras i 360°. 2018 mottog gruppen bakom produkten utmärkelsen “Swedish Design Award” inom kategorin “Mode” av föreningen Svensk Form. “Hologram Box” har visats på bland annat Form/Design Center i Malmö, samt på mode-, konst- och teknik-marknaden FAT Market, i samband med nyligen genomförda marina festivalen “Volvo Ocean Race” i Göteborg, där även dessa bilder togs.
Teknisk beskrivning: Klädplagget ser ut att hänga i luften, det har en hologram-liknande effekt. Hur går det till? Genom att låta 3D-bilden reflektera mot en transparent akrylatskiva klädd med reflekterande plastfilm. Installationen använder en “front-reflektion” vilket innebär att den snedställda akrylatskivans plastfilm reflekterar bilden från en LED-bredbildsskärm i porträttformat, som i sin tur här ligger infälld plant nedanför den reflekterande ytan, det syns alltså inte om man står framför montern. Det finns även en kontroll som gör det möjligt att snurra på plaggen och bläddra mellan dem.
Länkar och media: http://blogg.museiteknik.com/2018/07/06/hologram-effekt-med-bildskarm/
Exempel på interaktiv projektion
Titel: Social immersive media: Pursuing best practices for multi-user interactive camera/projector exhibits
Typ: Interaktiva kamera/projektor system för kulturella utställningar.
Skapare: Sona Research, Nokia Research Center, Tangible Media Group MIT Media Lab
Beskrivning: De designprinciper som beskrivs i denna artikel fungerar som en serie bästa metoder för att skapa mycket effektiva och engagerande augmented reality-upplevelser som inte bara främjar individuellt utan socialt engagemang. Deras filosofi, strategi och designprinciper formaliserar ett språk för storskaliga fleranvändar utställningar som andra designers kan bygga vidare på.
Teknisk beskrivning: Här används helkroppsinteraktion med hjälp av osynliga sensorer istället för fysisk teknologi. På så sätt hålls användaren mer uppslukad.
Länkar och media: https://dl.acm.org/citation.cfm?id=1518920
Projektioner och andra sinnen
Titel: Worlds Unleashed and then Connecting
Typ: Interaktiv projektion + sinnet smak
Värdinstitution: Maison&Objet
Skapare: TeamLab, 2015, Interactive Digital Installation, Endless, Ljuddesign: Hideaki Takahashi
Beskrivning: Här kan du uppleva en interaktiv utställning där sinnet smak också får ta plats. När en maträtt placeras på bordet släpps en värld inne i matskålen ut och vecklas ut på bordet och in i det omgivande utrymmet. Världarna från varje maträtt ansluter i den yttre rymden och skapar en ny större värld. Världarna som släpps ut påverkas av de andra maträtterna på bordet. Till exempel kan en fågel som frigörs från en skål sätta sig på grenen av ett träd som lossnar från en annan. Träden som växer från varje maträtt är inte identiska; deras storlekar och former påverkas av världarna som släpps ut av de andra tallrikarna på bordet. Dessa världar påverkas också av ditt beteende. Om du står still kan en liten fågel landa på din hand; om du rör dig plötsligt kan den flyga bort. Världarna som lossnar från tallrikarna på bordet påverkar varandra, reagerar på besökarnas handlingar och kombineras för att skapa en enda kontinuerlig värld. Världen förändras ständigt.
Teknisk beskrivning: Vad som är på bordet observeras av artificiell intelligens. Därför kan tallrikarna arrangeras av besökarna hur de vill.
Kommentar: Desto fler sinnen som är inkluderade i upplevelsen desto mer immersiv blir den. Här har de inkluderat smak, hörsel, syn, känsel och troligen doft från maten.
Link:
https://www.youtube.com/watch?v=yedUSLs0PqY
https://borderless.teamlab.art/