www.lapinamk.fi

Lisätty- ja virtuaalitodellisuus (AR/VR) tulevaisuuden tehtaissa

Antti Niemelä

www.lapinamk.fi

AR, VR, MR, XR …?

• XR eli Extended Reality, laajennettu todellisuus on kattotermi jonka alle eri tason virtuaalisuutta hyödyntävät todellisuudet sijoittuvat– Augmented Reality– Mixed Reality– Virtual Reality

www.lapinamk.fi

Lisätty todellisuus (AR)• AR:ssä yhdistyy todellinen maailma ja virtuaalinen maailma

– Erinäisin tekniikoin pyritään esim. saamaan virtuaalinen 3D-malli asettumaan todellisen esineen päälle => AR:stä tulee MR!

– AR:llä voidaan esim. esittää mittaustietoa käyttäjän näkökentässä hänen ollessa riittävän lähellä kohdetta

• Teknologisesti hyvin haastava ja lähestymistapoja useita– Haasteina mm:

• Paikannus (SLAM Simultaneous localization and mapping)• Kuvanmuodostus (rajallinen näkökenttä, näkyvyys kirkkaassa valossa jne.) • Elektroniikka (vaatii laitteistolta paljon suorituskykyä joka taas kuluttaa

nopeasti akkua ja tuottaa paljon lämpöä)• Kokoajan elävä laitepuoli (useita konkursseja, teknologian hylkäämistä ja

yrityskauppoja)• AR:ää voidaan toteuttaa useilla eri menetelmillä:

– AR visiirit (esim. DreamGlass, MagicLeap, Hololens) ns. suora AR– ARCore (Android) ja ARKit (Apple) – Puhelin ja tablettipohjaiset

kamerakuva-AR eli epäsuora AR

www.lapinamk.fi

Keinotodellisuus (VR)• Immersiivinen virtuaalimaailma jossa todellinen maailma

häivytetään kokonaan• Vaatii runsaasti suorituskykyä laitteistolta, mutta on kuitenkin

AR:ää helpompi toteuttaa• Useita eri ratkaisuja markkinoilla:

– HTC Vive– Oculus– Microsoft Mixed Reality– Google DayDream ja Cardboard– ns. stand-alone laitteet esim. HTC Vive Focus, Oculus Go

• Liikeseurantaan ja paikoittaimiseen useita eri menetelmiä– Inside-out tracking : VR visiirissä useita kameroita joilla yritetään

seurata käyttäjän pään liikettä vs todellisuus– Outside-in tracking : VR visiiri saa ulkomaailmaan sijoitetuilta majakoilta

signaalia jolla virtuaalimaailmaa voidaan paikoittaa

www.lapinamk.fi

Sekoitettu todellisuus (MR)

• AR:n ja VR:n sekoitus– Augmentoitu todellisuus johon tuodaan

virtuaalimalleja• Raja AR:n ja MR:n välillä varsin hämärä

– Esim. Microsoft Mixed Reality alusta on nimestä huolimatta puhdas VR-ratkaisu

• Sisältää kyllä – Hololens taas on mixed reality ratkaisu

• Usein kun puhutaan AR:stä, tarkoitetaan MR:ää

www.lapinamk.fi

MIXED

www.lapinamk.fi

AR, MR ja VR roolit tulevaisuuden tehtaassa?• Jaottelun voi tehdä karkeasti:

– AR ja MR –kenttätyöskentelyyn esim.:• Opastus oikealle kohteelle ja kohdeindikointi• Mittaustuloksien esittäminen kohdistettuna oikeisiin kohteisiin• Etäohjaus• Varoittaminen ja vaarallisten alueiden indikointi• Ohjeistusmateriaalin esittäminen

– VR – ”toimistolle” esim.: • Opetus• Toimenpiteiden harjoittelu ja pelillistäminen• Suunnittelu• Perehdyttäminen• Tutustuminen kohteisiin• Etävalvonta

www.lapinamk.fi

Haasteita teollisuuden näkökulmasta• Tarkat 3D mallit

– Esim. VR –ratkaisuihin tarvitaan tarkat mallit etenkin jos tarkoituksen on tuottaa opetukseen ja koulutukseen soveltuvia ratkaisuja

• Ylläpidettävyys– Miten olemassa olevia VR materiaaleja voidaan pitää ajan tasalla

muutoksien jälkeen?• Laitteiden soveltuvuus teolliseen ympäristöön

– AR-laitepuolella etenkin edelleen varsin niukasti teolliseen ympäristöön soveltuvia laiteratkaisuja

– Käytettävyys ja käyttömukavuus todellisessa työympäristössä• Tekniset haasteet laite- ja sovellustasolla

– Suorituskykyvaatimukset kovat kaikilla tekniikoilla– Teknisten ratkaisujen omat haasteet

• Akunkesto• Näkyvyys kirkkaassa valossa• Läpinäkyvyys normaalitilassa

– Stand-alone laite vai esim. älypuhelimeen kytketty?• Stand-alone laite: Ylläpidettävyys, valmistajan ”ylläpitointo”• Kytketty laite: Yhteensopivuus älypuhelimen kanssa tulevaisuudessa?

www.lapinamk.fi

O&M - Towards the Factory of the Future• Hankkeessa selvitetään uusien teknologioiden

soveltuvuutta tulevaisuuden tehtaan kunnossapidon ja käytön tarpeisiin– Keskittynyt tällä hetkellä vahvasti visualisointitekniikoihin eli

AR ja VR– Tarkoituksena kartoittaa myös IoT –kenttää

• Hankkeen kesto 24kk, alkanut 2017 lopulla• Rahoituspalvelu: Elinkeinoelämän kanssa verkottunut

tutkimus, Business Finland, Budjetti: 336 000ۥ Hankkeessa mukana: SMA Mineral Oy, Stora Enso Oyj,

SSAB Europe Oy, Widian Oy, Nome Oy, 3D Studio Blomberg Oy, 4Maint Oy

www.lapinamk.fi

Laitteisto

• Projektissa käytössä: – DreamWorldin valmistama DreamGlass AR/MR-

visiiri– Human-Eyesin valmistama Vuze+ 360 3D kamera

DreamGlassAR Visiiri

Samsung S9 (Android –LineageOS 15.1)

USB-C DreamGlassadapteri

Vuze+ 360° 3D -kamera

www.lapinamk.fi

StoraEnso/Efora case• Kohteena pakkaamon päätylaputusrobotit

(Yaskawa/Motoman)– AR –ratkaisu visiirille– Virhetietojen ja logien siirto AR –laitteelle– Etäopastus –toiminto

• Etäoppaalla mahdollista nähdä etänä videokuvastriimiä, lähettää tekstiä, ääntä ja annotaatioita

– Toimenpideohjeistus törmäystilanteisiin• VR ratkaisu suunnitteilla myös opetus ja

koulutustilanteisiin esim. servon vaihto robottiin– Toteutetaan mikäli aika projektissa riittää

• Widian toimittaa Knowledge Basen jota hyödynnetään ohjeistuksen taustajärjestelmänä

www.lapinamk.fi

StoraEnso/Efora case• Ohjeistusnäkymä (alkuperäinen hahmotelma)

– Käyttäjä voi edetä ohjeen vaiheissa eteen tai taakse– Vasemmalla esitetään ohjeen vaiheet mahdollisine kuvaoppaineen

www.lapinamk.fi

StoraEnso/Efora case• Etäopastusnäkymä

– Etäopas käyttää omaa käyttöliittymää opastustoimiin, mahdollistaa tekstin ja kuvien lähettämisen ja myös ääniopastuksen

– Käyttäjä voi kommunikoida takaisin yksinkertaisin vastauksin (puhe ei välttämättä aina onnistu meluisissa alueissa)

www.lapinamk.fi

SSAB case• Kohteena koksaamon pumppaamon

kiertovesipumppu– Kohde on luokiteltu kriittiseksi, liian pitkä seisakki

aiheuttaa koksaamon tuhoutumisen– Kohde kolmennettu

• Kohteeseen asennettu Nomen nmas Easy– 4 värähtelymittauskanavaa ja takometri ja oma

yhteys Internetiin– Mittaustiheys tällä hetkellä 3 sekuntia– Mittaustiedot integroidaan osaksi AR-ratkaisua– Valmiit yhteensopivat rajapinnat (mm. REST ja

MQTT)• Tarkoituksena esittää huoltotietoja,

mittaustietoja yms. Pumpuilta VR ja AR näkymissä

www.lapinamk.fi

SSAB case• ”Normaalinäkymä” josta käyttäjä valitsee käsiliikkeellä tai viemällä katseen ”AVAA

KOHDE” tekstin päälle• Kohteiden ympärille piirretään indikaattori jossa lukee kohteen nimi ja

toimintopaikka

www.lapinamk.fi

SSAB case• Mittausnäkymä AR-visiirin läpi

– Yksi mittauskohde avattu• Käydään kuvaamassa kohteet myöhemmin myös MatterPortilla -> VR ratkaisu johon liitetään myös

mittausdataa etävalvontaa varten

www.lapinamk.fi

SMA case• Kohteena häkäkaasun paineenkorotusasema

– Mixed reality lähestyminen• Mahdollisesti silmikko, mutta voidaan käyttää myös esim.

Puhelinta tai VR-visiiriä– Tila on määritelty vaaralliseksi– Tarkoituksena hyödyntää jo olemassa olevia,

Sampsan ottamia 360 kuvia sekä integroida mittausdata näyttöön

• Tarvittaessa kuvia täydennetään lisäkuvin• Sampsa tehnyt krpanolla virtuaalikierrokset

– Kuvataan kohteet myöhemmin myös MatterPortkameralla

• Voidaan hyödyntää VR ympäristössä• Widian mukana toteuttamassa mittaustiedon

keruuta ja siirtoa– Hyödynnetään Widianin IoT alustaa

www.lapinamk.fi

MatterPort SMA-casessa• 3D huoneskannaukseen alun perin

suunniteltu laite joka muuntaa 360 kuvat teksturoiduiksi pistepilviksi– Tiloja voidaan katsella esim. selaimella tai VR-

silmikolla Matterport pilvipalvelussa– 3D mallit mahdollista saada ulos pilvipalvelusta– Yhteensopiva WebVR:n kanssa

• Esim.– https://matterport.com/3d-space/chapelcross-

turbine-hall-operating-level/– https://my.matterport.com/show/?m=Q3JVdj9M8vz

&play=1&utm_source=3

www.lapinamk.fi

VR demo MANTIS

• MANTIS -hankkeesta videohttps://www.youtube.com/watch?v=sHiVEi1BZ0o

• The MANTIS BookCyber Physical System Based Proactive Collaborative Maintenance- Ilmainen kirja ladattavissa osoitteestahttps://www.riverpublishers.com/research_details.php?book_id=573

www.lapinamk.fi

www.lapinamk.fi