Post on 09-Aug-2015
Mirko CompagnoAugmented reality architect e UX designer
http://about.me/MirkoCompagno
m.compagno@theround.it
AUGMENTED REALITY
19 marzo 2015
REMEDIA Italia(c/o ESRIN - ESA Centre for Earth Observation)
Cos’è realtà aumentata?
da Philip Kindred Dick nel 1969 dal
titolo: “La Formica Elettrica”.
Il protagonista di questo piccolo racconto di Dick è Garson Poole un
androide che decide di mettere alla prova la realtà percepita
manomettendo il suo sistema percettivo composto da un nastro
perforato all’interno del suo addome. Praticando nuovi fori sul
nastro della sua realtà comparivano nuovi oggetti, nuovi colori e
nuovi suoni.
La realtà aumentata fa esattamente la stessa
cosa, essa arricchisce la percezione sensoriale
umana attraverso informazioni manipolate
elettronicamente.
Mirko Compagno – THE ROUND AUGMENTED REALITY
La realtà aumentata (AR, dall'inglese Augmented
Reality) è una branca della computer graphics che
studia e sviluppa sistemi in grado di combinare
immagini provenienti dal mondo reale con
informazioni e oggetti generati da computer.
L’utente di un’applicazione di AR, utilizzando
opportune apparecchiature, è nella condizione
di vivere un’esperienza sensoriale arricchita di
informazioni ed elementi virtuali, a volte anche
interagendo con loro.
Cos’è realtà aumentata?
Mirko Compagno – THE ROUND AUGMENTED REALITY
Il termine augmented reality venne coniato nel 1990 da due ricercatori dei laboratori
della Boeing, Tom Caudell e David Minzell. I due scienziati, al lavoro su un prototipo che
rimpiazzasse gli strumenti di bordo di un aereo, svilupparono un congegno indossabile sul
viso dei piloti in grado di visualizzare velocemente la rotta e tutte le informazioni
correlate ai decolli e agli atterraggi. La realtà così visualizzata venne ribattezzata “Realtà
aumentata”, perché al mondo reale venivano aggiunte informazioni di altro tipo.
Cos’è realtà aumentata?
Il termine augmented reality
Mirko Compagno – THE ROUND AUGMENTED REALITY
2. La realtà aumentata, invece, offre alla persona la
sensazione di essere presente all’interno della realtà fisica
percepita attraverso i cinque sensi anche se quest’ultima è
arricchita di informazioni aggiuntive o manipolata da
queste.
Differenza tra realtà aumentata
e realtà virtuale
Spesso la realtà aumentata viene confusa con
la realtà virtuale in realtà la differenza tra le
due è sostanziale:
1. Nella realtà virtuale le informazioni che arricchiscono
la realtà lo fanno in maniera preponderante al punto che
la persona è interamente immersa all’interno di una
realtà finta creata attraverso l’uso del computer.
Mirko Compagno – THE ROUND AUGMENTED REALITY
Breve storia della AR
1960 – 80: primi esperimenti1980 – 90: ricerche di baseTracking, displays
1995 – 2005: tool e applicazioniInteraction, usability, theory
2005 - : applicazioni commercialiGames, Medical, Industry
Step storici della AR
La realtà aumentata oggi
La realtà aumentata oggi
Tecnologie disponibili- Tracking più affidabile (Computer Vision, GPS/sensors)- Migliori Display (Handheld, HMDs)- Migliori «Input Devices» (Kinect, leap motion, smart glass…)- Developer tools (metaio, qualcomm, wikitude…)
Mercato in forte crescita- Gaming, GPS/Mobile, Online Advertisement• >$5 Billion USD by 2016 (Markets andMarkets)• >$1.5 Billion USD in Mobile AR by 2014 (Juniper Research)
Mirko Compagno – THE ROUND AUGMENTED REALITY
1. Serve uno smartphone/tablet con una fotocamera per catturare la realtà;
2. un collegamento Internet per ricevere il livello informativo;
3. l software sullo smartphone/tablet che consente la sovrapposizione dei
dati.
4. l sistema GPS e la bussola interna permettono di sapere in quale direzione
siamo rivolti.
Cosa serve per attivare la Realtà Aumentata
con lo smartphone/tablet
Mirko Compagno – THE ROUND AUGMENTED REALITY
Location-based - Image Recognition (Mobile Augmented Reality)
Mirko Compagno – THE ROUND AUGMENTED REALITY
Un nuovo oggetto comuncativo
La realtà aumentata è solo l’evoluzione della tecnologia o, forse, rappresenta qualcosa del tutto nuovo nell’ambito comunicativo?
La Realtà aumentata è solo tecnologia?
Mirko Compagno – THE ROUND AUGMENTED REALITY
Consideriamo il "testo scritto" come il principale medium, ovvero il canale attraverso il quale l’informazione è trasmessa, veicolo portante della comunicazione.
Il “testo scritto” esprime non solo il contenuto della comunicazione, ma ne organizza interamente la forma (divisione in capitoli, paragrafi, punteggiatura…).
Se volessimo arricchire il libro con delle immagini avremo un libro illustrato.
Le immagini sono aggiunte al testo scritto , possono essere sostituite con altre più efficaci, p. es., ed hanno comunque una funzione secondaria e di sussidio.
Un nuovo oggetto comuncativo
La Realtà aumentata è solo tecnologia?
Mirko Compagno – THE ROUND AUGMENTED REALITY
Se la narrazione di una storia avviene tramite il cinema, questa è costruita e diffusa nel linguaggio proprio e specifico di questo medium.
Sequenze, tagli, montaggio, il colore, il suono, organizzano la narrazione secondo specifiche esigenze. E in questo caso sia il linguaggio verbale che scritto sono interamente dipendenti dalle regole dettate da questa diversa forma di comunicazione.
Un nuovo oggetto comuncativo
La Realtà aumentata è solo tecnologia?
Mirko Compagno – THE ROUND AUGMENTED REALITY
Dagli esempi precedenti si rilevano due caratteristiche correlate e tipiche di questi usi "misti" di media:
(a) autonomia, ciascun medium impone il suo specifico linguaggio costruttivo eorganizzativo e lo conserva rigidamente;
(b) prevalenza, un medium domina sugli altri medium e ne organizza la struttura della comunicazione, mentre gli altri hanno più che altro una funzione accessoria.
Queste caratteristiche possiamo rilevarle anche nell’uso che facciamo della realtà aumentata ?
Un nuovo oggetto comuncativo
La Realtà aumentata è solo tecnologia?
Mirko Compagno – THE ROUND AUGMENTED REALITY
Rivediamo sinteticamente la definizione di realtà aumentata facendone un confronto con la realtà virtuale
1. La AR aumenta la scena del mondo reale in modo che l‟utente mantenga comunque un senso di presenza in tale mondo;
2. La VR mira a “sostituire” il mondo reale ;3. La AR mira ad arricchire la realtà di informazioni utili per l‟espletamento di
compiti complessi;4. Il feedback visivo in VR è completamente sotto il controllo del sistema
digitale. 5. In AR il feedback è misto.
Per questo motivo AR ha esigenze assenti in VR, quali l ‘acquisizione di immagini reali e la fusione con quelle digitali.
Un nuovo oggetto comuncativo
La Realtà aumentata è solo tecnologia?
Mirko Compagno – THE ROUND AUGMENTED REALITY
Un nuovo oggetto comuncativo
La Realtà aumentata è solo tecnologia?
L’ obiettivo che ci si pone nella realizzazione di un sistema di realtà aumentata, è la creazione di un oggetto comunicativo in cui non si noti la differenza tra il mondo reale e l’ arricchimento virtuale.
L’ibrido che si viene così a creare è un nuovo oggetto comunicativo che agisce sul mondo reinterpretando la realtà e portandola ad uno stato di continua mutazione.
Relazione tra mondo digitale e mondo fisico
La stampa appartiene al mondo fisico
Il web, i new media appartengono al mondo digitale.
Nella sovrapposizione di questi 2 mondi si trova l’AR
Mirko Compagno – THE ROUND AUGMENTED REALITY
Campi d’applixazione della Realtà Aumentata
Servizi turistici
Mirko Compagno – THE ROUND AUGMENTED REALITY
In campo medico la AR
è stata adottata per
migliorare l’affidabilità
degli interventi
chirurgici.
Campi d’applixazione della Realtà Aumentata
Mirko Compagno – THE ROUND AUGMENTED REALITY
The Commonwealth Bank of Australia
Campi d’applixazione della Realtà Aumentata
Mirko Compagno – THE ROUND AUGMENTED REALITY
Il futuro prossimo ci indica l’utilizzo di Wearable Devices che ci permettono di
avere informazioni fortemente contestualizzate.
Il futuro prossimo
Mirko Compagno – THE ROUND AUGMENTED REALITY
Case Studies
Case Studies
INSTALLAZIONI SONORE E REALTÀ AUMENTATA PER LA COLLETTIVA “MURI E DIVISIONI”. MACERATA OPERA FESTIVAL 2013
Celebrare il bicentenario della nascita di Giuseppe Verdi, attraverso Nabucco e Il Trovatore. Giuseppe Verdi in realtà aumentata è un’esperienza multisensoriale di fruizione delle opere artistiche esposte. Si tratta di installazioni sonore su sette quadri esposti.
Mirko Compagno – THE ROUND AUGMENTED REALITY
Realizzare un ambiente AR per mobile o desktop?
Progettazione
Progettazione
Mirko Compagno – THE ROUND AUGMENTED REALITY
Progettazione
Progettazione
Il nostro obiettivo è la realizzazione di una «Mobile Augmented Reality» app.
Come procedere?
Mirko Compagno – THE ROUND AUGMENTED REALITY
Augmented Reality Application Development Tools
Developer Tools
Mirko Compagno – THE ROUND AUGMENTED REALITY
Augmented reality browser
Augmented reality browser
web browser Ar browser
Mirko Compagno – THE ROUND AUGMENTED REALITY
Differenze tra i diversi ar browser
Differenze tra i diversi ar browser
Mirko Compagno – THE ROUND AUGMENTED REALITY
Definire il contesto1
2. Definire:a) obiettivo informativo;b) obiettivo comunicativo.
OBIETTIVO COMUNICATIVO:La grafica di questa pagina si riduce al logo di realtà aumentata, poichè quest’ ultima è di introduzione e vuole solamente spiegare all’ utente il funzionamento della rivista.
OBIETTIVO INFORMATIVO:I collegamenti multimediali che si trovano all’ interno dell’introduzione, danno la possibilità all’utente di accedere a un sito web, nel quale viene spiegato dettagliatamente cos’ è la realtà aumentata, e in che ambiti viene utilizzata.In più l’ utente potrà accedere a una piccola animazione del logo.
Progettazione
Progettazione
Mirko Compagno – THE ROUND AUGMENTED REALITY
3. Design logico funzionale dell’ambiente AR
4. Lo storyboard
Progettazione
Progettazione
Mirko Compagno – THE ROUND AUGMENTED REALITY
5. Definire le Trigger images
Progettazione
Progettazione
Mirko Compagno – THE ROUND AUGMENTED REALITY
6. Buone e cattive Trigger images
Progettazione
Progettazione
Mirko Compagno – THE ROUND AUGMENTED REALITY
7. Definizione dei layers (video, immagini, scene 3D, pagine web)
Specifiche dei “Video layer”: MP4 (h.264 ), FLV (video trasparenti)
Specifiche delle “scene 3D”:
Specifiche delle “Immagini layer”: jpg, png (per i buttons)
Specifiche delle “pagine web”: html
Progettazione
Progettazione
Mirko Compagno – THE ROUND AUGMENTED REALITY
8. Creazione dell’ AR Layout
Si tratta di definire il posizionamento e le relative dimensioni dei vari contributi multimediali.
Progettazione
Progettazione
Mirko Compagno – THE ROUND AUGMENTED REALITY
Progettazione
Progettazione
9. Interazioni
Attivazione del Layer: • Quando il contenuto viene cliccato• Quando il contenuto viene cliccato due volte• Dopo che il contenuto è entrato in assolvenza• Dopo che il contenuto è iniziato• Quando il contenuto è terminato• Dopo un certo numero X di secondi
Azioni: • Vai a un link predefinito• Fai partire un altro contenuto• Stoppa il contenuto• Metti in pausa il contenuto• Metti il contenuto in full screen• Metti il contenuto in full screen con la camera attiva(se il contenuto ha lo sfondo trasparente è possibilevedere l’ambiente reale circostante)• Togli la modalità full screen al contenuto
Un’interazione è data dalla combinazione di un’ ATTIVAZIONE del Layer (A1) + un’ AZIONE (A2)
A1
A2
Mirko Compagno – THE ROUND AUGMENTED REALITY
9. Complessità delle Interazioni
• 1° Livello di interazione: A1 + A2• 2° Livello di interazione: (A1 + A2 ) + (A1 + A2• 3° Livello di interazione: (A1 + A2 ) + (A1 + A2) + (A1 + A2)
Per evitare una situazione di Information Overload, si consiglia di non superare il 3° livello
Pubblicazione del sistema AR
Progettazione
Progettazione
Mirko Compagno – THE ROUND AUGMENTED REALITY
10. Pubblicazione dell’ AR app
Differenze tra i maggiori AR browser (Aurasma, Junaio, Layar, Wikitude)
Progettazione
Progettazione
Mirko Compagno – THE ROUND AUGMENTED REALITY
AR plus
Contenuti addizionali, associati all’ambiente di AR sviluppato
Quando il contenuto viene cliccato
FLIPPING BOOKFOCUS WEB APP
• Quiz: multiple choice, true-false, drag and drop, fill in the blanks• Simulazioni dinamiche interattive• Customizzazione slide ppt
Vai a un link predefinito
………….
AR plus
Mirko Compagno – THE ROUND AUGMENTED REALITY
Realtà aumentata e comunicazione scientifica
Realtà aumentata e comunicazione scientifica
Mirko Compagno – THE ROUND AUGMENTED REALITY
AR Experience Design
AR Experience Design
“The product is no longer the basis of value. The experience is.”
Venkat RamaswamyThe Future of Competition.
Mirko Compagno – THE ROUND AUGMENTED REALITY
Design
Evaluate
Prototype
Interaction Design
Interaction Design
Mirko Compagno – THE ROUND AUGMENTED REALITY
User Interactions in Mobile Augmented Reality
Markerless AR Geo-location based AR
Generalità
Mirko Compagno – THE ROUND AUGMENTED REALITY
User Interactions in Mobile Augmented Reality
Metodi e limitazioni per la progettazione AR markers
Non c’è suffiente contrasto, né un contorno ben definito
Il contrasto c’è, ma gli elementi chiave di riconoscimento sono simili
Mirko Compagno – THE ROUND AUGMENTED REALITY
User Interactions in Mobile Augmented Reality
Mondo digitale e mondo fisico
Interazione attraverso elementi che incoraggiano l’utente ad esplorare e comprendere lo spazio digitale e fisico
Feedback dallo spazio digitale per allertare l’utente delle limitazioni e delle possibilità del design
L’ interazione con GUI avviene tramite il mondo fisico piuttosto che col display del device
L’ interazione con GUI avviene con elementi visualizzati sul display del device
Interazione con gli oggetti aumentati attraverso azioni nel mondo fisico
Interazione diretta con gli oggetti aumentati senza l’ausilio di elementi GUI)
Mirko Compagno – THE ROUND AUGMENTED REALITY
User Interactions in Mobile Augmented Reality
Mondo digitale e mondo fisico esempi
DP
Mirko Compagno – THE ROUND AUGMENTED REALITY
User Interactions in Mobile Augmented Reality
Mondo digitale e mondo fisico esempi
DD
Mirko Compagno – THE ROUND AUGMENTED REALITY
User Interactions in Mobile Augmented Reality
Mondo digitale e mondo fisico esempi
GP
Physical interactions
Mirko Compagno – THE ROUND AUGMENTED REALITY
User Interactions in Mobile Augmented Reality
Mondo digitale e mondo fisico esempi
GD
Digital interactions
Mirko Compagno – THE ROUND AUGMENTED REALITY
User Interactions in Mobile Augmented Reality
Mondo digitale e mondo fisico esempi
AP
Mirko Compagno – THE ROUND AUGMENTED REALITY
User Interactions in Mobile Augmented Reality
Mondo digitale e mondo fisico esempi
AD
Mirko Compagno – THE ROUND AUGMENTED REALITY