Интерактивная инсталляция "Эмоциональный интеллект"....
Transcript of Интерактивная инсталляция "Эмоциональный интеллект"....
Èíòåðàêòèâíàÿ èíñòàëëÿöèÿ
¾Ýìîöèîíàëüíûé èíòåëëåêò¿
Âëàäèìèð Õàðèòîíîâ
September 14, 2016
Âëàäèìèð Õàðèòîíîâ Ýìîöèîíàëüíûé èíòåëëåêò September 14, 2016 1 / 13
Ïîñòàíîâêà çàäà÷è
Äëÿ êîãî
Îáðàçîâàòåëüíûé öåíòð ¾Ñèðèóñ¿ (Ñî÷è)
Êðàòêàÿ ôîðìóëèðîâêà çàäà÷è
Ñäåëàòü èíñòàëëÿöèþ äëÿ âçàèìîäåéñòâèÿ ïîñåòèòåëÿ ñ ðàçãîâîðíûìáîòîì.Òðåáîâàíèÿ:
Êà÷åñòâåííûé TTS
Êà÷åñòâåííàÿ àíèìàöèÿ
Áîëüøàÿ íàãðóçêà
Àâòîíîìíîñòü
Âëàäèìèð Õàðèòîíîâ Ýìîöèîíàëüíûé èíòåëëåêò September 14, 2016 2 / 13
Ïîñòàíîâêà çàäà÷è
×òî óæå åñòü
Ðàçãîâîðíûé áîò
Ïñèõîëîãè÷åñêèé òåñò
×òî ñäåëàíî ðàíåå
Ïðîâåäåíû îïûòû ñ ðàçëè÷íûìè ðå÷åâûìè äâèæêàìè
Íàïèñàí ðàáî÷èé ïðîòîòèï íà C++/Openframeworks/Festival TTS
Íàäî ñäåëàòü
Ñèíòåç ðå÷è
Àíèìàöèÿ ðå÷è
Ìîðôèíã ëèöà ïåðñîíàæà ñ ëèöîì ïîñåòèòåëÿ
Ñîáðàòü èíñòàëëÿöèþ âîåäèíî ñ áîòîì è òåñòîì
Âëàäèìèð Õàðèòîíîâ Ýìîöèîíàëüíûé èíòåëëåêò September 14, 2016 3 / 13
Ñèíòåç ðå÷è
TTS äâèæêè
Microsoft SAPI
RHVoice (Îëüãà ßêîâëåâà)
Festival (University of Edinburgh CSTR)
eSpeak
Nuance TTS
Âëàäèìèð Õàðèòîíîâ Ýìîöèîíàëüíûé èíòåëëåêò September 14, 2016 4 / 13
Àíèìàöèÿ ïðîèçíîøåíèÿ ðå÷è. Âèçåìû
Âëàäèìèð Õàðèòîíîâ Ýìîöèîíàëüíûé èíòåëëåêò September 14, 2016 5 / 13
Àíèìàöèÿ ïðîèçíîøåíèÿ ðå÷è. Âèçåìû
Âëàäèìèð Õàðèòîíîâ Ýìîöèîíàëüíûé èíòåëëåêò September 14, 2016 6 / 13
Àíèìàöèÿ ïðîèçíîøåíèÿ ðå÷è
vi = v0i
+ wn1δn1i
+ wn2δn2i
v0i- êîîðäèíàòû(x, y, z) âåðøèíû ñ íîìåðîì i íóëåâîé âèçåìû
δni- ðàçíèöà ìåæäó êîîðäèíàòàìè i-îé âåðøèíû íóëåâîé è n-îé âèçåìû
wn - âåñ, ñ êîòîðûì äîáàâëÿåòñÿ ðàçíèöà ñ n-îé âèçåìîé
Âëàäèìèð Õàðèòîíîâ Ýìîöèîíàëüíûé èíòåëëåêò September 14, 2016 7 / 13
Ïîëó÷åíèå ÷åðò ëèöà ïîñåòèòåëÿ
Microsoft Kinect HDFace
Óñëîâèÿ äëÿ ñíèìêà:
Çàêðûò ðîò
Îòêðûòû ãëàçà
Íåò î÷êîâÂëàäèìèð Õàðèòîíîâ Ýìîöèîíàëüíûé èíòåëëåêò September 14, 2016 8 / 13
Ïîëó÷åíèå ÷åðò ëèöà ïîñåòèòåëÿ
Âëàäèìèð Õàðèòîíîâ Ýìîöèîíàëüíûé èíòåëëåêò September 14, 2016 9 / 13
Êîììóíèêàöèÿ ìåæäó ýëåìåíòàìè ýêñïîíàòà
Ñ ðàçãîâîðíûì áîòîì (TCP/IP)
Ñ ïñèõîëîãè÷åñêèì òåñòîì íà ïëàíøåòå (WebSockets)
Âëàäèìèð Õàðèòîíîâ Ýìîöèîíàëüíûé èíòåëëåêò September 14, 2016 10 / 13
Èñïîëüçîâàííûå òåõíîëîãèè
Microsoft SAPI
Kinect v2 SDK
C#
VVVV
Python
Âëàäèìèð Õàðèòîíîâ Ýìîöèîíàëüíûé èíòåëëåêò September 14, 2016 11 / 13
Ïðî VVVV
Âëàäèìèð Õàðèòîíîâ Ýìîöèîíàëüíûé èíòåëëåêò September 14, 2016 12 / 13
Êîíåö
https://github.com/ujpv/emo
Âëàäèìèð Õàðèòîíîâ Ýìîöèîíàëüíûé èíòåëëåêò September 14, 2016 13 / 13