A beszédben A beszédben megjelenő megjelenő érzelmekérzelmek
és a és a prozódiaprozódia – elsősorban a – elsősorban a beszéddallam –beszéddallam – kapcsolatá kapcsolatának nak
vizsgálatavizsgálataOltványi Gábor JózsefOltványi Gábor JózsefÖnálló laboratórium 1 – beszámoló
PPKE–ITK, 2007.12.17.Konzulens: Takács György, Bárdi Tamás
http://digitus.itk.ppke.huhttp://digitus.itk.ppke.hu/~oltgajo/tan/7/onlab1//~oltgajo/tan/7/onlab1/
Prozódia a beszédbenProzódia a beszédben
a beszéd szupraszegmentális akusztikai jegyeit leíró tudományága: több szegmentumon, azaz fonémán, vagy hangsoron átívelő jelenségek
intonáció:intonáció: hanglejtés, beszéddallam, hangerőhangerő és hangsúlyokhangsúlyok, beszédritmusbeszédritmus,
tagolás, sebesség, szünetek, hangszínhangszín
Diszkrét emóciókDiszkrét emóciók
EkmanEkman: alapérzelmek/diszkrét emóciók: meglepetésmeglepetés félelemfélelem haragharag örömöröm szomorúságszomorúság undorundor
Folytonos érzelmi Folytonos érzelmi dimenziókdimenziók
ActivitActivityyValencValenc
ee
AktivitáAktivitáss
ÉrtékelÉrtékelés: és:
jó/rosszjó/rossz
PowerPower(„befolyá(„befolyá
s”)s”)
IntensitIntensityy
(intenzit(intenzitás)ás)
Érzelmek a beszédbenÉrzelmek a beszédben
„„Érződik a hanghordozásán, hogyÉrződik a hanghordozásán, hogy…”…”
itt különböző prozódiai jegyekre gondolunkitt különböző prozódiai jegyekre gondolunk
elsősorban: elsősorban: beszéddallambeszéddallam, , hangerőhangerő
nem egyértelmű…nem egyértelmű…
Érzelmes beszéd Érzelmes beszéd adatforrások adatforrások
beszédminta-adatbázisok:beszédminta-adatbázisok:
színészek által fölmondott, eljátszott színészek által fölmondott, eljátszott érzelmekérzelmek
riporterek naiv embereket beszéltetnek, riporterek naiv embereket beszéltetnek, befolyásolva érzelmeiketbefolyásolva érzelmeiket
stb.stb.
CélkitűzésünkCélkitűzésünk
Valódi, átélt érzelmekValódi, átélt érzelmek eljátszott érzelmek nem jókeljátszott érzelmek nem jók
Felnőtt, naiv beszélőFelnőtt, naiv beszélő gyerek: változóan, nem fejezi ki helyesen az gyerek: változóan, nem fejezi ki helyesen az
érzelmeitérzelmeit szakértő, képzett beszélő: magyarázós – szakértő, képzett beszélő: magyarázós –
kontrolláltak az érzelmeikontrolláltak az érzelmei
Jó minőségű felvételekJó minőségű felvételek telefonbeszélgetés nem jótelefonbeszélgetés nem jó
Anyagminták, Anyagminták, földolgozásföldolgozás
Magyar Rádió: Magyar Rádió: Vendég a háználVendég a háznál c. műsora c. műsora „„gyerekekről felnőtteknek” – interjúkgyerekekről felnőtteknek” – interjúk
1.1. 1-2 mondatos érzelmes részletek1-2 mondatos érzelmes részletek érzelmek váltakozásának vizsgálata, érzelmek váltakozásának vizsgálata, XML-XML-
tagek tagek annotálása a szöveghez, diszkrét és annotálása a szöveghez, diszkrét és folytonos érzelmi szempontok szerint.folytonos érzelmi szempontok szerint.
2.2. 3-4 szótagos szavak/kifejezések, amelyben 3-4 szótagos szavak/kifejezések, amelyben érzelmes dallamvonulat figyelhető megérzelmes dallamvonulat figyelhető meg
PraatPraat: pitch markok bejelölése a meghallga-: pitch markok bejelölése a meghallga-tásos kísérlethez (tásos kísérlethez (beszédhang stimulusok)beszédhang stimulusok)
1. példa:1. példa:pármondatos szöveg pármondatos szöveg
elemzéseelemzése– – Közelről Lillákat se ismerek. De a lányom az abszolút Közelről Lillákat se ismerek. De a lányom az abszolút
lilis. Szóval ... lilis. Szóval ...
– – Mi az,Mi az, hogy lilis? Mit jelent az, hogy lilis, milyen egy Lili? hogy lilis? Mit jelent az, hogy lilis, milyen egy Lili?
– – O'an-olyanO'an-olyan nagyon nőcis.nagyon nőcis. Olyan nagyonOlyan nagyon kis helyes kis kis helyes kis csaj. És tényleg, első perctől kezdve, szóval, nagyon csaj. És tényleg, első perctől kezdve, szóval, nagyon kis csajos volt, és tény-kis csajos volt, és tény- leg olyan 'anleg olyan 'an olyan lillás.olyan lillás.
d1.XMd1.XMLL
f1.XMLf1.XML
2. példa:2. példa:rövid részlet elemzéserövid részlet elemzése
Vocal Vocal fryfry
„„abszolabszolút lilis”út lilis”
További példák:További példák:## szöveg (kezdete)szöveg (kezdete) hanghang képkép
szöszövegveg
diszkrétdiszkrét.xml.xml
folytonosfolytonos.xml.xml
d+fd+f.xml.xml
műsor műsor idejeideje
1. Közelről Lillákat se ismerek… 1.wav 1.jpg 1.txt d1.xml f1.xml df1.xml VaH, 2007.04.02.het-k13, 8:10-12:34 részből
1.1. abszolút lilis 1-1.wav 1-1.png
1.2. csajos volt 1-2.wav 1-2.png
1.3. de a lányom az 1-3.wav 1-3.png
1.4. nőcis 1-4.wav 1-4.png
2. Nem kérdeztünk nagyszülőket… 2.wav 2.jpg 2.txt d2.xml f2.xml df2.xml VaH, 2007.04.02.het-k13, 8:10-12:34 részből
2.1. föl se merült 2-1.wav 2-1.png
2.2. nem mondták, hogy nem 2-2.wav 2-2.png
2.3. névválasztás 2-3.wav 2-3.png
3. Kikapcsolt az agyam… 3.wav 3.jpg 3.txt d3.xml f3.xml df3.xml VaH, 2007.04.06.pen-k13, 4:00-tól kezd. részből
3.1. valóban 3-1.wav 3-1.png
3.2. a vége 3-2.wav 3-2.png
4. ’N tehát nehéz olyan… 4.wav 4.jpg 4.txt d4.xml f4.xml df4.xml VaH, 2007.04.06.pen-k13, 17:26-tól kezd. részből
4.1. el lehet 4-1.wav 4-1.png
4.2. mondani 4-2.wav 4-2.png
4.3. el lehet mondani 4-3.wav 4-3.png
5. Anyuval-apuval? Neem, dehogy… 5.wav 5.jpg 5.txt d5.xml f5.xml df5.xml VaH, 2007.04.19.csu-k13, 11:20 körüli részből
5.1. neem, dehogy 5-1.wav 5-1.png
5.2. megölnének 5-2.wav 5-2.png
6. Hát, az az igazság, hogy … 6.wav 6.jpg 6.txt d6.xml f6.xml df6.xml VaH, 2007.05.21.het-k13, 10:50 körüli részből
6.1. voltam 6-1.wav 6-1.png
6.2. elvetéltem 6-2.wav 6-2.png
Összegzés a féléves Összegzés a féléves munkárólmunkáról
Munka volt:Munka volt: Hosszú: végighallgatni a műsorokatHosszú: végighallgatni a műsorokat Programrészlet a beszédhang stimulusokhozProgramrészlet a beszédhang stimulusokhoz Saját megérzések alapján végig taggelni a Saját megérzések alapján végig taggelni a
szövegeketszövegeket XML (DTD, XSLT) fájlok pontos szintaxisaXML (DTD, XSLT) fájlok pontos szintaxisa
Ez csak kis adatbázis, de bővíthető.Ez csak kis adatbázis, de bővíthető.
Jövőterv Jövőterv (?)(?) nyelvtechnológia bevonása a beszéd és nyelvtechnológia bevonása a beszéd és
érzelmek kapcsolatának vizsgálatába érzelmek kapcsolatának vizsgálatába
Hallás-tesztHallás-teszt
Top Related