E-levél felolvasó esettanulmány
description
Transcript of E-levél felolvasó esettanulmány
1BME TTT
E-levél felolvasóesettanulmány
Beszédinformációs rendszerek
előadásNémeth Géza, Zainkó Csaba
[nemeth, zainko]@ttt.bme.hu
Beszédkutatási laboratórium http://speechlab.ttt.bme.hu
2BME TTT
PSTN
Távközlési példaHonnan.....
3BME TTT
PSTNBeszéd -keltés
-szintézis -felismerés -megértés
Dialógus vezérlésCTI
(Mobil, WEB..)
?
LAN
Távközlési példaHova ..... ?
banhof.wav
4BME TTT
Ötlet
• E-levél felolvasó ötlete: Egy reális alkalmazási környezet fejlesztése TTS fejlesztéshez
BME 1994
• Szakiránylabor, Önállólabor, Diplomaterv más projektek keretében kialakult egy bemutatható rendszer 1999-re
5BME TTT
Indok
• TTS értékelés önmagában nehéz• Siemens - Bonni egyetem (1999): nincs
'élesben' elfogadható német TTS6 TTS rendszert 45 diák tesztelt 45 perces ülésekben (1-6)– téma: menetrend, emil/fax olvasás, felhaszn. utasítás, újságolvasás
– legjobb osztályzat: 3 körül, de témától nagyon függ
• KPN holland emil-felolvasó teszt (2 gyártó)– DTMF <-> besz. felism, prompt <-> TTS– vélemény: nem használható
• BME-TTT ???
6BME TTT
Demórendszer
• 4 csatornás
• Formáns szintetizátoros
• Adminisztrációs felület nélküli
• „Kiteszteletlen”
• Nagy erőforrás-igényű (méretéhez képest)
• Speciális működési környezet (csak ftp)
7BME TTT
Igényfelmérés
• Demó bemutatása ipari felhasználó részére– Az adott rendszer ipari felhasználásra
alkalmatlan volt– Nem az adott rendszert bemutatása a fő cél,
hanem a technológiai szint ismertetése
8BME TTT
"Éles" rendszer fejlesztési lépései
• Demo rendszer bemutatása a partnernek
• Ütemek és elfogadási sarokpontok meghatározása
• Tesztrendszer belső használatra
• Tesztrendszer szűkkörű használatra
• Végleges rendszer
9BME TTT
Fejlesztéshez kapcsolódó projektek
• Nyelvdetekció
• Ékezetesítés
• TTS fejlesztés– Formáns– Hullámforma alapú– Hullámforma alapú, adott rendszerre való
optimalizálása
• Telefonos interfész, CTI
10BME TTT
Nyelvdetekció
• Miért kell?• Gyors, hatékony• Statisztikai alapon• 3 nyelv azonosítása
Hungarian English German Word Freq.
[%] Word Freq.
[%] Word Freq.
[%] 1 a 100,0 the 100,0 und 100,0 2 az 35,54 of 49,50 die 72,39 3 hogy 18,20 and 35,15 der 69,97 4 s 16,42 to 29,81 sie 49,16 5 nem 15,76 a 26,21 das 43,09 6 is 12,05 his 21,58 er 42,79 7 és 10,82 in 20,35 es 36,75 8 egy 9,872 he 14,16 in 31,93 9 volt 7,457 that 12,82 war 31,51
10 meg 6,845 was 11,29 den 28,86 11 azt 6,307 with 10,31 ich 24,18 12 csak 5,716 as 9,25 ein 23,92 13 de 5,713 their 8,64 nicht 22,51 14 ez 4,837 it 8,58 zu 22,01 15 van 4,666 had 8,41 aber 20,76 16 ha 4,470 by 7,51 dem 19,63 17 már 4,367 on 6,66 auf 19,42 18 még 4,044 is 6,54 mit 18,52 19 el 3,553 which 6,49 so 18,06 20 mint 3,525 for 6,36 sich 16,66
11BME TTT
Vowels without diacritics
Correct forms of the 14 vowels
No. of versions
a a á 2 e e é 2 i i í 2 o o ó ö ő 4 u u ú ü ű 4
Ékezetesítés
• Miért kell?• Miért nehéz?
|m|e|g|b|i|z|h|a|t|o|s|a|g|a
| |2| | |2| | |2| |4| |2| |2
27 lehetségesalak
agyat ágyat
agyát ágyát
12BME TTT
Adatbázisok
nytud+mek+hvg
nytud+mek+hvg+ mh
nytud+mek+hvg+ mh+mn
nytud+mek nytud mh+hvg+mek
hvg mn
mek mh
0
200,000
400,000
600,000
800,000
1,000,000
1,200,000
1,400,000
0 10,000,000 20,000,000 30,000,000 40,000,000 korpusz mérete
külö
nb
öző
szó
alak
ok
szám
a
Különböző szavak Különböző csonkított szavak Ékezetes szavak Ékezet nélküli
13BME TTT
0%
10%
20%
30%
40%
50%
60%
1 2 3 4 5+
mh
hvg
mek
nytud
nytud+mek
+hvg
Magyar szavak gyakorisága
14BME TTT
Ékezetesítés II.
• Statisztikai alapú• Nyelvtan alapú• Kombinált
Azonos csonkolt alakkal rendelkező szavak száma
2 29076 2,7561% 3 1609 0,1525% 4 285 0,0270% 5 19 0,0018% 6 1 0,0001% 7 1 0,0001% 8 0 0,0000% 9 1 0,0001%
1900
863
39 5131
90,46
95,1894,9294,90
89,75
0
500
1000
1500
2000
Spellchecking
Statisticsbased(MEK)
Combined Statisticsbased
(Nytud)
Statisticsbased
(Nytud+MEK)
[sec
]
8687888990919293949596
[%]
Runtime
Correct words
15BME TTT
Adatbázisok fedései
0%5%
10%15%20%25%30%35%40%45%50%55%60%65%70%75%80%85%90%95%
100%
1 10 100 1000 10000 100000 1000000
Number of the different forms
cove
rag
EnglishGermanHungarianHungarian2
16BME TTT
Dialógus tervezés
• 3 felhasználói kategória szerinti felvett rendszerüzenetek 2 hangon– (kezdő, tapasztalt, szakértő)
• félbeszakítható szöveg és előre beírható kód
• egybillentyűs navigáció, 3x ismétlés
• 'globális' parancsok – 0: környezet függő súgó, *: vissza, 5: szünet/konfig
• azonosítás több típusa
• több nyelv figyelembe vétele
17BME TTT
Mail order
Pause Voice reply
Listen to e-mail(s)
User Settings
Index
Main menu
1
6
8
2
7
#
8
2
One e-mail forward
One e-mail back
Next sentence
One e-mail forward
One e-mail back
1
4 Previous sentence
Voice reply 7 Voice reply
9
3
Five e-mails forward
Five e-mails back
Listen to e-mails from current
8
1
2
Send voice reply
Check voice reply
Record new voice reply
0
* One level back
Help
5 Pause
Global commands
3 Delete voice reply
Listen to current e-mail only
8
2
Decrease the volume
Increase the volume
5 Continue
7 Voice reply
9
3
Five e-mails forward
Five e-mails back
3
1
2
4
3
1
Descending e-mail subject
Ascending sending date
Descending sending date
Set user level “
9
7
6
Ascending e-mail sender
Descending e-mail sender
Ascending e-mail subject
3
Change PIN
Prompt voice “
4
Menü rendszer
18BME TTT
Rendszer felépítése
Private network 266
Email reader
LAN
POP3 mail servers
SMTP
gateway
266
Remote
control and management
Mobile or wireline users
Telephone
exchange
Internet
Hot standby
Development and
upgrade
19BME TTT
Ipari felhasználás
• Távoli adminisztráció
• Távoli felügyelet
• Riasztás
• Önteszt, megbízhatóság növelése
• Robosztus megoldások
• Tartalék rendszer (langyos)
• Rugalmas bővíthetőség
20BME TTT
Belső felépítés
DTMF
Voice
disk
File operations
Message
Download manager
Text processing
Wave generator Text-To-Speech
conversion
Mail sending manager
Program call
Internet
SMTP client
POP3 client and Converter
mailbox processing
Answer Menu control
and telephony interface
GSM & PSTN
USER Private network
Remote control
Start System control
21BME TTT
Tesztelés folyamata
• 2 rendszer – ipari partnernél – saját laborban
• A projekt elején a funkcionális teszten van a hangsúly
• Projekt végén a hibamentes működés
22BME TTT
Kapcsolatok más rendszerekkel
• Email szerver
• Központi felügyelet
• Ügyfélszolgálati rendszer
• Hálózati kapcsolat
• Informatika/Fejlesztés
23BME TTT
Üzemviteli támogatás
• Folytonos monitorozási lehetőség
• Automatikus hibajelentés
equipment_id alarm_severity date time event_type event_description
EREADER1 ALIVE date time HEARTBEAT EREADER1 is alive
EREADER1 MAJOR date time PROC_S RESTART Sendmail process restart
EREADER1 WARNING date time SYS OVERLOADED EREADER1 overloaded
EREADER1 MAJOR date time LOW FREE SPACE Low free space on work disk
EREADER1 MINOR date time SENDMAIL FAILED Lost one sent mail.
EREADER1 CRITICAL date time ISDN ERROR ISDN trunk does not work.
EREADER1 CRITICAL date time DISK FULL Work disk full
24BME TTT
Felhasználás1
2:0
0 A
M
1:0
0 A
M
2:0
0 A
M
3:0
0 A
M
4:0
0 A
M
5:0
0 A
M
6:0
0 A
M
7:0
0 A
M
8:0
0 A
M
9:0
0 A
M
10
:00
AM
11:0
0 A
M
12
:00
PM
1:0
0 P
M
2:0
0 P
M
3:0
0 P
M
4:0
0 P
M
5:0
0 P
M
6:0
0 P
M
7:0
0 P
M
8:0
0 P
M
9:0
0 P
M
10:
00
PM
11
:00
PM
0
5
10
15
20
25
rela
tive
fre
qu
enc
y [
‰]
25BME TTT
Felhasználás II
112 sec34 sec
0
2
4
6
8
10
12
14
16
18
20
hold time [sec]
rela
tive
fre
qu
enc
y [
‰]
26BME TTT
Érintett vállalati osztályok
• Ipari partner:– informatika– üzletfejlesztés– üzemeltetés– ügyfélszolgálat– minőségbiztosítás
Mindegyiknek más volt az érdeke cégen belül.
27BME TTT
Prioritások összetettsége
• Minden osztálynak más a fontos– Ügyfélszolgálat: a problémás esetek számát
kívánja csökkenteni (jobb tájékoztatás, részletes segítség.
– Üzletfejlesztés/Marketing: A cég koncepciójába beilleszteni a rendszert
– Üzemeltetés: Egyszerű rendszer, kevés hibalehetőséggel, nagy fokú automatizmus
– ...
28BME TTT
Szerződéskötés
• Tartalma:– Technikai tartalom– Finanszírozási kérdések– Ütemezés, határidők
• Aláírók:– Megfelelő szintű és jogosultságú személyek
• Jogi osztály beleszólása