8/4/2019 Szmtgpes nyelvszet ea.

1/53

11. Szmtgpes nyelvszet

8/4/2019 Szmtgpes nyelvszet ea.

2/53

Ktelez irodalom

A magyar nyelv kziknyve nyelvtechnolgiaifejezete

11. Szmtgpes nyelvszet

vagy

A magyar nyelv c. kziknyv nyelvtechnolgiaifejezete

(Mindkett: Kiefer.)

8/4/2019 Szmtgpes nyelvszet ea.

3/53

Mestersges intelligencia

Az els

nagy ambcik...

8/4/2019 Szmtgpes nyelvszet ea.

4/53

Gondolkod szmtgp? Alan Turing 1950: a Turing teszt

11. Szmtgpes nyelvszet

8/4/2019 Szmtgpes nyelvszet ea.

5/53

ElizaWeisenbaum 1966

A frfiak mind egyformk.

Ezt hogy rted? Mindig nyaggatnak minket valamirt. Mondanl egy konkrt pldt? Ht a fim kldtt ide.

11. Szmtgpes nyelvszet

A fid kldtt ide. Azt mondja, mindig depresszis vagyok. Sajnlom, hogy depresszis vagy. Taln ki kellene bklnm az anymmal. Meslj mg a csaldodrl.

8/4/2019 Szmtgpes nyelvszet ea.

6/53

a pciensek elhittk, hogy valdi szemllyel

beszlgetnek... A mdszer:

Pszichoterapeuta

11. Szmtgpes nyelvszet

A kulcssz aktivl egy szablyt Regulris kifejezsek segtsgvel

behelyettests a szablynak megfelelen A kulcsszavak rangsorolva vannak

8/4/2019 Szmtgpes nyelvszet ea.

7/53

Ksbbi scriptmodellek

(Schank, 70-es vek)

Trtnet:Egy ember bement egy tterembe s rendeltegy hamburgert. Amikor a hamburger

11. Szmtgpes nyelvszet

,amikor tvozott, kifizette a szmlt s sokborravalt hagyott.

Krds: Megette az ember a hamburgert?Vlasz: (Valsznleg) igen.

8/4/2019 Szmtgpes nyelvszet ea.

8/53

Forgatknyvek lethelyzetekrl (tipikus

esemnyek rszletes lersa) Az tterem forgatknyve:

A mdszer lnyege

11. Szmtgpes nyelvszet

a ruhatrban letesszk a kabtot kivlasztunk egy asztalt ha foglalt tbla van egy asztalon, oda nem

lnk ...

8/4/2019 Szmtgpes nyelvszet ea.

9/53

A Skynet elksett

11. Szmtgpes nyelvszet

8/4/2019 Szmtgpes nyelvszet ea.

10/53

Nyelvtechnolgia ma

Szernyebb clok...

8/4/2019 Szmtgpes nyelvszet ea.

11/53

Felhasznlsok Helyesrs-ellenrzs

Szvegkivonatols Gpi fordts Mozi e rendels

11. Szmtgpes nyelvszet

Bankszmlaegyenleg-lekrdezs Tudakoz Repljegyfoglals Dolgozatosztlyzs ...

8/4/2019 Szmtgpes nyelvszet ea.

12/53

Felismers produkci Felismers:

Ingerrzkels (rott karakter, beszdhang,kzjelek)

Elemzs (parsing)

11. Szmtgpes nyelvszet

Megrts Produkci:

Gondolat (mentlis reprezentci) Kdols Megjelents

8/4/2019 Szmtgpes nyelvszet ea.

13/53

Mdszerek Szablyalap

Pldaalapstatisztikai ves amerikai

30

35

4045

50

11. Szmtgpes nyelvszet

konferenciaeladsai (ACL):

0

5

10

15

20

25

1990 2003

Nem stat Stat

8/4/2019 Szmtgpes nyelvszet ea.

14/53

Meg kell rtsk, hogy egy mondatvalsznsg-rl beszlni teljesenrtelmetlen. Noam Chomsky 1969.

11. Szmtgpes nyelvszet

Ahnyszor tvozik egy nyelvsz acsoportbl, felszkik a beszdfelismersirtnk. Fred Jelinek, IBM 1988.

8/4/2019 Szmtgpes nyelvszet ea.

15/53

Beszdfelismers,beszdszintetizls

Eredmnyek s korltok

8/4/2019 Szmtgpes nyelvszet ea.

16/53

Fonetika: a hangok akusztikai tulajdonsgai(formnsfrekvencik)

Szksges tuds

11. Szmtgpes nyelvszet

Fonolgia: egy-egy nyelv hangrendszere

Esetleg egy kiejtsi sztr

8/4/2019 Szmtgpes nyelvszet ea.

17/53

A hang hullmknt terjed a levegben.

A beszdhang sszetett, tbb hullmegyttesbl ll (formnsszerkezet).

A hang fizikai jellemzi

11. Szmtgpes nyelvszet

periodikus: ismtld hullmalak

(magnhangz) aperiodikus: rendszeres ismtlds nlkli

(bizonyos mssalhangzk)

8/4/2019 Szmtgpes nyelvszet ea.

18/53

[a] s [s] hullmalak

11. Szmtgpes nyelvszet

8/4/2019 Szmtgpes nyelvszet ea.

19/53

Paramterek:

rezgs szaporasga (frekvencia) rezgs erssge (intenzits) rezgs idtartama

A beszdhang fizikai jellemzi

11. Szmtgpes nyelvszet

jelenti meg: vszintes tengely: id fggleges tengely: rezgsszm (frekvencia)

(formnsok: F0 (100-200Hz), F1 (300-600Hz), F2 (800-3000Hz)) harmadik dimenzi (a jel erssge): intenzits

8/4/2019 Szmtgpes nyelvszet ea.

20/53

Spektogram

11. Szmtgpes nyelvszet

8/4/2019 Szmtgpes nyelvszet ea.

21/53

Spektogram

11. Szmtgpes nyelvszet

8/4/2019 Szmtgpes nyelvszet ea.

22/53

Tovbbi szksges ismeretek A hangok variabilitsa:

Beszltl fggen (hanger, hangmagassg,artikulcis klnbsgek)

Szvegkrnyezettl fggen Fonotaktikai szablyok:

11. Szmtgpes nyelvszet

Hasonuls: mzz, mztartalm, msztartalm Magnhangz-harmnia: kenyeremet, kalapomat Folyamatos beszd

Prozodikai szablyok: intonci, hangsly, ritmus

8/4/2019 Szmtgpes nyelvszet ea.

23/53

Bayesi beszdfelismers

Ha adott egy hangsor (h), mi a valsznsge

egy ssznak: P(s|h) Korpusz: szgyakorisg Varicikor usz: han sorokhoz rendelt szlistk

11. Szmtgpes nyelvszet

Fonotaktikai folyamatok valsznsgei (pl.szvgi nlehagysnak valsznsge)

Legvalsznbb sz: maximlis P(h|s)P(s)

Helyesrs-ellenrzs hasonl elveken

8/4/2019 Szmtgpes nyelvszet ea.

24/53

N-gram modellek (Markov-lncok)

A mondat kvetkez szavnak prediktlsa

Korpusz Automatikusan kinyert nyelvtan: egy sz

valsznsge, ha az elz (egy, kett,

11. Szmtgpes nyelvszet

hrom...) sz a mondatban adott: P(sn|sn-1) sn gyakorisga sn-1 utn Osztva sn-1 gyakorisgval

Minl nagyobb a szvegkrnyezet, annlpontosabb a nyelvtan.

8/4/2019 Szmtgpes nyelvszet ea.

25/53

Az bredj mr fel kifejezs n-gramjabredj mr fel

bredj .001 .032 .135

11. Szmtgpes nyelvszet

mr .025 .004 .022

fel .002 .011 .003

8/4/2019 Szmtgpes nyelvszet ea.

26/53

Az n-gram modell htrnyai:

Stlus- s tmafgg

11. Szmtgpes nyelvszet

Hatalmas korpuszokat ignyel

8/4/2019 Szmtgpes nyelvszet ea.

27/53

11. Szmtgpes nyelvszet

8/4/2019 Szmtgpes nyelvszet ea.

28/53

Parsing

Szerkezeti elemzs

8/4/2019 Szmtgpes nyelvszet ea.

29/53

Morfolgia: a szavak bels

szerkezete A szavak elemekre (morfmkra) bonthatk:

Szt + affixumok:El-kel-kposzt-s-t-hat-atlan-sg-ai-tok-rt

11. Szmtgpes nyelvszet

Szalaklista:gazdasgtalan, st lehetetlen (produktvszkpzs)

8/4/2019 Szmtgpes nyelvszet ea.

30/53

Az elemz komponensei

Sztr: szt, affixumok

Cmketr (tags)

11. Szmtgpes nyelvszet

Szfaji kategrik (fnv, ige, hatrozsz,stb) Morfolgiai jegyek (mltid, tbbesszm, stb)

8/4/2019 Szmtgpes nyelvszet ea.

31/53

Milyen szfajhoz milyen morfolgiai jegytartozhat? Morfofonolgiai kategrik:

Szablyok

11. Szmtgpes nyelvszet

Sziszeg vg: olvas, olvasol Egyb: fl, flsz

Morfotaktika: affixumok sorrendje

Kenyer-em-et, *kenyer-et-em Szeletem: szelet-em s nem *szel-et-em

8/4/2019 Szmtgpes nyelvszet ea.

32/53

alak

alak alakult1

alak

Plda a taggingre

11. Szmtgpes nyelvszet

alakult alak alaktottk

alak alaktsunk

alak

8/4/2019 Szmtgpes nyelvszet ea.

33/53

Morfolgiai egyrtelm

sts Szvegkrnyezet:

Tavaly megalakult a prt. A tavaly megalakult prt nyerte a

vlasztsokat.

11. Szmtgpes nyelvszet

Szablyalap Statisztikai: korpuszbl kinyert

valsznsgek alapjn Szalap n-gram modell Kategriaalap n-gram modell

8/4/2019 Szmtgpes nyelvszet ea.

34/53

Ismeretlen szavak

Ha a sztrban nem szerepel egy sz...

Tbbrtelm cmkzs (+ egyrtelmsts) egyenletes elosztsban (minden cmke) cmkegyakorisg szerint (bizonyos gyakorisgi

11. Szmtgpes nyelvszet

Cmkzs ismert affixum alapjn:

Roxfortban roxfort

Szmisen rottolnak a maknok aleghntebb mufjotukban.

8/4/2019 Szmtgpes nyelvszet ea.

35/53

Eredmnyek

9598% teljestmny

11. Szmtgpes nyelvszet

a c m e r m re gg en

Megfelel az ember teljestmnynek.

8/4/2019 Szmtgpes nyelvszet ea.

36/53

Mondatelemzs Az elemzs clja: a szavak kztti

szintaktikai/szemantikai viszonyok feltrsa

De endencian elvtanok

11. Szmtgpes nyelvszet

Frzisstruktra-nyelvtanok

8/4/2019 Szmtgpes nyelvszet ea.

37/53

11. Szmtgpes nyelvszet

8/4/2019 Szmtgpes nyelvszet ea.

38/53

11. Szmtgpes nyelvszet

A kutya nagy csontot eszik

8/4/2019 Szmtgpes nyelvszet ea.

39/53

11. Szmtgpes nyelvszet

8/4/2019 Szmtgpes nyelvszet ea.

40/53

[[egy felmrs] szerint] [[minden tizedik] rendr] [drogozott]]

Mondat

Nvut.Fr. Fn.Fr. Ige.Fr.

11. Szmtgpes nyelvszet

Fn.Fr.

szerint

Szmn.Fr.

rendr drogozottegy felmrs minden tizedik

8/4/2019 Szmtgpes nyelvszet ea.

41/53

Mondat

Hatroz Ige Trgy

Jl lttam az embert a tvcsvelJl lttam az embert a tvcsvel..

11. Szmtgpes nyelvszet

am az em er a vcs ve

Mondat

Hatroz Ige Trgy Eszkz

jl lttam az embert a tvcsvel

8/4/2019 Szmtgpes nyelvszet ea.

42/53

Krnyezetfggetlen nyelvtan Mondat NvutFr FnFr IgeFr

NvutFr

FnFr Nvut FnFr Nvel Fnv

FnFr SzmnFr Fnv

11. Szmtgpes nyelvszet

SzmnFr Quantor Sorszmnv IgeFr Ige Nvut szerint Nvel egy Fnv felmrs, rendr

...

8/4/2019 Szmtgpes nyelvszet ea.

43/53

A kombincis szablyok

*Egy felmrsek szerint minden tizedik rendrdrogoztuk.

*Egy felmrssel szerint minden tizedik

11. Szmtgpes nyelvszet

.

*Szerint egy felmrs tizedik minden rendrdrogozott. !Egy felmrs szerint drogozott minden tizedik

rendr. ...

8/4/2019 Szmtgpes nyelvszet ea.

44/53

Problmk

Mirt lehet kt ltszlag hasonl mondatbl azegyik j s a msik rossz:Meg szeretnm enni. Szeretnm megenni.

11. Szmtgpes nyelvszet

Meg akarom enni. ?Akarom megenni.*Meg megyek enni. Megyek megenni.

Kenyerem van. Van kenyerem.Melegem van. *Van melegem.

8/4/2019 Szmtgpes nyelvszet ea.

45/53

sszetett rendszerek

Hasta la vista, baby

8/4/2019 Szmtgpes nyelvszet ea.

46/53

Diskurzuselemzs: szveg Jl lttam az embert a tvcsvel. Megmutatta egy

gyereknek.

Mi kell mg?

11. Szmtgpes nyelvszet

felllt egy smlira, hogy jobban lsson.Majd

Pragmatika: a nyelv mint kommunikcis eszkz

A: Meg tudn mondani hogy hny ra van?B: Igen.

8/4/2019 Szmtgpes nyelvszet ea.

47/53

Beszlgets szemantikja Mondjon nekem reggeli jratokat kedden

Bostonbl San Franciscoba.MUTAT:

JRAT:

11. Szmtgpes nyelvszet

:

VROS: BostonDTUM: keddID: reggel

CL:VROS: SF

8/4/2019 Szmtgpes nyelvszet ea.

48/53

Egy szemantikai nyelvtan

Krnyezetfggetlen nyelvtan, ahol a bal oldali elem egyszemantikai kategria:

LISTZ -> mondjon nekem | szeretnk | mutatna | INDULSID -> RA (eltt | krl | utn)

| reggel | dlutn | este

11. Szmtgpes nyelvszet

RA -> egy | kt | hrom | huszonngy JRAT -> (egy) jrat | jratok EREDET -> VROSbl CL -> VROSba VROS -> Boston | San Francisco | Denver |

Washington |

8/4/2019 Szmtgpes nyelvszet ea.

49/53

Repljegyfoglals embertl

V1: Mjusban szeretnk utazni.1: s mjusban melyik nap?

V2: Ht, egy trgyalsra kell ott lennem, ami 12-tl 15-ig lesz.2: s melyik vrosba szeretne replni?V3: Bostonba. : s hnykor szeretne indulni Pittsburghbl?

11. Szmtgpes nyelvszet

V4: Hmm, gondolom nincs sok vlasztsom, ha nem akarok

tszllni.4: Hrom egyenes jrat van.V4: Ja, s mikor?5: Az els 10 rakor indul s helyi id szerint 12.05-kor rkezik

Bostonba...

8/4/2019 Szmtgpes nyelvszet ea.

50/53

Beszlgets pragmatikja turntaking

illokcis er megllaptsa (krdez, kr,megllapt, javasol, stb)

11. Szmtgpes nyelvszet

bizonytalansg jelzse kooperci: ltszlag irrelevns informci

helyes rtelmezse

8/4/2019 Szmtgpes nyelvszet ea.

51/53

Gpi fordts

Utazom hven.

8/4/2019 Szmtgpes nyelvszet ea.

52/53

Szksges modulok

Forrsnyelv nyelvtana (parsing) Transformcis nyelvtan (transfer)

11. Szmtgpes nyelvszet

Clnyelv nyelvtana (generls) Parallel korpuszok: statisztikai

megfeleltetsek

8/4/2019 Szmtgpes nyelvszet ea.

53/53

Babelfish I'd like to make some arrangements for a trip

that I'll be taking to Boston on Tuesday sometime in the morning. Je voudrais prendre quelques arrangements

11. Szmtgpes nyelvszet

pour un voyage que je prendrai Bostonmardi une certaine heure le matin. I would like to take some arrangements for a

voyage which I will take in Boston Tuesday acertain hour the morning.