Kako se sprovode eksperimentiu lingvistici?

Maja MiličevićUniverzitet u Beogradu

Empirijski podaci u istraživanjima jezika: resursi i metode (2)Zagreb, 28.6.2016.

Sadržaj

1. Kada lingvisti koriste kakve empirijske podatke?

2. Šta odlikuje eksperimente?

3. Kakvi eksperimentalni zadaci se koriste u lingvistici?

2 / 36

Kada lingvisti koriste kakve empirijske podatke?

Kakvi jezički podaci se koriste u...

• Fonetici?• Morfosintaksi?• Semantici?• Antropološkoj lingvistici?• Sociolingvistici?• Psiholingvistici?• Usvajanju jezika?

• Strukturalizmu?• Kognitivnoj lingvistici?• Funkcionalnoj lingvistici?• Generativnoj lingvistici?

3 / 36

Kada lingvisti koriste kakve empirijske podatke?

Izvori podataka o jeziku

Introspekcija Posmatranje EksperimentNeformalne

Korpusiprocene Eksperimentalnigramatičnosti/ zadaciprihvatljivosti

Napomena: Treća kolona tabele ovde se odnosi na eksperimente u kojimaučestvuju ispitanici koji rade neki jezički zadatak, pri čemu zadatak čini nizpojedinačnih stimulusa na koje ispitanici odgovaraju

4 / 36

Kada lingvisti koriste kakve empirijske podatke?

Od posmatranja do introspekcije i eksperimenta

Oslanjanje na posmatranje dominatno do polovine XX veka

Sredinom XX veka → generativna gramatika → “kognitivnarevolucija” → pomeranja fokusa sa jezika kao teksta na mentalnugramatiku govornika; kritika istraživanja zasnovanih na korpusima:

• Korpusi ne odražavaju jezičku kompetenciju• Broj mogućih rečenica u jeziku je beskonačan, korpusi su konačni• Retke reči i strukture nisu zastupljene u korpusima• Korpusi ne mogu pokazati šta je u jeziku nemoguće

U centar pažnje dolazi introspekcija (pre svega neformalne procenegramatičnosti/prihvatljivosti)

5 / 36

Kada lingvisti koriste kakve empirijske podatke?

Neformalne procene gramatičnosti/prihvatljivosti (?*#)

Bošković, Ž. (in press). Phrasal movement: Wh-movement. In A. Fábregas, J. Mateu,M. Putnam (Eds), The Handbook of Parameters. Bloomsbury.

6 / 36

Kada lingvisti koriste kakve empirijske podatke?

Od introspekcije do eksperimenta i (ponovo) posmatranja

Jezik kao kognitivna sposobnost → raširenije uvođenje eksperimentau (generativna) lingvistička istraživanja

Razvoj računara → sve veća dostupnost korpusa + jačanje lingvističkihteorija koje se oslanjaju na jezičku upotrebu → sveprisutnost posmatranja(korpusa) u lingvistici

Kombinovanje izvora podataka i poređenje rezultata koji se dobijaju

7 / 36

Kada lingvisti koriste kakve empirijske podatke?

Kontinuum između posmatranja i eksperimenta

PosmatranjeKorpusi spontano nastalih tekstovaKorpusi nespontano nastalih tekstova

Podaci dobijeni u terenskim istraživanjimaUpitnici (surveys)

Eksperimenti u kojima se rade uobičajeni jezički zadaciEksperimenti u kojima se rade neuobičajeni jezički zadaci

Eksperiment

8 / 36

Kada lingvisti koriste kakve empirijske podatke?

Korpusi : eksperimenti

Korpusi• Produkcija

• Spontana produkcija• Relativno učestale pojave

Eksperimenti• Produkcija

• Kontrolisana produkcija• I učestale i retke pojave

• Razumevanje• Intuicije• Obrada u realnom vremenu

9 / 36

Kada lingvisti koriste kakve empirijske podatke?

Zašto su eksperimenti poželjan izvor podataka?

Glavne prednosti eksperimenata (u odnosu na korpuse):

• Mogućnost ispitivanja velikog broja pojava• Visok stepen kontrole nad komponentama istraživanja

→ Podešavanje vrednosti relevantnih faktora→ Kontrolisanje faktora koji nisu relevantni

• Jedini način za utvrđivanje uzročno-posledičnih vezaizmeđu pojava

10 / 36

Šta odlikuje eksperimente?

Primer iz psiholingvistike

...

11 / 36

Šta odlikuje eksperimente?

Primer iz psiholingvistike

...

11 / 36

Šta odlikuje eksperimente?

Primer iz psiholingvistike

12 / 36

Šta odlikuje eksperimente?

Primer iz psiholingvistike

12 / 36

Šta odlikuje eksperimente?

Primer iz psiholingvistike

13 / 36

Šta odlikuje eksperimente?

Primer iz psiholingvistike

13 / 36

Šta odlikuje eksperimente?

Komponente eksperimentalnih istraživanja

Glavne komponente eksperimentalnih istraživanja jesu:

• (Relevantno) istraživačko pitanje i hipoteza istraživanja• Odgovarajući uzorak ispitanika i stimulusa• Jasno definisane varijable u istraživanju• Jasno definisan nacrt istraživanja• Inferencijalni statistički testovi

14 / 36

Šta odlikuje eksperimente?

Komponente eksperimentalnih istraživanja

Glavne komponente eksperimentalnih istraživanja jesu:

• (Relevantno) istraživačko pitanje i hipoteza istraživanja• Odgovarajući uzorak ispitanika i stimulusa• Jasno definisane varijable u istraživanju• Jasno definisan nacrt istraživanja• Inferencijalni statistički testovi

14 / 36

Šta odlikuje eksperimente?

Nacrt istraživanja

Nacrt istraživanja je detaljan plan u kome se određuje:

• Koje varijable će se ispitivati• Kako će se varijable meriti

• Kakvi uzorci i procedura će se koristiti• Kako će se rezultati analizirati

15 / 36

Šta odlikuje eksperimente?

Varijable

Varijable (promenljive) su merljive odlike objekata istraživanjakoje mogu imati različite vrednosti

Na primer, ako nas zanima da li naš kognitivni sistem neke oblike pridevaobrađuje brže nego druge, objekat istraživanja su pridevi, a varijable su:

1. Brzina obrade2. Flektivni oblik prideva

Značaj različitih mogućih vrednosti: Da li bi flektivni oblik pridevamogao biti varijabla u istraživanju engleskog jezika?

Varijable nam omogućuju da formulišemo istraživačka pitanja ihipoteze na način adekvatan za inferencijalnu statističku analizu

16 / 36

Šta odlikuje eksperimente?

Podela varijabli

Vrste varijabli prema ulozi koju imaju u nacrtu istraživanja:• Zavisne varijable

→ pojave koje se proučavaju(npr. brzina obrade)

• Nezavisne varijable→ faktori čija veza sa zavisnom varijablom se ispituje(npr. leksikalnost i flektivni oblik prideva)

Nezavisne varijable moraju imati najmanje dve moguće vrednosti,tj. uvek moraju postojati najmanje dva nivoa nezavisne varijable(npr. leksikalnost: reč/pseudoreč; oblik prideva: -ø/-og/-om/-i/-ih/-e)

• Eksperimentalna situacija→ nivo ili kombinacija nivoa nezavisnih varijabli(npr. reč u flektivnom obliku na -i)

17 / 36

Šta odlikuje eksperimente?

Dalje definisanje varijabli

Izuzetan značaj ima i operacionalizacija – odluka o načinu na koji ćese varijable konceptualizovati i meriti

• Teorijska strana: definisanje pojave koju merimo• Kognitivna kompleksnost → brzina obrade• Sintaksička kompleksnost → dužina rečenice – broj klauza

• Statistička strana: način merenja pojave• Prihvatljivost → prihvatljivo/neprihvatljivo – 1, 2, 3, 4, 5, 6, 7• Nivo znanja drugog jezika → početni/srednji/napredni –

A1/A2/B1/B2/C1/C2 – broj poena na testu• Uzrast → mlad(a)/srednjih godina/star(a) – 20, 21, 37, 68, 31, 37...

→ Mnoge varijable mogu se operacionalizovati na više načina

→ Analiza podataka u ogromnoj meri zavisi od toga kako su varijableoperacionalizovane

18 / 36

Šta odlikuje eksperimente?

Merenje varijabli (1)

Prema vrsti merenja:

• Kvalitativne ili kategoričke varijablepol, vrsta reči, vrsta konstrukcije, animatnost, maternji jezik,registar, nivo znanja drugog jezika – početni/srednji/napredni...

• Kvantitativne ili numeričke varijable• Diskretne varijable – vrednost im mora biti ceo broj

apsolutne frekvencije u korpusima (broj reči/karaktera/slogova)...• Kontinuirane varijable – mogu imati ma koju vrednost

uzrast, brzina reakcije, nivo znanja drugog jezika – rezultat na testu...

19 / 36

Šta odlikuje eksperimente?

Merenje varijabli (2)

Merne skale:

• Nominalna skala → kategoričke varijablepol, vrsta reči, vrsta konstrukcije, maternji jezik, registar...

• Ordinalna skala → rangovi, veličina jedinica nije poznata i nezna se da li je udaljenost između rangova jednakapotporučnik ... general, asistent ... redovni profesor,Likertove skale (nimalo se ne slažem ... potpuno se slažem, 1 ... 7)

• Intervalna skala → numeričke varijable sa arbitrarnom nulom ijednakim intervalima između tačaka, bez smislenih razmeraIQ, temperatura (C, F, R; 0◦C=32◦F, 10◦C=50◦F, 20◦C=68◦F)...

• Razmerna skala → numeričke varijable sa realnom nulom(0=odsustvo) i smislenim razmeramatemperatura (K), vreme, frekvencije u korpusima...

20 / 36

Šta odlikuje eksperimente?

Vežba: (Izmišljeno) istraživanje poštapalica (1)

Opišite varijable iz sledeće tabele:

ID Pol Broj Ocena Kontekstpoštapalica poštapalicaI1 m 12 1 formalniI2 ž 10 4 neformalniI3 m 15 3 formalniI4 m 14 5 neformalniI5 ž 9 1 formalniI6 ž 8 3 neformalniI7 m 11 4 formalniI8 ž 10 2 formalniI9 m 13 5 neformalniI10 ž 11 4 neformalni

Koja istraživačka pitanja i hipoteze možemo ispitivati na ovim podacima?

21 / 36

Šta odlikuje eksperimente?

Vrste nacrta (1)

Česti tipovi nacrta prema vrstama varijabli (lista nije iscrpna):

• Frekvencijski nacrti → jedna ili više kategoričkih varijabli(npr. pol i upotreba 610 ili >10 poštapalica)

• Korelacijski nacrti → najmanje dve numeričke varijable(npr. broj upotrebljenih poštapalica i ocena poštapalica)

• Varijansni nacrti → kategorička nezavisna, numerička zavisnavarijabla – najmanje po jedna(npr. kontekst i broj upotrebljenih poštapalica)

Kako izabrati nacrt?

Ponekad priroda varijabli nameće nacrt, dok je nekad moguć izbor uzavisnosti od toga kako se varijable operacionalizuju

22 / 36

Šta odlikuje eksperimente?

Vrste nacrta (2)

Prema broju (zavisnih) varijabli:• Univarijatni nacrti → jedna (zavisna) varijabla• Bivarijatni nacrti → dve (zavisne) varijable• Multivarijatni nacrti → više (zavisnih) varijabli

Prema broju nezavisnih varijabli:• Jednofaktorski nacrti → jedna nezavisna varijabla• Faktorijalni nacrti → više nezavisnih varijabli

• Prema broju varijabli i broju nivoa nezavisnih varijabli:2 x 6, 3 x 4, 2 x 2 x 3 ...

23 / 36

Šta odlikuje eksperimente?

Vrste nacrta (3)

Prema stepenu kontrole:

• Korelacioni nacrti → nizak stepen kontrole• Eksperimentalni nacrti → visok stepen kontrole• Kvazieksperimentalni nacrti → eksperimenti koji nisu zasnovanina slučajnim uzorcima

24 / 36

Šta odlikuje eksperimente?

Uzorci

U istraživanjima jezika gotovo nikada ne postoji pristup populaciji ineophodno je oslanjanje na uzorke

U ovome leži značaj statističke analize:• Deskriptivna statistika - opisuje uzorak• Inferencijalna statistika - omogućuje generalizaciju van uzorka

Uzorci bi trebalo da budu:• Reprezentativni - posebno su poželjni slučajni uzorci

• Prigodni i dobrovoljački uzorci?• Dovoljno veliki - mali uzorci su podložniji nesistematskoj varijaciji

• Koliko je dovoljno?

25 / 36

Šta odlikuje eksperimente?

Još jedna bitna podela uzoraka

Prema raspodeli ispitanika po nivoima nezavisne varijable:

• Nezavisni uzorci → različiti ispitanici učestvuju u različitimnivoima nezavisne varijable(npr. jedna grupa ispitanika čita reči, a druga pseudoreči)

• Zavisni uzorci → isti ispitanici učestvuju u različitim nivoimanezavisne varijable(npr. isti ispitanici čitaju i reči i pseudoreči)

Mešoviti nacrti → uključuju i nezavisne i zavisne uzorke (više grupaispitanika, ispitanici učestvuju u različitim nivoima nezavisne varijable)(npr. ispitanici su grupisani prema polu, pripadnici oba pola čitajui reči i pseudoreči)

26 / 36

Šta odlikuje eksperimente?

Vežba: (Izmišljeno) istraživanje poštapalica (2)

Na kakvim uzorcima se ispituju varijable označene plavom bojom?

ID Pol Broj Ocena Kontekstpoštapalica poštapalicaI1 m 12 1 formalniI2 ž 10 4 neformalniI3 m 15 3 formalniI4 m 14 5 neformalniI5 ž 9 1 formalniI6 ž 8 3 neformalniI7 m 11 4 formalniI8 ž 10 2 formalniI9 m 13 5 neformalniI10 ž 11 4 neformalni

27 / 36

Šta odlikuje eksperimente?

Vežba: (Izmišljeno) istraživanje poštapalica (3)

Na kakvim uzorcima se ispituju varijable označene plavom bojom?

ID Pol Broj Ocena Kontekstpoštapalica poštapalicaI1 m 12 1 formalniI2 ž 8 3 formalniI3 m 15 3 formalniI4 m 10 2 formalniI5 ž 9 1 formalniI1 m 15 4 neformalniI2 ž 12 4 neformalniI3 m 11 3 neformalniI4 m 14 5 neformalniI5 ž 11 4 neformalni

28 / 36

Šta odlikuje eksperimente?

Zadatak - izbor stimulusa

Stimulusi prema modalitetu:• Tekstualni (reči, rečenice...)• Slike/animacije• Video/audio snimci• Predmeti (igračke...)

Stimulusi prema ulozi u nacrtu:• Eksperimentalni stimulusi

→ predmet istraživanja• Distraktori

→ odvlače ispitanicima pažnju sa teme istraživanja

Stimulusi u zadacima gotovo uvek su uzorak mogućih stimulusa

29 / 36

Šta odlikuje eksperimente?

Zadatak - organizacija i prikaz stimulusa

Broj stimulusa:• Obavezno više eksperimentalnih stimulusa po situaciji• Jednak broj stimulusa po situaciji

Prikaz stimulusa:• Negrupisan, idealno nasumičan• Eksperimentalne liste

Raspoređivanje po slučaju (randomizacija) i uravnoteživanje(kontrabalansiranje) stimulusa (i/ili ispitanika)

30 / 36

Šta odlikuje eksperimente?

Šta je još bitno?

Kontrola kvaliteta eksperimenata

Replikabilnost

Konvergentni dokazi

Etika u eksperimentima

Obavezan (pisani) pristanak ispitanika ili njihovih staratelja

31 / 36

Kakvi eksperimentalni zadaci se koriste u lingvistici?

Podele zadataka

Razlike prema oblasti lingvistike

Prema aspektu jezičkog znanja koji se meri:• Zadaci produkcije• Zadaci razumevanja• Zadaci zasnovani na intuicijama

Prema načinu i rezultatu merenja:• Offline zadaci - beleže samo konačni rezultat jezičke obrade• Online zadaci - mere jezičku obradu u realnom vremenu( 6= online zadaci : zadaci na papiru)

32 / 36

Kakvi eksperimentalni zadaci se koriste u lingvistici?

Primeri zadataka

Ispitivanje produkcije Ispitivanjerazumevanja Ispitivanje intuicija

Zadatak povezivanjarečenica

Zadatak proceneistinitosti rečenica

Zadatak proceneprihvatljivosti

Vođena produkcija Zadatak odabira slike Zadatak procene slikeVođena imitacija Zadatak leksičke odluke Zadatak procene veličine

Zadaci čitanjasopstvenim tempom

Praćenje kretanja očiju(eye-tracking)

Detaljniji opis nekih od ovih zadataka, primenjenih u usvajanju drugog jezika,može se naći u Kraš, T. i M. Miličević (2015). Eksperimentalne metode uistraživanjima usvajanja drugoga jezika. Rijeka: Sveučilište u Rijeci.

33 / 36

Kakvi eksperimentalni zadaci se koriste u lingvistici?

Tehnička strana

Softver za eksperimente:• PsychoPy• OpenSesame• IbexFarm• E-Prime ($$$)• SuperLab ($$$)

Online obrasci:• GoogleForms• SurveyMonkey• ProProfs ($, besplatna proba)• Mechanical Turk ($)

34 / 36

Preporuke za čitanje

(1) Arunachalam, S. (2013). Experimental methods for linguists. Language and LinguisticsCompass 7. 221-232.(2) Blom, E. and S. Unsworth (Eds) (2010). Experimental Methods in Language AcquisitionResearch. Amsterdam/Philadelphia: John Benjamins.(3) Gilquin, G. and S. Th. Gries (2009). Corpora and experimental methods: A state-of-the-artreview. Corpus Linguistics and Linguistic Theory 5. 1-26.(4) Kraš, T. i M. Miličević (2015). Eksperimentalne metode u istraživanjima usvajanja drugogajezika. Rijeka: Sveučilište u Rijeci.(5) Litosseliti, L. (Ed.) (2008). Research Methods in Linguistics. London: Continuum.(6) McEnery, T. and A. Hardie (2011). Corpus Linguistics: Method, Theory and Practice.Cambridge: Cambridge University Press.(7) Milas, G. (2009). Istraživačke metode u psihologiji i drugim društvenim znanostima (2.izdanje). Zagreb: Naklada Slap.(8) Podesva, R. J. and D. Sharma (Eds) (2013). Research Methods in Linguistics. Cambridge:Cambridge University Press.(9) Todorović, D. (2008). Metodologija psiholoških istraživanja. Beograd: Centar za primenjenupsihologiju.(10) Tummers, J., K. Heylen and D. Geeraerts (2005). Usage-based approaches in CognitiveLinguistics: A technical state of the art. Corpus Linguistics and Linguistic Theory 1. 225-261.

35 / 36

Hvala na pažnji!