1

ЭКСПЕРИМЕНТАЛЬНЫЕ МЕТОДЫ В ПСИХОЛИНГВИСТИКЕ

Ирина А. Секерина ▪ College of Staten Island ▪ CUNYSekerina@mail.csi.cuny.edu

Московский семинар по когнитивной науке28 апреля 2005

2

ПЛАН

Когнитивная наука и психолингвистика Психология и лингвистика Лингвистика и психолингвистика

Понимание как ведущее направление в психолингвистике

Экспериментальные методы: Опосредованные и непосредственные методы

Запись движений глаз: Классический и новый методы

3

ПЛАН

Новый метод записи движений глаз (бесконтактный): Visual world paradigm Аппарат для записи движений глаз (ISCAN

ETL-500)

Репрезентативные темы: 1. Анализ предложения в процессе

понимания (английский и русский) 2. Просодия и контраст (русский)

4

Когнитивная наука и психолингвистика

Когнитивная наука

Психология Психолингвистика

ЛингвистикаВычислительнаялингвистика

Компьютернаянаука

НейролингвистикаКогнитивнаянейронаука

5

Психолингвистика в широком смысле

Психолингвистика это междисциплинарная наука, которая ставит своей задачей понять следующее:

• как дети (и взрослые) усваивают язык;• как они пользуются языком – понимание и

производство;• каковы биологические предпосылки языка (язык

и мозг).

6

Психолингвистика в широком смысле

(1) Понимание и производство речи взрослыми носителями языка: Речь идет о родном языке Взрослые без отклонений в языковом развитии

(2) Усвоение языка: Усвоение родного языка детьми Усвоение второго языка взрослыми (и детьми)

(3): (1) и (2) с использованием методов когнитивной нейронауки

(4) Расстройства речи: Афазия и синдромы с расстройством речи (Дауна,

Уильямса) Возрастные расстройства речи

7

Психолингвистика в узком смысле

Психолингвистика в узком смысле

занимается изучением того, как нормальные взрослые производят и понимают язык (и речь), используя для этого экспериментальные методы, позаимствованные из когнитивной психологии.

8

ЛИНГВИСТИКА И ПСИХОЛИНГВИСТИКА

Psycholinguistics

Фонетика Фонология

Понимание Производство

Лингвистика Психолингвистика

Восприятиеречи

Речевыеошибки

МорфологияЛекс. семантика

Ментальныйлексикон

СинтаксисАнализ

предложенияСемантикаСемантика/прагматика

9

ПСИХОЛОГИЯ И ЛИНГВИСТИКА

(1) Исследование конкретного явления:

Психология Лингвистика

сенсорное восприятие структура языка

память история языка

научение усвоение языка

язык использование

10

ПСИХОЛОГИЯ И ЛИНГВИСТИКА

(2) Выдвижение гипотезы или разработка модели

(3) Сбор данных с целью проверки гиотезы или модели

(4) Интерпретация полученных результатов

11

ПОНИМАНИЕ

Каким образом нам удается вообще понимать речь, которую мы слышим, или предложения, которые мы читаем?

Как мы проникаем за поверхностные рамки, чтобы воссоздать скрытую структуру каждого высказывания?

Проблема: изучаемые объекты нельзя наблюдать непосредственно, только опосредованно.

12

ПОНИМАНИЕ: ТЕМЫ

идентификация/распознавание слов;лексический доступ к словарной статье

в ментальном лексиконе;синтаксический анализ предложения в

процессе понимания.

13

ЭКСПЕРИМЕНТАЛЬНЫЕ МЕТОДЫ

1. Опосредованные методы (off-line): исследуют процесс понимания после того, как

он уже завершился; не связаны с записью времени реакции,

которое уходит на процесс понимания (субъективная оценка информантов);

нельзя измерить нагрузку на аппарат понимания.

14

2. ЭКСПЕРИМЕНТАЛЬНЫЕ МЕТОДЫ

2. Непосредственные методы, или операционные методы (on-line): Исследуют процесс понимания по мере того,

как он происходит; записывается время реакции (сколько

времени уходит у испытуемого на анализ); можно измерить нагрузку на аппарат

понимания.

15

ОПОСРЕДОВАННЫЕ МЕТОДЫ

Устная речь: Письменный язык:

локализация щелчка опросники и анкеты

(click detection)

“метод расширения” повтор предложения

(gating)

заканчивание предожения

16

НЕПОСРЕДСТВЕННЫЕ МЕТОДЫ

Устная речь: Письменный язык:

МОНИТОРИНГ

-- фонемы чтение с саморегуляцией

-- слога скорости

-- слова “лексическое решение”

“аудиторное запись движений глаз

окно” (классический вариант)

кросс-модальный прайминг

запись движений глаз

17

КАК ВЫБРАТЬ МЕТОД?

Область психолингвистикиПроверочная гипотезаСуществующая научная традицияЛабораторные возможности

18

ЛИНГВИСТИКА И ПСИХОЛИНГВИСТИКА

Psycholinguistics

Фонетика Фонология

Понимание Производство

Лингвистика Психолингвистика

Восприятиеречи

Речевыеошибки

МорфологияЛекс. семантика

Ментальныйлексикон

СинтаксисАнализ

предложенияСемантикаСемантика/прагматика

19

ЗАПИСЬ ДВИЖЕНИЙ ГЛАЗ

Классический метод: Используется с 1970-х гг. Используется при чтении Контактный: Требуется иммобилизация

головы испытуемого

Новый метод: Используется с 1995 года Используется с устной речью Бесконтактный: Движения головы не

ограничены

20

ЧТО ИЗМЕРЯЕТСЯ?

Характеристики движений глаз: Саккады = движения глаз (30-50 мсек) Между саккадами глаза останавливаются =

фиксации (200-300 мсек)

Зависимые переменные: Длина саккад Длительность фиксаций Совокупность всех фиксаций Регрессивные саккады

21

КЛАССИЧЕСКИЙ МЕТОД

Rayner, K. (1998). Eye Movements in Reading and Information Processing: 20 Years of Research. Psychological Bulletin, 124(3), 372-422.

22

НОВЫЙ МЕТОД: ISCAN ETL-500

Tanenhaus, M. K., & Spivey-Knowlton, M. J. (1996). Eye-Tracking. Language and Cognitive Processes, 11(6), 583-588.

23

ФИРМЫ-КОНКУРЕНТЫ

Borg Technologies, Inc.

24

ISCAN ETL-500

Демонстрация чтения с помощью данного аппарата

25

ИСТОРИЯ БЕСКОНТАКТНОГО МЕТОДА

Бесконтактный метод записи движений глаз стал активно использоваться в психолингвистике с 1995 г.

Первые исследования опубликованы группой Майкла Таненхауса и его учениками (университет г. Рочестера, штат Нью-Йорк).

26

ЛАБОРАТОРИИ

Rochester University (M. Tanenhaus)University of Pennsylvania (J. Trueswell)University of York (G. Altmann)Brown University (J. Sedivy)Cornell University (M. Spivey)Michigan State University (F. Ferreira)Harvard University (J. Snedeker)

27

РЕПРЕЗЕНТАТИВНЫЕ ТЕМЫ (1)

1. Анализ предложения в процессе понимания: Присоединение предложной группы

2. Семантика и референтность: Прилагательные

3. Просодия и контраст (фокус)4. Распознавание слова в устной речи5. Морфология в парадигме визуального

мира6. Двуязычие и ментальный лексикон

28

1. АНАЛИЗ ПРЕДЛОЖЕНИЯ

Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., & Sedivy, J. C. (1995). Integration of Visual and Linguistic Information in Spoken Language Comprehension. Science, 268(5217), 1632-1634.

Взаимодействие синтаксической структуры и визуального контекста в процессе устного понимания (временно) многозначных предложений

29

ПРОЦЕСС АНАЛИЗА ПРИ ПОНИМАНИИ

В процессе слушания/чтения люди не ждут конца предложения, чтобы начать его понимать;

Интерпретация предложения осуществляется поэтапно, но очень быстро;

При этом мы постоянно пытаемся угадать значение фразы во время ее анализа.

30

СТРУКТУРНАЯ МНОГОЗНАЧНОСТЬ

ГЛОБАЛЬНАЯ:

Мать любит дочь.

Чтение Маяковского продолжалось за полночь.

Мужу изменять нельзя.

В публикациях такого рода данные отсутствуют.

Иван Николаевич был направлен на завод директором.

31

СТРУКТУРНАЯ МНОГОЗНАЧНОСТЬ

ВРЕМЕННАЯ:

Иван искал девушку в ...

... метро.

... платье.

Банки стимулируют...

... рост производства.

...обещания вернуть Финляндию.

32

ПРЕДЛОЖЕНИЯ “ЗАБЛУЖДЕНИЯ”

Garden-Path (“to lead down the garden path”)

Иван искал девушку в ...

....метро.

...платье. *** (предложение

заблуждения)

Банки стимулируют...

...рост производства. ....обещания вернуть Финляндию. ***

(предложение заблуждения)

33

ПРИСОЕДИНЕНИЕ ПРЕДЛОЖНОЙ ГРУППЫ

Положите лошадку на полотенце.

Положите лошадку на полотенце в миску.

Присоединение ПГ1 на полотенце временно многозначно:

Как указание места для глагола положитеКак модификация существительного лошадку

34

ПРИСОЕДИНЕНИЕ ПРЕДЛОЖНОЙ ГРУППЫ

Положите лошадку на полотенце...

-- Предпочтение отдается указанию места.

Положите лошадку на полотенце в миску.

-- Временная многозначность снимается, и необходимо перейти от интерпретации места к интерпретации модификации.

35

ДИЗАЙН

36

ЭКСПЕРИМЕНТНЫЕ ФАКТОРЫ (1)

ВИЗУАЛЬНЫЙ КОНТЕКСТ:

1 РЕФЕРЕНТ 2 РЕФЕРЕНТА

37

РЕЗУЛЬТАТЫ

ЭКСПЕРИМЕНТАЛЬНЫЙ ФАКТОР (2): Временно многозначная структура:Положите лошадку на полотенце в миску.

Немногозначная структура:Положите лошадку,которая на полотенце, в миску.

ЗАВИСИМЫЕ ПЕРЕМЕННЫЕ: Действия: Правильность выполнения (%) Движения глаз:

• Пробы, в которых есть движения глаз на пустое полотенце (%)

• Временная разверстка движений глаз, мсек

38

КОНТЕКСТ: 1-РЕФЕРЕНТ

1 2

3

4

39

КОНТЕКСТ: 2-РЕФЕРЕНТ

1

2

40

ДЕЙСТВИЯ И ПРОБЫ

0

10

20

30

40

50

60

70

80

Inco

rrec

t A

ctio

n (%

of T

rial

s)

Unsupportive Supportive

Context

adult means

Unambiguous ("Put the frog that's on the...")

Ambiguous ("Put the frog on the napkin in the box.")

1-Referent 2-Referent0

10

20

30

40

50

60

70

80

Loo

ks to

Fal

se D

estin

atio

n(%

of T

rial

s)

Unsupportive Supportive

Visual Context

1-Referent 2-Referent

41

2-РЕФЕРЕНТ, НЕМНОГОЗНАЧНОЕ

frog napkin boxPut

-.2

0

.2

.4

.6

.8

1Pr

opor

tion

of F

ixat

ions

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

105

110

115

CDFDOtherTarget

Time from onset of "put" (in 1/30 second ticks)

42

2-РЕФЕРЕНТ, МНОГОЗНАЧНОЕ

Put frog napkin box

-.2

0

.2

.4

.6

.8

1

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

105

110

115

CDFDOtherTarget

Time from onset of "put" (in 1/30 second ticks)

43

1-РЕФЕРЕНТ, НЕМНОГОЗНАЧНОЕ

frog napkin boxPut

-.2

0

.2

.4

.6

.8

1Pr

opor

tion

of F

ixat

ions

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

105

110

115

CDFDOtherTarget

Time from onset of "put" (in 1/30 second ticks)

44

1-РЕФЕРЕНТ, МНОГОЗНАЧНОЕ

frog napkin boxPut

-.2

0

.2

.4

.6

.8

1

Prop

ortio

n of

Fix

atio

ns

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

105

110

115

CDIDOtherTarget

Time from onset of "put" (in 1/30 second ticks)

45

РУССКИЙ ВАРИАНТ

46

3 ГРУППЫ ИСПЫУЕМЫХ

Русскоговорящие: Взрослые: студенты филфака МГУ (январь

2003 г.), средний возраст 20.7 лет Дети: 4-6 лет, С.Петербург (июнь 2003 г.)

Двуязычные взрослые: студенты Городского университета Нью-Йорка

47

3 ГРУППЫ ИСПЫУЕМЫХ

ПАДЕЖ, НЕМНОГОЗНАЧНОЕ: Положите лошадку на полотенце и в коробку. Положите лошадку на тарелку и в коробку.

ПАДЕЖ, МНОГОЗНАЧНОЕ Положите лошадку на полотенце в коробку. Положите лошадку на тарелке в коробку.

48

ВЫВОДЫ

Взрослые испытуемые обращают внимание на контекст (визуальный).

Имеет место взаимодействие синтаксической структуры и визуального контекста в процессе понимания (временно) многозначных предложений. Можно избежать неправильного анализа предложений “заблуждения”.

Гибкий характер процесса анализа предложения.

49

КОНТРАСТИВНОСТЬ ПРИЛАГАТЕЛЬНЫХ

НО: SEDIVY (2003) не удалось повторить результаты.

Медленное время реакции: “Now touch the yellow bowl.”

Быстрое время реакции:“Now touch the yellow comb.”

SEDIVY ET AL. (1999):

СЕМАНТИЧЕСКОЕ ОБЪЯСНЕНИЕ: выражение контраста для цветовых прилагательных не является обязательным.

ПРАГМАТИЧЕСКОЕ ОБЪЯСНЕНИЕ: Можно придать функцию контраста цветовым прилагательным, если выбрать реальный предмет и изменить немаркированный цвет: желтый банан коричневый банан.

“Touch the pink comb…

50

КОНТРАСТИВНОСТЬ И ПРОСОДИЯ

Можно ли вызвать (или усилить) функцию контраста при помощи манипуляции лингвистических средств, например, просодии?

НО: SEDIVY ET AL. (1999):

Манипуляция просодии не имела успеха:

“Now touch the YELLOW comb”“Now touch the yellow comb.”

51

ПОРЯДОК СЛОВ В РУССКОМ ЯЗЫКЕ

Можно вызвать необязательную функцию контраста для цветовых прилагательных, когда прагматика позволяет использовать синтаксическую конструкцию в сочетании с контрастивной просодией.

ПРЯМОЙ ПОРЯДОК СЛОВ

Положите красную звездочку…

SPLIT WORD ORDER

Красную положите звездочку…

Прагматика визуального контекста. Обязательно наличие контрастного ударения на одном

из 2ух компонентов: на ИГ или на прилагательном.

52

РУССКИЙ ЭКСПЕРИМЕНТ

ИСПЫТУЕМЫЕ 24 студента филфака

СПбГУ

ЗАДАНИЕ Прослушать и

выполнить инструкции по перемещению картинок на доске

ДИЗАЙН Визуальный контекст х

Просодия

53

ВИЗУАЛЬНЫЙ КОНТЕКСТ

1-КОНТРАСТ 2-КОНТРАСТ

Несвязанные Связанныеконтрастивные пары контрастивные пары

54

ДИЗАЙН

1-КОНТРАСТ 2-КОНТРАСТ ПРОСОДИЯ:

КРАСную положите звёздочку в Позицию 4. РанняяКрасную положите ЗВЁЗдочку в Позицию 4. Поздняя

55

РЕФЕРЕНТНАЯ МНОГОЗНАЧНОСТЬ

Существительные “звёздочка” и “птичка” создают референтную многозначность, поскольку они оба красного цвета и женского рода.

красную…

звёздочку птичку

56

ЧЕГО СЛЕДУЕТ ОЖИДАТЬ? Испытуемые должны БЫСТРЕЕ выбрать правильную

картинку в ...визуальном контексте с 1 контрастом, чем с 2 контрастами

Наличие ранней просодии на прилагательном должно усилить этот эффект.

57

ПРОЦЕДУРА И АНАЛИЗИНСТРУКЦИИ

‘Посмотрите на крест. Красную положите звёздочку в Позицию 4. Теперь положите зелёную лягушку в Позицию 3.’

3 ЗОНЫ для анализа движений глаз:

Прилагат. Глагол Существит.Красную положите звёздочку

58

0

.2

.4

.6

.8

1

Pro

babili

ty o

f FIx

ations, %

1 5 9 13 17 21 25 29 33 37 41 45 49 53 57

COMPETTARGET

ДВИЖЕНИЯ ГЛАЗ: звёзочка - птичка

2-КОНТРАСТ, ОБА ТИПА ПРОСОДИИ

Нужно ждать существительного

Никакого взаимодействия с просодией

1 2 1 2

Красную положите звёздочку

59

ДВИЖЕНИЯ ГЛАЗ: звёзочка - птичка

1 2 1 2

Преимущество звёздочки

Взаимодействие с просодией в Прилаг. 2

1-КОНТРАСТ, ОБА ТИПА ПРОСОДИИ

Красную положите звёздочку

0

.2

.4

.6

.8

1

Pro

babili

ty o

f FIx

ations, %

1 5 9 13 17 21 25 29 33 37 41 45 49 53 57

COMPETTARGET

60

1-КОНТРАСТ, РАННЯЯ ПРОСОДИЯ

1 2 1 2

Преимущество звёздочки

Красную положите звёздочку

0

.1

.2

.3

.4

.5

.6

.7

.8

.9

Pro

babili

ty o

f FIx

ations, %

1 5 9 13 17 21 25 29 33 37 41 45 49 53 57

COMPETTARGET

61

1-КОНТРАСТ, ПОЗДНЯЯ ПРОСОДИЯ

1 2 1 2

0

.2

.4

.6

.8

1

Pro

bab

ility

of F

Ixat

ions,

%

1 5 9 13 17 21 25 29 33 37 41 45 49 53 57

COMPETTARGET

Преимущества звёздочки нет

Красную положите звёздочку

62

Discussion

How do pragmatic and prosodic constraints interact in resolving referential ambiguity during on-line processing of contrastive constituents in RUSSIAN?

Both pragmatic properties of the visual context and prosodic characteristics of spoken instructions rapidly affect referential ambiguity resolution.

63

Contrastive ProsodyENGLISH vs. RUSSIAN

The effect of contrastive prosody is not consistent in English: it was found in some studies but not others.

Our Russian experiment demonstrated a strong effect of contrastive prosody that emerged much earlier than in those English studies that did find contrastive color effects (Sedivy, 2003).

In English, identification of the target referent was shown to happen at 300 ms AFTER the onset of the NOUN.

In Russian, the target could be identified 500 ms BEFORE the NOUN.

64

The Power of Russian

Why did some of English experiments fail to find the effect of contrastive prosody in referential ambiguity resolution compared to the Russian experiment?

The critical difference must lie in linguistic instantiation of contrastiveness between the two languages:

Contrast can be marked grammatically in Russian, adding to effects of context and prosody.

65

Contrastiveness in English and RussianCONTRASTIVENESS was instantiated by the following means:

ENGLISH: RUSSIAN

Pragmatics: Visual context

Prosody: Contrastive stress

Pragmatics: Visual context

Prosody: Contrastive stress

Grammar: Split word order construction

66

Referential Functions of Structure

IMPORTANT POINT: Our rapid effects of reference and interpretation occur in a non-canonical structure:

Split Word Order

A complex structure is much easier to process when the context supports its referential function.

Similar conclusions were drawn regarding non-canonical structures in Finnish, where word-order conveys informational status (Kaiser & Trueswell, in press)

SO… Non-canonical word orders serve specific pragmatic and referential functions that can be deployed in real-time.

67

РЕПРЕЗЕНТАТИВНЫЕ ТЕМЫ (1)

1. Анализ предложения в процессе понимания: Присоединение предложной группы

2. Семантика и референтность: Прилагательные и местоимения

3. Просодия и контраст (фокус)4. Распознавание слова в устной речи5. Морфология в парадигме визуального

мира6. Двуязычие и ментальный лексикон

68

РЕПРЕЗЕНТАТИВНЫЕ ТЕМЫ (2)

СПЕЦИАЛЬНЫЕ ГРУППЫ ИСПЫТУЕМЫХ: Дети (

The kindergarten-path effect: Studying on-line sentence processing in young children. Trueswell, J. C.; Sekerina, I. А.; Hill, N. M.; Cognition, 73(2), 1999. pp. 89-134.)

Аутисты (Visual fixation patterns during viewing of naturalistic social situations as predictors of social competence in individuals with autism. Klin, A., Jones, W., Schultz, R., Volkmar, F., & Cohen, D. Archives of General Psychiatry, 59, 2002. pp. 809-816.)

Двуязычные взрослые и взрослые, усваиваюшие второй язык.

69

СПАСИБО ЗА ВНИМАНИЕ!

Контактный электронный адрес:

sekerina@mail.csi.cuny.edu