Измерение.Виды шкал. Критерии качества...2012/02/29 ·...

Тема 3 http://soc.hse.ru/socinf/mmci

Измерение. Виды шкал. Критерии качества

Тема 3

© Даудрих Н.И.

http://soc.hse.ru/socinf/mmci

Методология и методы социологического исследования

LOGOСодержание

1. Измерение как моделирование реальности. Виды шкал: номинальная, порядковая, интервальная, относительная

2. Конструирование сумматорных шкал: Лайкерта, Богардуса, Гуттмана, Тёрстоуна

3. Критерии и процедуры оценки качества измерения

2

LOGO

Что такое экстремизм?

1. ИЗМЕРЕНИЕ КАК МОДЕЛИРОВАНИЕ РЕАЛЬНОСТИ. ВИДЫ ШКАЛ

3

LOGOСпецифика измерения в социологии

• Большинства переменных в рамках социологических исследований носят латентный, неявный характер и не могут быть наблюдаемы, измерены непосредственно.

НО:

• Можно разработать специальную шкалу, систему индикаторов, которые позволяет измерить латентную переменную через набор явных, наблюдаемых переменных

• Удовлетворенность работой• Рост

4

• Удовлетворенность работой• Отношение к органам государственной

власти• Склонность к девиантному поведению• Социальный статус • Политические ориентации• Структура мотивации к участию в

голосовании• Образ жизни• Досуговое поведение

• Рост• Цвет волос• Пол• Биологический возраст

(не социальный)

LOGO

Измерение — это процедура, с помощью которой измеряемый объект сравнивается с некоторым эталоном и получает числовое

Измерение: определение

5

эталоном и получает числовое выражение в определенном масштабе и шкале

Ядов В.А.

LOGOЭлементы измерения

Эмпирическая система

Процедура

Символическая система

6

Процедура приписывания

(правила перевода)

LOGOИзмерение и шкалирование

Шкала в социологии – специально сконструированная линейка для измерения интересующих исследователя свойств объекта, т.е. присваивания им числовых значений – меток, шкальных оценок.

Измерение

Готовые шкалы (пример: см, минуты)

Специальные шкалы (пример: социальный статус)

присваивания им числовых значений – меток, шкальных оценок.

7

Правила:• Полнота охвата шкалы• Правило не противоречия• Единое основание классификации

LOGO

Животные подразделяются на:а) принадлежащих Императору,

б) бальзамированных,в) прирученных,

г) молочных поросят,

д) сирен,е) сказочных,

ж) бродячих собак,з) включенных в настоящую

Антипример: китайская классификация животных

8

з) включенных в настоящую классификацию,и) буйствующих, как в безумии,

к) неисчислимых,л) нарисованных очень тонкой кисточкой из верблюжьей шерсти,

м) и прочих,

н) только что разбивших кувшин,о) издалека кажущихся мухами

Борхес Х.Л.

LOGO

Шкала - правило, определяющее, каким образом в процессе измерения каждому изучаемому объекту ставится в соответствие некоторое число

Шкала: определение

9

соответствие некоторое число или другой математический конструкт

Ю.Н. Толстова

LOGOВиды шкал

Классификация С. Стивенсона (1940-е)

Шкалы

Категориальные (не метрические)

Номинальная Порядковая

Числовые (метрические)

Интервальная Шкала

отношений

Группировка Ранжирование На сколько Во сколько

10

Группировка Ранжирование На сколько Во сколько

Назовите, пожалуйста, форму вашей работы?1. Работаю по найму2. Являюсь владельцем

предприятия3. Самостоятельная

занятость4. Не работаю

Как бы вы оценили материальное положение своей семьи?1. Высокое2. Выше среднего3. Среднее4. Ниже среднего5. Низкое6. Затрудняюсь ответить

Сколько вам лет?______ (запишите число)

Сколько человек в вашей семье, включая вас?______ (запишите число)

Оцените, насколько вы согласны с каждым из следующих суждений относительно работы органов власти страны?(от 1 до 5, где 5 – максимально хорошо)Суждение 1Суждение 2Суждение 3И т.п.Итог: сумма ответов

LOGOВиды шкал: логические свойства

Номинальная Порядковая

(баллы, ранги)Интервальная

Шкала отношений

Рефлексивность А=А

Симметричность если А=В, то В=А

Транзитивность

Транзитивностьесли А>В и В>С,

то А>С

Равенство Больше /меньше Интервалы Ноль

Симметричность если А=В, то В=А

Коммутативность А+В=В+А

Субстантивность

Любые числовые операции

11

если А=В и В=С, то А=С

1. Ответ 12. Ответ 23. Ответ 3

a) Ответ 1b) Ответ 2c) Ответ 3


Ответ 1Ответ 2Ответ 3



Субстантивность А=В и А+С=D, то

В+С=D

Ассоциативность (А+В)+С=А+(В+С)


LOGOПримеры шкал

12

LOGOПримеры шкал

13

LOGOПостроение типологии

Если бы Вы сейчас выбирали за какую партию проголосовать на прошлых выборах, то кого бы вы поддержали?

Вспомните, пожалуйста, за какую партию вы проголосовали на прошлых выборах?

За партию

А

За другую

партию

Не помню

За партию А Тип 1 Тип 2 Тип 2

За другую партию Тип 2 Тип 3 Тип 3

Пример логического квадрата

14

За другую партию Тип 2 Тип 3 Тип 3

Не знаю Тип 2 Тип 3 Тип 3

Устойчивые сторонники

LOGOПостроение типологии

Пример логического квадрата на 3 переменных

Типы Голосование на выборах в ГД 2003

Голосование на выборах Президента РФ 2008

Голосование на выборах в ГД 2007

Ядро КПРФ Зюганов КПРФ

Периферия КПРФ Любой ответ КПРФ

Левое болото Любой ответ Любой ответ КПРФ

15

Левое болото Любой ответ Любой ответ КПРФ

7

32

5

5

3

31

8 9

0 10 20 30 40

КПРФ

"Единая Россия"

"ЯБЛОКО"

ЛДПР

СПС

Не определились с выбором

LOGO

2. КОНСТРУИРОВАНИЕ ШКАЛ СУММАТОРНОГО ТИПА

16

LOGOОбщая характеристика

Шкалы сумматорного типа - направлены на измерение скрытого латентного признака, установки по отношению к какому-либо объекту

Сумматорнаяшкала Р. Лайкерта

Шкала равнокажущихсяинтервалов Л. Терстоуна(метод судейских оценок)

17

Шкалограммныйанализ Л. Гуттмана

Р. Лайкерта оценок)

Шкала социальной дистанции Э. Богардуса

LOGOШкала Лайкерта

1. Серия суждений, выражающих разное (обязательно положительное или отрицательное) отношение к измеряемому объекту

2. Респондент оценивает свое отношение к каждому суждению

3. Полученные ответы кодируются для однонаправленности измерения (вес всех суждений одинаков)

4. Все коды суммируются и нормируются – каждый респондент получает индекс отношения к измеряемому объекту

• Степень согласия (от 1 до 5, от 1 до 7)

• Оценку (хорошо/плохо)

• Частоту (часто/редко)

18

(часто/редко)

1 2 3 4 5

-2 -1 0 +1 +2

Униполярные

Биполярные

LOGOПример шкалы Лайкерта: отношение к кофе

Совершенно не согласен

(1)

Скорее не согласен

(2)

Не знаю

(3)

Скорее согласен

(4)

Полностью согласен

(5)

Мне больше нравится чай х

Кофе – это вкусно х

Лучшее начало дня – чашка кофе х

Много кофе вредно х

Оцените по каждому из следующих суждений степень своего согласия или несогласия:

4

4

3

5

5

Инверсия негативной оценки


19

Многие из великих людей любили кофе х

Кофе – слишком сложно готовить х

и т.п.

5

2

Сумма = 23 баллаМаксимум = 6*5=30

Нормированный индекс = (23-6)/(30-6)=71%


LOGOПример шкалы Лайкерта (F-шкала)*

Совершенно не согласен

(1)

Скорее не согласен

(2)

Не знаю

(3)

Скорее согласен

(4)

Полностью согласен

(5)

Дети прежде всего должны приучаться к уважению и послушанию

х

Больше всего нам нужны не программы и законы, а несколько храбрых, неутомимых и преданных лидеров, в которых люди могут верить

х

Коммерсант и промышленник гораздо важнее для общества, чем художник и профессор

х

Каждый должен верить в некую сверхъестественную х

Оцените по каждому из следующих суждений степень своего согласия или несогласия:

2

4

3

20

Каждый должен верить в некую сверхъестественную силу, которую он будет слушаться беспрекословно

х

Бунтующая молодежь с возрастом должна успокоиться х

Молодежи нужна дисциплина, решительность, готовность бороться за семью и родину

х

Оскорбление чести и достоинства всегда нужно карать… х

*Adorno Th. et al. The Authoritarian Personality. N.Y.: Harper & Row, 1950

1

5

4

2

Сумма = 21 баллМаксимум = 7*5=35

Нормированный индекс = (21-7)/(35-7)=50%

LOGOШкала Терстоуна

1. Серия суждений, выражающих разное отношение к измеряемому объекту, охватывает все оттенки установки

2. Экспертам предлагается оценить насколько каждое из суждений выражает установку (разложить карточки с суждениями от 1 до 11)

3. Определить вес каждого суждения (медиана)

4. Выбрать наиболее согласованные суждения (минимальный квартильный размах), которые равномерно охватывающие весь спектр установки

5. Респондент оценивает свое согласие или не согласие с каждым суждением (да/нет)суждением (да/нет)

6. Веса суждений, с которыми респондент согласился, суммируются (вес суждений отличается). Каждый респондент получает индекс отношения к измеряемому объекту

21

LOGOШкала Терстоуна: оценка экспертов

0 1 2 3 4 5 6 7 8 9 10 11

Выражает наименее

благоприятное отношение

Выражает наиболее благоприятное отношение

Суждение 1. Некоторые из мигрантов, без сомнения, сильно превосходят по уровню интеллекта остальных

жителей нашей округи

Отношение к мигрантам

22

Суждение2. Представление о мигрантах как о людях менее целеустремленных и менее трудолюбивых, чем другие, мало соответствует действительности

LOGOШкала Терстоуна: вычисление веса суждения

Пункт шкалы

Число судей, поместивших

суждение в этотпункт

% от общего числа судей

Суммарный(кумулятивный)

процент

0 0 - -1 0 - -

0

10

20

30

40

50

60

70

80

90

100

0 1 2 3 4 5 6 7 8 9 10 11

Медиана

Квартиль 1 (25%)

Квартиль 3 (75%)

23

1 0 - -2 0 - -3 0 - -4 0 - -5 0 - -6 12 4 4 7 12 4 8 8 60 20 23 9 66 22 50 10 90 30 80 11 60 20 100

Итого 300 100

Вес суждения 9,0 баллов

Размах = 1,6 (9,8-8,2)

LOGOШкала Терстоуна: оценка респондентов

Согласен Не согласен

Некоторые из мигрантов, без сомнения, сильно превосходят по уровню интеллекта остальных жителей нашей округи

х

Представление о мигрантах как о людях менее целеустремленных и менее трудолюбивых, чем другие, мало соответствует действительности

х

Хотя, конечно, каждая социальная группа вправе выделяться среди других групп,

х

Веса (медиана)

8,5

5,6

3,8

5,6

3,8

24

вправе выделяться среди других групп, мигранты все же чересчур склонны не уважать права и собственность других людей

Многие жители нашей округи относились бы к студентам лучше, если бы в их поведении было меньше самоуверенности, аморальных поступков, случаев пьянства

х

и т.п.

2,1

Сумма = 9,4 баллаМаксимум = 11*2=22

Индекс (среднее) = 9,4/22=43%

LOGOШкала Богардуса

• Респондентам предлагается 7 кумулятивных суждений, относящихся к определенной социальной группе.

• Респонденты выбирают максимально возможный приемлемый уровень (чем выше балл, тем дальше дистанция).

Проранжируйте представителей указанной национальности, отмечая степень приемлемости их для себя лично только по одному из семи предложенных ниже критериев. Отвечайте по принципу: для меня лично возможно и желательно в отношении людей данной национальности

вариант Л.Г. Почебут

возможно и желательно в отношении людей данной национальности (номер ответа – это величина балла).

1. Принятие как близких родственников посредством брака.2. Принятие как личных друзей.3. Принятие как соседей, проживающих на моей улице.4. Принятие как коллег по работе, имеющих ту же профессию, что и я.5. Принятие как граждан моей страны.6. Принятие только как туристов в моей стране.7. Предпочел бы не видеть их в моей стране.

25

LOGOШкала Богардуса

Перед Вами (А) список утверждений и (Б) список групп.

А. Для каждой группы из предложенного списка укажитеединственно верное для Вас утверждение, которое может стать завершением следующей фразы: Для меня лично возможно и желательно принять представителяданной группы:

§ 1. как близкого родственника (например, партнера по браку)

§ 2. как близкого друга

§ 3. как соседа по дому

4. как коллегу по работе

Открытость (толерантность) - до 4 баллов

Национальная

§ 4. как коллегу по работе

§ 5. как гражданина моей страны

§ 6. как гостя (туриста) в моей стране

§ 7. Я не хотел бы видеть его в моей стране

Б. Список групп составляется в соответствии с целямиисследования. При необходимости в список могут быть включены приверженцы политических партий и общественных движений

26

Национальная обособленность- от 4 до 5 баллов Национальная

изолированность- от 5 до 6 баллов

Ксенофобия- более 6 баллов

LOGOШкала Богардуса: США

Англичане

Канадцы

Французы

Испанцы

Русские

Чехи

1926

1966

Социальная дистанция: американцы

2,21,9

1 2 3 4 5

Чехи

Евреи

Мексиканцы

Японцы

Негры

Китайцы

Среднее

27

LOGOШкала Богардуса: Украина*

Украинцы

Русские

Белорусы

Евреи

1992

2005

Социальная дистанция: украинцы

28

4,65,4

0 1 2 3 4 5 6 7

Венгры

Американцы

Немцы

Цыгане

Среднее

*Головаха Е.И., Панина Н.В. Национальная толерантность и идентичность в Украине: опыт применения шкалы социальной дистанции в мониторинговом социологическом исследовании // Социологический журнал. 2006. №3-4.

LOGOШкала Гуттмана

1. Принцип кумулятивности – одномерная шкала, монотонно возрастающая степень отношения к какому-либо социальному объекту.

2. Шкала состоит из серии суждений, выражающих нарастание установки – более сложные действия, сильные установки включают простые, слабые («лестница»). Предъявляются в разбивку.

3. Респондент высказывает согласие или не согласие с серией суждений.

4. Ответы кодируются: знак «+» приписывается ответу, который отражает измеряемое свойство, а

29

Участие в голосовании

Партийный активист

Выдвигается в депутаты

ответу, который отражает измеряемое свойство, а знак «-» альтернативным ответам (доля «ошибок» – не более 10%).


Благоустроенность жилья:•Солнечные батареи•Интернет•Телефон•Отопление•Горячая вода•Электричество•Холодная вода•Канализация

30

•Канализация


Респондент №1 №2 №3 №4 №5 №6 И т.п.

Интересуется политикой

+ + + + + + -

Ходит на выборы + + - + - - -

Партийный активист + - + - + - -

Выдвигает свою кандидатуру

- - - - - - -

31

«Ошибки» –несоответствие данных случаев основному допущению шкалы.

Коэффициент воспроизводимости(общая ошибка применения шкалы):1- (число ошибок/число суждений*число респондентов)

Пример: 1- [2/(4*6)]=92%

LOGO

3. КРИТЕРИИ КАЧЕСТВА ИЗМЕРЕНИЯ

32

LOGOТипы ошибок

Ошибки

Ошибки регистрации

(наблюдения)

Ошибки интерпретации

33

Систематические Случайные

LOGOСистематические ошибки регистрации

Ошибки выбора объекта:•Давление доступных объектов•Недостаточный учет малодоступных объектов

•Ошибка «скрытой материи»

Ошибки людей:•Респондент сознательно врет•Неосознаваемые искажения•Ошибка интервьюера

Ошибки инструментария:•Неправильное проектирование вопросника

•Ошибка операционализации переменных

Ошибка времени проведения опроса:•Иллюзия постоянства переменных•Обстоятельства проведения опроса

переменных

34

LOGOКритерии качества измерения

Надежность - устойчивость измерения, хорошая воспроизводимость результатов, т.е. получение одинаковых (в пределах погрешности) результатов для каждого объекта при повторных измерениях

Валидность - соответствие шкалы цели измерения, отражение содержания измеряемого концепта

Полнота охвата – шкала должна позволять каждому объекту приписать определенное числовое значение

Непротиворечивость - отнесение объекта только к одному шкальному значению

Одномерность (гомогенность) – наличие единого основания Одномерность (гомогенность) – наличие единого основания классификации, шкала не должна смешивать разные переменные

Равномерность (линейность) - расстояние от одной позиции до другой на шкале должно быть примерно одинаковым

Точность – степень чувствительности шкалы, оптимальная дробность, дающая устойчивое измерение без систематических погрешностей

35

LOGO

Высокая Низкая

Надежность и валидность

Надежность воспроизводимость результатов – несколько измерений дают сопоставимые результаты

прогноза явки

Валидность соответствие измеренных данных концепту

Вы

сок

ая

Валидность < Надежности

36

данных концепту (использование специальных процедур перехода от декларируемой избирательной активности к прогнозу явки)

Вы

сок

ая

Н

изк

ая

LOGO

Надежность проявляется в разбросе значений при многократном замере одного и того же признака по одной и той же методике

Надежность: определение

37

той же методике

Жабский М.И.

LOGOНадежность измерения

Дисперсия ошибки

Дисперсия наблюдения

38

LOGOМетоды измерения надежности

Инструмент Время Объект Регистратор

•Метод альтернативных форм

•Метод расщепления шкалы

•Анализ внутренней

•Метод тест-ретест

•Метод подвыборок

•Альтернативный регистратор

•Использованиенескольких методов для получения аналогичной информации

консистентности шкалы

39

LOGOМетод альтернативной формы

0 1 2 3 4 5 6 7 8 9 10 11

Шкала 1

Шкала 2

10-12 дней

Объект (одна и та же группа респондентов)

0 1 2 3 4 5 6 7 8 9 10 11

40

Результаты измерения 1 Результаты измерения 2

Коэффициент корреляции

Пирсона = 0,9

№анкеты

Индекс (шкала 1)

1 10

2 20

3 50

4 40

5 30

6 60

И т.п.

№анкеты


1 20

2 20

3 60

4 50

5 30

6 50

И т.п.

!!! Не ниже 0,7

LOGOКоэффициент корреляции Пирсона

Где средние значения выборок x и y

линейно зависимы

линейно не зависимы

41

№ анкеты Индекс (шкала 1)


1 10 20

2 20 20

3 50 60

4 40 50

5 30 30

6 60 50

Среднее 35 38

Коэффициент корреляции = 0.9

(10-35)*(20-38)+(20-35)*(20-38)+…

[(10-35)2+(20-35)2…. ]*[(20-38)2+(20-38)2…]

1450

1611

LOGOМетод расщепления шкалы

0 1 2 3 4 5 6 7 8 9 10 11

Объект (одна и та же группа

респондентов)

Шкала

Коэффициент корреляции между

частями шкалы

Итоговый коэффициент корреляции

42

Результаты измерения

0 1 2 3 4 5 6 7 8 9 10 11

Часть 1 Часть 2

Коэффициент корреляция (+коррекция по формуле

Спирмена-Брауна)

Коэффициент корреляции с коррекцией= 0.79

2*0,65

1+0,65

Пример: коэффициент корреляции =0,65

LOGO

Коэффициент Альфа Кронбаха =

Анализ внутренней консистентности шкалы


43

Кронбах Л.

Общая дисперсия

шкалы

Дисперсия отдельных

суждений шкалы

Число суждений

шкалы

LOGOАнализ внутренней консистентности шкалы

0 1 2 3 4 5 6 7 8 9 10 11




Шкала

Альфа Кронбаха= 0,93

(4-1)

4

21,5

21,5-(2,2+1,7+1,3+1,3)

х

44

№ анкеты Суждения шкалы Индекс

1 2 3 4

1 3 3 3 3 12

2 2 4 4 2 12

3 1 1 2 1 5

4 5 4 5 4 18

5 3 4 3 3 13

Среднее 2,8 3,2 3,4 2,6 12,0

Дисперсия 2,2 1,7 1,3 1,3 21,5

Если убрать суждение 1, то Альфа Кронбаха = 0,90суждение 2 – 0,93суждение 3 – 0,91суждение 4 – 0,89

Наименее консистентное суждение №2

LOGOДисперсия

Дисперсия Дисперсия суждения 1= 2,2

(3-2,8)2+(2-2,8)2+(1-2,8)2+(5-2,8)2+(3-2,8)2

(5-1)

Значение суждения по каждому из

45

Среднее значение суждения по всем

респондентам

каждому из респондентов

№ анкеты Суждения шкалы Индекс

1 2 3 4

1 3 3 3 3 12

2 2 4 4 2 12

3 1 1 2 1 5

4 5 4 5 4 18

5 3 4 3 3 13

Среднее 2,8 3,2 3,4 2,6 12,0

Дисперсия 2,2 1,7 1,3 1,3 21,5

Число респондентов

LOGOМетод тест-ретест

0 1 2 3 4 5 6 7 8 9 10 11

Измерение 1

3 недели



0 1 2 3 4 5 6 7 8 9 10 11

Измерение 2

46

Результаты измерения 1 Результаты измерения 2



№анкеты

Индекс

1 10

2 20

3 50

4 40

5 30

6 60

И т.п.

№анкеты

Индекс

1 20

2 20

3 60

4 50

5 30

6 50

И т.п.


LOGOМетод подвыборок

0 1 2 3 4 5 6 7 8 9 10 11

Объект 1 (одна группа


Объект 2 (другая группа респондентов)

Результаты объекта 1 Результаты объекта 2

№ Индекс № Индекс

47



№анкеты

Индекс

1 10

2 20

3 50

4 40

5 30

6 60

И т.п.

№анкеты

Индекс

1 20

2 20

3 60

4 50

5 30

6 50

И т.п.


LOGOАльтернативный регистратор

0 1 2 3 4 5 6 7 8 9 10 11

Объект (группа респондентов)


№ Интервьюер 1 Интервьюер 2 Интервьюере 3

Интервьюер 1 (респонденты 1,2)

Интервьюер 2(респонденты 3,4)

Интервьюер 3 (респонденты 5,6)

!!! Не менее 30 анкет на 1 интервьюера

48

T-критерий Стьюдента (тестирование

различия средних)

№анкеты

Интервьюер 1 Интервьюер 2 Интервьюере 3

1 10

2 20

3 50

4 60

5 30

6 40

Среднее 15 55 35

LOGOНабор различных способов получения информации

0 1 2 3 4 5 6 7 8 9 10 11

Объект (группа респондентов)

Анкетирование Он-лайн опрос

Телефонное

49


Парные коэффициенты

корреляции

Телефонное интервью

Интервью по месту жительства

LOGO

Валидность означает пригодность тестовых результатов для той цели, ради чего проводилось тестирование

Валидность: определение

50

Аванесов В.С.

LOGOТипы валидности

Валидность

Конструктная (оценка

соответствия концептуальной

модели)

Критериальная

(оценка соответствия внешнему

эмпирическому критерию)

Содержательная (степень соответствия предметной области)

Экспертные оценки, наличие в

Внешняя (сравнение с

другими переменными)

Внутренняя (сравнение с

другими показателями той же переменной)

Текущая Прогностическая

51

Корреляция с другими критериями, например, IQ и

школьные оценки

Совпадение прогноза с результатами, например,

явка на выборы

Экспертные оценки, общая адекватность получаемых

результатов теории, концепции

Экспертные оценки, наличие в шкале всех элементов измеряемого концепта

LOGOМетоды измерения валидности

Метод «известных групп»: предварительно разбиваем на группы с высоким и низким значением измеряемого признака и в каждой группе используем тестируемую шкалу

Прогностическая валидизация: измеряем признак на большой совокупности респондентов, ждем развития ситуации и по ее итогам корректируем, проверяем шкалу

52

Теоретическая валидизация: обсуждение с экспертами о степени соответствия шкалы теории, на которой она основывается

LOGO

53

Измерение.Виды шкал. Критерии качества...2012/02/29 ·...

Documents

Transcript of Измерение.Виды шкал. Критерии качества...2012/02/29 ·...