Monitoring report ue_net_ukr_full

123
Листопад, 2012 року МОНІТОРИНГ ПРОЦЕСУ АНОНІМНОГО ТЕСТУВАННЯ КАНДИДАТІВ НА ПОСАДУ СУДДІ, ПРОВЕДЕНЕ ВККСУ 5 ЧЕРВНЯ 2012 РОКУ РЕКОМЕНДАЦІЇ ЩОДО ПОКРАЩЕННЯ ПРАВИЛ АДМІНІСТРУВАННЯ, ОЦІНЮВАННЯ ТА ШКАЛЮВАННЯ АНОНІМНОГО ТЕСТУ Контракт No. AID-121-C-11-00002 Автор: Сергій Мудрук, Міжнародна громадська організація Універсальна екзаменаційна мережа” (UEnet), президент, експерт з тестування кандидатів на посаду судді, Проект USAID «Справедливе правосуддя»

Transcript of Monitoring report ue_net_ukr_full

Листопад, 2012 року

МОНІТОРИНГ ПРОЦЕСУ АНОНІМНОГО ТЕСТУВАННЯ КАНДИДАТІВ НА ПОСАДУ СУДДІ, ПРОВЕДЕНЕ ВККСУ 5 ЧЕРВНЯ 2012 РОКУ РЕКОМЕНДАЦІЇ ЩОДО ПОКРАЩЕННЯ ПРАВИЛ АДМІНІСТРУВАННЯ, ОЦІНЮВАННЯ ТА ШКАЛЮВАННЯ АНОНІМНОГО ТЕСТУ

Контракт No. AID-121-C-11-00002 Автор: Сергій Мудрук, Міжнародна громадська організація “Універсальна екзаменаційна мережа” (UEnet), президент, експерт з тестування кандидатів на посаду судді, Проект USAID «Справедливе правосуддя»

Погляди автора, викладені у даній публікації, не обов’язково відображають офіційну точку зору Агентства США з міжнародного розвитку (USAID) або Уряду Сполучених Штатів Америки.

ЗМІСТ 1. Вступ 4 2. Мета і методи моніторинга 4 3. Cпівпраця з ВККСУ в процесі моніторинга 6 4. Обраний Комісією підхід до адміністрування екзамена 6 5. Анонімне тестування і стандарти екзаменування 7 5.1. Міжнародні стандарти екзаменування 7 5.2. Історична справка щодо застосовуваних в Україні державних стандартів у сфері оцінки персонала

7

5.3. Застосування Стандартів до роботи ВККСУ 8 5.4. Завади відповідності стандартам екзаменування 8 6. Норма чи критерій ? 9 7. На що націлене, і на що має бути націлене анонімне тестування ? 9 8. Яке тіло знань і наскільки глибоко має оцінювати анонімне тестування ? 10 9. Рівень вимог та пробний тест (приклад теста) 11 10. Відкритість vs. конфіденційність 12 11. Процедура подання документів кандидатами 12 12. Аналіз відповідності Стандартам 13 13. Аналіз практики 18 14. Адміністрування 20 15. Щодо обробки робіт кандидатів 27 16. Розкриття інформації ВККСУ 27 16.1. Не анонсовані зміни опублікованих даних 28 16.2. Технічні помилки в П.І.П. кандидатів 28 16.3. Наслідки дискваліфікації питань 28 16.4. Щодо способу дискваліфікацій екзаменаційних запитань. 30 16.5. Щодо віку кандидатів 31 16.6.Гендерний розподіл 32 17. Аналіз оціночної інформації 32 17.1.Надійність і валідність 33 17.2. IRT аналіз 33 17.3. Збалансованість складності запитань 33 17.4. Вгадування 35 17.5. Кореляційний та факторний аналіз 36 18. Узагальнення спостереженнь та висновки 37 19. Рекомендації 41 20. Заключна частина 41 Додаток А: Методика моніторинга UEnet 46 Додаток Б: IRT аналіз тесту 05.06.2012 в натуральній шкалі 59

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту

3

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 4

1. ВСТУП Проект USAID «Справедлива, незалежна та відповідальна судова влада України» (скорочена назва – Проект USAID «Справедливе правосуддя») розпочав свою роботу в Україні 1 жовтня 2011 року. Метою Проекту є підтримка законодавчої, нормативної та інституційної реформи судових установ з метою зміцнення відповідальності та незалежності судової влади України. Його основними завданнями є підтримка діяльності USAID/Україна, спрямованої на укріплення верховенства права, демократії та управління шляхом: 1. приведення нормативно-правової бази судової реформи у відповідність до європейських та міжнародних норм задля підтримки відповідальності та незалежності судової системи; 2. підвищення рівня прозорості та відповідальності діяльності ключових судових установ; 3. підвищення професіоналізму та ефективності судової системи України; та 4. посилення ролі громадських організацій, які будуть відстежувати та популяризувати судову реформу. У відповідності до завдань, поставлених перед Компонентом 2.1, Проект працює над розбудовою потенціалу Кваліфікаційної комісії суддів України (ВККСУ) щодо розробки та запровадження об’єктивного, заснованому на досягненнях добору кандидатів на посаду судді через запровадження анонімного тестування.

У цій роботі наведено результати моніторингу процессу адміністрування другого загальнонаціонального анонімного тестування кандидатів на посаду судді вперше, що відбулось в м.Київ 05 червня 2012 року. Мета цього документа – запропонувати рекомендації щодо покращення процесу адміністрування анонімного тестування. Рекомендації ґрунтуються на спостереженні та аналізі процессу адміністрування , а також встановленні його відповідності вітчизняним та міжнародним стандартам. Моніторинг проводився силами Міжнародної громадської організації «Універсальна екзаменаційна мережа» (надалі – Uenet) за ініціативи Проекту USAID «Справедлива, незалежна та відповідальна судова влада України» (надалі – Проект USAID «Справедливе правосуддя») та за погодженням із Вищою кваліфікаційною комісією суддів України (ВККСУ). Далі по тексту під ВККСУ розуміється як Секретаріат ВККСУ, так і безпочередньо члени Комісії. Через багатосторонній і різнорідний характер виконаних моніторингових робіт, основні висновки і рекомендації, разом з аргументацією, включено безпосередньо в текст розділів звіту. В заключній частині наведено рекомендації, що носять маштабний або критичний характер. 2. МЕТА І МЕТОДИ МОНІТОРИНГУ Метою моніторингу було:

1. з'ясування відповідності екзаменаційної діяльності ВККСУ до національних (ДСТУ), офіційних міжнародних (ISO) та загальновизнаних (AERA) стандартів екзаменування у галузі сертифікації персоналу;

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 5

2. спостереження за прозорістю адміністрування тесту, створення рівних умов для

всіх учасників тестування та дотримання інтересів кандидатів; 3. аналіз якості тесту непрямими методами (експрес IRT аналіз – додається); 4. напрацювання пропозицій / дорадчої допомоги щодо можливих покращень

процедур тестування ВККСУ. Зокрема в процесі моніторингу спостерігачі задавали собі наступні запитання:

1. чи екзамен адекватно/належним чином вимірює релевантні знання та професійні компетенції кандидатів;

2. чи екзаменування надійне та валідне; 3. чи до всіх кандидатів ставлення було справедливе та об’єктивне; 4. чи не було кандидатів, яким було надано переваги щодо інших кандидатів, або чи

не виглядало так (складалося враження), що комусь були надані переваги; 5. чи обрана адекватна методологія оцінки; 6. чи адекватно поставлена задача на екзаменування; 7. чи було продемонстровано достатньо поважне ставлення до кандидатів; 8. чи достатньо збережена приватність кандидатів; 9. чи адекватно виконувалося розкриття (публікація) екзаменаційної інформації.

Моніторинг проводився з дотриманням стандартної загальної методики UEnet - моніторингу сертифікаційних екзаменів (Додаток А). Через брак ресурсів і часу методика моніторингу не проходила деталізацію та адаптацію під специфічні особливості технології тестування кандидатів ВККСУ, тому застосовувались лише відповідні положення Методики. Паралельно з UEnet моніторинг анонімного тестування проводив також Центр Судівських Студій (ЦСС). Методика моніторинга UEnet та Робочі зошити спостерігача були передані ЦСС. Ми ознайомились з попереднім звітом ЦСС і відмітили часткове співпадіння структури подачі зауважень з структурою методики моніторінга UEnet. Звертає на себе увагу також використання ЦСС певних термінів специфічних для UEnet. Судячи з усього стандартна методика UEnet була творчо опрацьована і частково використана Центром суддівських студій. Це робить можливою певну координацію моніторингової діяльності в подальшому. Серед принципів роботи при проведенні моніторингу нами використовувалось самообмеження з метою: 1) недопущення втручання спостерігачів в оперативну роботу по адмініструванню теста; 2) самообмеження доступу до чутливих даних і інформації ВККСУ (наприклад, в процесі

моніторингу ми не отримували доступ до текстів екзаменаційних питань, та до будь-якої чутливої інформації про кандидатів).

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 6

3. CПІВПРАЦЯ З ВККСУ В ПРОЦЕСІ МОНІТОРИНГА В першу чергу вважаємо за необхідне відзначити глибокий рівень і конструктивність співпраці з представниками громадськості, на які пішла державна структура в особі ВККСУ в процесі здійснення моніторингу її екзаменаційної діяльності. Напрацьовані пропозиції оперативно приймались Комісією до розгляду і велика їх частина була схвально прийнята. Підтвердженням цього є опубліковане 18.05.2012 Положення про анонімне тестування, в якому врахована велика кількість експертних зауважень і пропозицій, що висловлювались на зустрічі з працівниками Секретаріату 15.05.2012. Варто особливо відзначити високий (практично маскимальний) ступінь доступу та свободу пересування, що Комісія надала незалежним спостерігачам в день проведення тестування. Все це свідчить про бажання Комісії максимально прозоро проводити анонімне тестування і удосконалювати діяльність. Необхідно зазначити, що частина зауважень/пропозицій, викладених в розділі 14. Адміністрування, могла б бути сформульована нами та передана до ВККСУ (і з великою ймовірністю прийнята Комісією) ще до проведення тестування, якби в надзвичайно стислому та насиченому періоді підготовки до тестування 5 червня, нам вдалося отримати фінальні версії «технологічних карт» і встигнути обговорити їх з працівниками ВККСУ. 4. ОБРАНИЙ КОМІСІЄЮ ПІДХІД ДО АДМІНІСТРУВАННЯ ЕКЗАМЕНА При проведенні масових екзаменаційних заходів з кількістю кандидатів, що складає тисячі, існує два протилежних підходи до адміністрування екзаменів:

1) розподіл всього загалу кандидатів на певну кількість локацій (екзаменаційних центрів) з невеликою кількістю кандидатів в кожній з них. Загальна кількість кандидатів в кожному екзаменаційному центрі розбивається на стандартні університетські аудиторіі для проведення традиційного «вузівського» адміністрування екзамену;

2) проведення адміністрування в одній локації, в великому приміщенні неучбового призначення з достатньою площею для розміщення всіх кандидатів одночасно.

Загальновизнані недоліки першого підходу: • принципова неможливість забезпечення єдиного стандарту екзаменування; • логістика екзаменаційних матеріалів легко компрометується; • великі ризики щодо збереження конфіденційності;збільшені корупційні ризики.

Другий підхід при правильній реалізації позбавлений недоліків першого підходу, тому у світовій практиці його, як правило, обирають відомі ліцензуючі та сертифікуючі організації з високою репутацією та багаторічним досвідом. Тим не менш, при всіх перевагах другого підходу, йому притаманні дуже високі вимоги до підготовки адмініструючого персоналу, він вимагає детального планування і ідеальної координації. Тому такий підхід вважається методом адміністрування підвищеної складності. Кваліфікаційна комісія досить сміливо обрала другий підхід.

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 7

Не зважаючи на довгий перелік виявлених недоліків (див. розділ 14. «Адміністрування»), результат ми вважаємо за більш ніж прийнятний, особливо враховуючи, що таке адміністрування проводилось ВККСУ вперше. 5. АНОНІМНЕ ТЕСТУВАННЯ І СТАНДАРТИ ЕКЗАМЕНУВАННЯ 5.1. МІЖНАРОДНІ СТАНДАРТИ ЕКЗАМЕНУВАННЯ Найбільш авторитетним, повним і детальним набором стандартів (щодо процесу екзаменування) у світі на сьогодні є «Standards for educational and psychological testing» створених і прийнятих трьома поважними американськими організаціями AERA, APA, NCME (Американська асоціація освітніх досліджень, Американська психологічна асоціація та Національна рада вимірювань в освіті відповідно). На нашу думку передчасним є постановка запитання щодо відповідності екзаменаційної діяльності ВККСУ до стандартів AERA/APA/NCME. Ці стандарти містять велику кількість норм і принципів (259 стандартів на майже 200 сторінках), значна частина яких є нормами прямої дії, до того ж в самому тексті стандартів містяться роз'яснення та інтерпретації, що не дозволяє розширювально розглядати норми цих стандартів і занадто гнучко їх застосовувати. На відповідність стандартам AERA/APA/NCME слід розглядати повністю зрілі стабільні систи екзаменування, що мають не аби який досвід, відшліфовані екзаменаційні процедури та усталені внутрішні системи противаг і уникнення конфліктів інтересів. В той самий час, міжнародний стандарт ISO/IEC 17024 є дуже загальним стандартом, що містить лише декілька обов’язкових серйозних норм і принципів (головним чином щодо організаційної спроможності та конфліктів інтересів). Розглядати питання щодо відповідності екзаменаційної діяльності ВККСУ до цього стандарту -- цілком слушно і реалістично на сьогодні даному етапі. Тим більше, що на сьогодні в Україні діє національний стандарт, що відповідає ISO 17024, а саме ДСТУ ISO/IEC 17024:2005. 5.2. ІСТОРИЧНА СПРАВКА ЩОДО ЗАСТОСОВУВАНИХ В УКРАЇНІ ДЕРЖАВНИХ СТАНДАРТІВ У СФЕРІ ОЦІНКИ ПЕРСОНАЛА Історично першим стандартом в царині оцінки персоналу (щодо дорослого населення, зайнятого в професійній діяльності) в Україні був Міждержавний стандарт СНД: ГОСТ 30488-97, що є еквівалентом Європейського стандарту EN 45013-89. Цей стандарт було введено в дію в якості Державного стандарта з 01.01.2000р. Пізніше, Наказом Держспоживстандарту №90 від 14.04.2005 цей стандарт було скасовано з наступним введенням в дію з 01.10.2006 нового стандарту, що є еквівалентом міжнародного стандарта ISO 17024. Повна назва національного стандарта, що діє зараз: ДСТУ ISO/IEC 17024:2005 «Оцінювання відповідності. Загальні вимоги до органів, що здійснюють сертифікацію персоналу» (еквівалент ІSO/ІEC 17024:2003, ІDT)

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 8

5.3. ЗАСТОСУВАННЯ СТАНДАРТІВ ДО РОБОТИ ВККСУ Вища кваліфікаційна комісія суддів України на сьогодні очевидно є «органом, що здійснює сертифікацію персоналу», тому підпадає під дію відповідного стандарту. Статті ДСТУ ISO/IEC 17024:2005 сформульовано у досить загальний і простий спосіб. Це дозволяє ВККСУ в порівняно короткі строки виконати всі вимоги цих стандартів, але за умови поетапної акуратної ревізії пов'язаних з іспитами процедур, норм і інституційних засад. Особливо, якщо виконувати ревізію за підтримки партнерів/експертів, досвідчених у сфері виконання норм цих стандартів. На сьогодні стандарт ДСТУ ISO/IEC 17024:2005 в значній мірі не виконується Комісією, і ми детально показуємо це далі в тексті. Чи є це невиконання Державного стандарту правопорушенням? Відповідь – ні, тому, що: -- виконання стандартів в Україні є справою добровільною, ст.11 Закону України «Про стандартизацію» стверждує: “Стандарти застосовуються на добровільній основі» -- ВККСУ виконує перш за все вимоги Закону «Про судоустрій та статус суддів» та інші релевантні закони і підзаконні акти, тому в контексті про можливе правопорушення слід оцінювати в першу чергу саме таке виконання. Ми поверхнево (через брак ресурсів) дослідили питання виконання міжнародного стандарта ISO 17024 ліцензуючими та сертифікуючими державними органами низки країн ЄС та СНД. Виконання вимог ISO 17024 державними органами (навіть так званих розвинених країн) в своїй власній роботі по ліцензуванню професійної діяльності, виявилось явищем не повсюдним. В багатьох випадках ліцензуючі державні органи делегують досить складну екзаменаційну діяльність професійним недержавним установам, екзаменаційна робота яких повністю відповідає ISO 17024. Прецеденти такого делегування державними органами складної екзаменаційної діяльності є і в Україні (наприклад – Держгірпромнагляд). Відповідно до відомої світової практики, на побудову (створення) досконалої та відкритої системи сертифікаційного/ліцензійного екзаменування у державних органів чи саморегулюючих професій може піти багато років, іноді десятиліть. Наразі можна констатувати, що система екзаменування ВККСУ (щонайменше в частині анонімного тестування) прогресує швидко і успішно. Тому, судячи з досягнутого в порівнянні з 2011 роком прогресу, наші українські перспективи є дуже оптимістичними. 5.4. ЗАВАДИ ВІДПОВІДНОСТІ СТАНДАРТАМ ЕКЗАМЕНУВАННЯ При всьому бажанні удосконалювати екзаменаційну роботу, що демонструє наразі ВККСУ, на заваді відповідності роботи ВККСУ стандартам екзаменування стоять, в тому числі, певні недоліки законодавчо-нормативного поля, в якому працює Комісія.

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 9

Надання можливості для ВККСУ працювати у відповідності до міжнародних та українських стандартів є питанням політичної волі і законодавчих ініціатив. І в цьому питанні допомогли б надання Комісією роз’яснень та пропозицій законодавцю. Детальніша інформація щодо відповідності/невідповідності стандартам екзаменування наведена, разом з рекомендаціями в наступних розділах. Якщо вдасться не загальмувати швидкість позитивних змін (включно з законодавчо-нормативними змінами), то протягом одного-двох років відбір кандидатів на посаду судді вперше в Україні зможе стати зразком дотримання міжнародних стандартів для аналогічних систем в інших країнах. 6. НОРМА ЧИ КРИТЕРІЙ ? Об’єктом подальшої роботи над нормативною та законодавчою базою іспитів має стати поступовий перехід від нормо-орієнтованого підходу до критерій-орієнтованого підходу у визначенні рівня вимог до кандидатів, і, відповідно, до визначення прохідних балів. Зараз при визначенні прохідних балів виконується приблизне планування конкретної кількості кандидатів, що мають скласти іспит, незалежно від загальної кількості допущених до іспиту кандидатів, і, найголовніше, незалежно від рівня їх підготовки. Застосування нормо-орієнтованого підходу не перешкоджає змагальності у відборі, але не дозволяє управляти рівнем компетентності кандидатів, що пройшли відбір, ясно і прозоро встановлювати мінімальні стандарти компетентності для призначення вперше, і, в підсумку, не націлене на безпосереднє пряме стимулювання зростання рівня компетентності осіб, що призначаються суддями вперше. Для забезпечення щонайменше мінімально-допустимого по якості рівня відправлення правосуддя призначеними вперше суддями навіть у самих “не рейтингових” судах, необхідно забезпечити не просто відбір кандидатів, успішних відносно групи допущених до іспитів кандидатів. Натомість необхідно здійснювати відбір кандидатів, успішних відносно критеріїв компетентності. Поточна екзаменаційна робота ВККСУ повністю відповідає закріпленому в нормативній базі цього екзаменування нормо-орієнтованому підходу, тому для стратегічного покращення результатів діяльності слід поступово переглянути законодавчу і нормативну базу для іспитів. 7. НА ЩО НАЦІЛЕНЕ, І НА ЩО МАЄ БУТИ НАЦІЛЕНЕ АНОНІМНЕ ТЕСТУВАННЯ? У відповідності до чинного законодавства, метою проведення анонімного тестування є оцінка рівня загальних теоретичних знань кандидатів у галузі права. Іншими словами, якщо в склад анонімного тесту буде включено запитання для визначення рівня здатності застосовувати правові знання чи рівня здатності проводити аналіз ситуацій в розрізі правових знань, то це формально буде порушенням вимог законодавства, оскільки такі запитання оцінюють не знання, а більш високі когнітивні рівні досягнень і здібності кандидата, ніж просто знання. Таким чином, наявність такого роду запитання в тесті дехто

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 10

може розглядати як незаконне, як пред'явлення не передбачених Законом «Про судоустрій та статус суддів» завищених вимог до кандидатів. Поточна офіційна постановка задачі для анонімного тестування є очевидно завуженою, і практика цього екзаменування напевне de facto виходить за рамки перевірки лише знань. Зокрема, опубліковані заздалегідь на офіційному сайті ВККСУ приклади п'яти екзаменаційних питань, формально кажучи, перевіряють не стільки знання (тобто просто запам'ятовування), як розуміння і застосування матеріалу. Крім того, виконавши аналіз грейдингової (оцінювальної) інформації тестування 05.06.2012 і 22.05.2011 ми можемо стверджувати, що велика кількість запитань цього теста відповідає не рівню «знання», а щонайменше рівню «розуміння» і більш високим рівням. Визначення рівня загальних теоретичних знань кандидата у галузі права є не більше ніж оцінка підсумку формального освітнього процесу, що особисто пройшов кандидат. Така задача є дуже доречною в учбовому процесі. Але у випадку із ВККСУ мова йде не про учбовий процес, а про кваліфікаційний процес, про оцінку професійної компетенції, в якій знання (особливо загальні) є лише однією із багатьох складових. Зараз Комісією відповідно до законодавства вибудовується наступний ланцюжок: попередній відбір (анонімне тестування) спеціальнапідготовка в національній школі суддів України (надалі - НШСУ) кваліфікаційний іспит. Оптимальна функція анонімного тестування в такому ланцюжку повинна була би полягати виключно у відборі найбільш перспективних кандидатів, з точки зору вкладення в них державних коштів на їх спеціальну підготовку, з метою успішного складення ними кваліфікаційного іспиту. В такому випадку на анонімному тестуванні слід оцінювати не лише формальні загальні знання, але й правниче мислення кандидата, його здатність до професійного судження та аналізу у застосуванні права. Такі речі є невідємною складовою професійної компетентності судді, і, на відміну від спеціальних знань, не можуть бути сформовані у кандидата в результаті кілька місячної спеціальної підготовки в НШСУ. Тобто, вони або є у кандидата на момент успішного складання анонімного тестування (і тоді спеціальна підготовка такого кандидата в НШСУ є доцільною з точки зору державних інтересів), або їх немає, як і шансів на те, що за декілька місяців до кваліфікаційного іспиту вони з’являться, тому вкладення державних коштів в такого кандидата є недоцільним. Таким чином, ми настійливо рекомендуємо спонукати зміни формулювань законодавчо-нормативної бази, щоб в задачі анонімного тестування включались оцінки правничих когнітивних здібностей кандидата не лише на рівні “знання”, але й на більш високих рівнях, включно з “розумінням”, “застосуванням”, “аналізом”, і, навіть, “оцінкою”. Після налагодження вказаного вище ланцюжка «Попередній відбір (анонімне тестування) спеціальнапідготовка в НШС кваліфікаційний іспит» анонімне тестування за своїм змістом має стати близьким до того, що зараз планується як зміст тестової частини кваліфікаційного іспиту, в якому тепер з’являться запитання на вищі когнітивні рівні. 8. ЯКЕ ТІЛО ЗНАНЬ І НАСКІЛЬКИ ГЛИБОКО МАЄ ОЦІНЮВАТИ

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 11

АНОНІМНЕ ТЕСТУВАННЯ ? За загальноприйнятими нормами, технічне завдання (таксономія) на публічне екзаменування високого рівня повинно бути:

1. загальнодоступним публічним документом; 2. містити структурований опис тіла знань/умінь/навичок/компетенцій, які

покликаний оцінювати іспит – тобто перелік розділів / підрозділів; 3. щонайменше по основних розділах опис повинен містити параметри ширини

охоплення матеріалу (відсоток в загальному тілі знань тесту), та глибини опанування (тобто когнітивні рівні: застосування, аналіз, оцінка та інші);

4. іспит повинен оцінювати виключно те, що описане в технічному завданні (таксономії).

Опублікована ВККСУ Програма анонімного тестування (іспиту) кандидатів на посаду судді на виявлення рівня загальних теоретичних знань у галузі права (надалі – Програма анонімного тестування) не є таксономією, оскільки не містить в собі двох важливих елементів, згаданих в п.3 вище. Проте, разом з нормами 3.3 та 3.7 Положення про порядок складення кандидатами на посаду судді анонімного тестування (іспиту) та методику його оцінювання від 18.05.2012 (надалі - Положення про анонімне тестування) Програма анонімного тестування умовно може бути визнана в якості неповноцінної (неповної) таксономії, в якій прямо задано перелік тем (Програма), непрямо задано ширину охоплення (п.3.7 Положення) і ніяк не задано глибину опанування. Експерти з моніторингу рекомендують:

підготувати і опублікувати першу робочу версію таксономії анонімного тестування на основі рекомендацій внутрішньої робочої групи, яку варто організувати для створення цієї таксономії;

в подальшому формувати таксономію у відповідності до поточних результатів Аналізу практики;

виключити з Положення про анонімне тестування норми, релевантні для таксономії.

Ідея відносин двох документів (Положення і Таксономія) полягає в тому, що Положення стає постійним незмінним документом після налагодження всіх екзаменаційних процедур. Що стосується Таксономії, то періодично (раз на рік чи рідше) вона міняєтся відповідно до зміни вимог щодо компетенції за результатами Аналізу практики. Мати Положення, що постійно змінюється, і незмінну Програму – найгірша з можливих ідей. 9. РІВЕНЬ ВИМОГ ТА ПРОБНИЙ ТЕСТ (ПРИКЛАД ТЕСТУ) Ми не мали доступу до текстів питань анонімного тестування, але провели (з нагоди публікації вищевказаного зразка з п'яти запитань на сайті ВККСУ) експеримент в офісі екзаменаційної мережі. Декільком співробітникам, що мають вищу не юридичну освіту, було надано 8-9 хвилин на відповідь на 5 опублікованих запитань. Середня успішність виявилась 3,5 правильних відповідей з 5 (або еквівалент 70 балів з 100). Це свідчить про те, що, з одного боку, рівень вимог анонімного тестування до кандидатів не є справді жорстким, але, найголовніше, зміст запитань анонімного тестування не є специфічними і

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 12

не є орієнтованими саме на юристів-практиків (адже до кандидатів висувається вимога щодо юридичного стажу), і не є занадто специфічними щодо саме освіти, отриманої за юридичною спеціальністю. Зрозуміло, що в дійсності такі висновки формально не можна робити лише на основі дрібного локального експеримента по невеликій кількості питань. Проте, вищевикладене є підгрунтям для нашої настійливої рекомендації опублікувати не окремий набір питань, а повний приклад всього іспиту, щоб кандидати і громадськість змогли ознайомитись з прикладом цілісного інструмента для оцінки кандидата. Враховуючи проведені пробації запитань, а також наявність якісної аналітики по двох тестуваннях 2012. і 2011 років, ми вважаємо, що нескладно буде скомпонувати такий «пробний тест», чи приклад тесту, який був би збалансований, і не містив би проблемних запитань, які викликали б публічну критику. Іншими словами, зараз є з чого кваліфіковано вибрати 100 безпроблемних перевірених запитань. 10. ВІДКРИТІСТЬ VS. КОНФІДЕНЦІЙНІСТЬ Комісія продемонструвала глибоку секторальну відкритісь при проведенні анонімного тестування. Вирогідно це є на часі і необхідно суспільству для поступового подолання кризи недовіри до системи призначення суддів. В майбутньому, при досягненні стабілізації позитивної суспільної репутації системи призначення суддів, рекомендується делікатніше відноситись до конфіденційної персональної інформації кандидатів, і, можливо, трохи зсунути баланс з бажання ВККСУ до максимальної відкритості первиних видів інформації в бік конфіденційності певних даних кандидатів, зокрема екзаменаційних невдач (статус «НЕ склав») кандидатів і таких персональних даних, як точна дата народження. Вище згадано, що продемонстрована відкритість була секторальною. Це означає, що при активній відкритості процедур і інформації в одних областях, в іншіх допустимих для відкритості областях була продемонстрована повна закритість. Див., наприклад, розділ 4.8 в частині Звіту про відповідність Стантартам, щодо відсутності будь-яких згадувань процедур надійності і безпеки по генерації екзаменаційних модулів (наборів з 100 питань) і ключів для перевірки. Можна вимагати перевірки/експертизи програмного забезпечення автоматизованої системи, що вибирає тестові запитання і генерує ключ для перевірки. Але, в дійсності, ми не бачимо в цьому сенсу, тому, що більше значення має не якість використовуваного програмного забезпечення, а режим його використання конкретними посадовими особами і режими доступу разом з розумними процедурами внутрішнього контролю якості і безпеки. 11. ПРОЦЕДУРА ПОДАННЯ ДОКУМЕНТІВ КАНДИДАТАМИ Щодо процедури подання документів кандидатами. Із спілкування спостерігачів з кандидатами сладається враження про:

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 13

• недостатність проведеної роз'яснювальної роботи із кандидатами ВККСУ щодо процедури подання документів;

• певну запізненість кроків ВККСУ по організації черги через web. Очевидно, що в завершальний період подання документів висновки було зроблено, тому очікуємо, що наступні кампанії прийому документів пройдуть без недоліків. 12. АНАЛІЗ ВІДПОВІДНОСТІ СТАНДАРТАМ Відповідно до стандарту ДСТУ/ISO 17024:2005, впевненість у відповідних схемах (в нашому випадку – в процедурі допуску майбутнього судді до професійної діяльності) досягається шляхом:

1) загальноприйнятого процесу оцінки (анонімного тестування та кваліфікаційного екзаменування, в нашому випадку);

2) наступного нагляду; та 3) періодичного контролю компетентності ліцензованих/сертифікованих спеціалістів

(в нашому випадку – призначених/обраних). Стандарт накладає вимоги на широкий перелік аспектів роботи органу ліцензування/сертифікації професійної діяльності, а не лише на екзаменаційний компонент. Тому, здійснюючи спостереження (моніторинг), ми розглядали діяльність ВККСУ в ширшому, ніж спосіб проведення екзаменів, контексті. В цій частині звіту, для зручності, у викладі наших зауважень та рекомендацій ми будемо дотримуватись структури тексту Стандарта (ДСТУ/ISO 17024:2005) і йти по його розділах.

Розділ 4.2. Організаційна структура Стандарт накладає певні вимоги на організаційну структуру органу сертифікації та види взаємодії підрозділів. Зокрема, у перших трьох пунктах розділу 4.2 Стандарту мова йде про вимоги до організаційної структури для забезпечення компетентності, неупередженності та цілістності, а також про так званий «Комітет схеми». Ми бачимо на сьогодні складності з відповідністю ВККСУ вимогам пунктів 4.2.1-4.2.3 стандарта стосовно внутрішньої організаційної структури ВККСУ. Проте, з особистого спілкування із ВККСУ нам відомо про усвідомлення складності і важливості екзаменаційної і пов'язанних з нею діяльностей ВККСУ. А, найголовніше, ми сподіваємось на усвідомлення необхідності певних змін і доповнень організаційної структури ВККСУ. Звертаємо особливу увагу на необхідність створення (чи реорганізації з наданням необхідних ресурсів і повноважень) підрозділу, що, користуючись термінологією Стандарта, взяв би на себе суттєву частину функцій «Комітету по схемі сертифікації». Зокрема, мова йде про відносно ресурсо місткий напрямок «Аналіз практики» (practice analysis) та напрямок актуалізації екзаменаційної таксономії, як основного елементу «Схеми сертифікації» в термінах Стандарта (див. окремий розділ цього Звіту – «Аналіз практики»).

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 14

Звертаємо також увагу на можливу проблематичність з відповідністю вимогам п.4.2.5 Стандарту щодо певних аспектів взаємовідносин ВККСУ та НШСУ. В п.4.2.5 Стандарту мова йде про незалежність процесу підготовки тестів та процесу оцінки. Аналіз нормативної документації та спостереження фактичного стану справ у виробничих відносинах ВККСУ та НШСУ, НШСУ та ВНЗ України не виконувався. Хоч таке завдання можливо не є на часі як високопріоритетне, проте, ми рекомендуємо не відкладати на довго таке дослідження щодо специфічних відносин «організатори навчання» «орган сертифікації». Ми констатуємо також певні проблеми щодо відповідності вимогам п.4.2.6 Стандарту (в цьому пункті Стандарту мова йде про роботу зі скаргами та апеляціями). Ми спостерігаємо налагоджену роботу ВККСУ зі скаргами в основних сферах роботи ВККСУ крім однієї: апеляції кандидатів щодо результатів іспитів. Законодавство, підзаконні та нормативні акти не передбачають право кандидата на апеляцію за результатами анонімного тестування (іспиту) і відповідно роботу ВККСУ з апеляціями кандидатів. Тому, поточний стан справ можна вважати задовільним лише з точки зору формальної відповідності законодавству. Наша рекомендація полягає в тому, щоб ВККСУ створив прозору систему роботи з апеляціями. Це не вступає в протиріччя з законодавством, яке не забороняє мати систему розгляду апеляцій для письмового тестування. Враховуючи безкоштовність цього процесу для кандидатів та реалістичність загрози очікування масової подачі апеляцій, ми готові надати консультаційну підтримку ВККСУ в створенні системи апелювання. Варто зазначити, що певна сурогатна/часткова система апеляцій вже існує de facto, оскільки:

1) кандидатам надана можливість звертатись з проханням про ознайомлення із своєю екзаменаційною роботю;

2) ВККСУ фактично превентивно проводить розгляд потенційно спірних ситуацій (наприклад: випадки можливої невідповідності кода роботи);

3) ВККСУ фактично розглядає скарги кандидатів по суті екзаменаційних запитань. Дещо, з нашої точки зору, можна покращити вже зараз, ще до створення системи апеляцій. В нормативній документації (Положенні про анонімне тестування) вказано про можливість для кандидата вмотивовано звертатись до ВККСУ з проханням про ознайомлення з його роботою. Але в нормативній документації, на жаль, нічого не вказано щодо критеріїв, за якими ВККСУ розглядає такі звернення кандидата і нічого не вказано про необхідність для ВККСУ вмотивовувати своє рішення про ненадання можливості для кандидата ознайомитись зі своєю роботою. З нашої точки зору варто врегулювати таку несправедливу несиметричність відносин ВККСУ кандидат. Щодо п.4.2.7 Стандарту (в ньому мова йде про необхідність залучення достатньої кількості фахівців з необхідним досвідом, підготовкою і технічними знаннями), то на даний момент ця норма Стандарту частково виконується завдяки підтримці донорського Проекту USAID «Справедливе правосудді». Наша рекомендація полягає в тому, щоб ВККСУ, з одного боку, поступово налагоджувла інституційні зв'язки з організаціями в

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 15

Україні, що можуть надавати необхідні для якісного екзаменування ресурси. З іншого боку, рекомендуємо Комісії посприяти змінам законодавчої і нормативної бази з метою зробити можливим і полегшити залучення сторонніх ресурсів (експертів, фахівців, колективів, якщо необхідно) у такий спосіб, щоб неможливо було б поставити під сумнів неупередженість ВККСУ до окремих кандидатів чи їх груп. Кінцева мета: мати можливість задовольнити будь-які потреби Комісії в експертизі (expertise, кваліфікованому ресурсі) закінчення навіть за умови відсутності допомоги з боку будь-яких донорських організацій. Це важливо, враховуючи те, що певні види ресурсів (наприклад – кваліфікованих досвідчених психометристів; колективи для адміністрування іспиту) ВККСУ не зможе мати в своєму складі через короткостроковість потреби в них і їх специфічність.

Розділ 4.3. Розробка і підтримка схеми сертифікації Очевидні певні складності з відповідністю розділу 4.3 Стандарта вирішаться, якщо буде враховано висловлені вище зауваження щодо відповідності пп.4.2.1-4.2.3. Тобто, якщо в складі ВККСУ буде створено департамент,якому буде надано необхідні ресурси і повноваження, що візьме на себе функції Комітету по «схемі» (користуючись термінологією Стандарта).

Розділ 4.4. Система управління Конкретних зауважень по цьому розділу Стандарту у нас немає, в контексті очікування згаданих вище змін організаційної структури.

Розділ 4.5. Субпідряд Аналізуючи відповідність даному стандарту висловлюємо не пов'язані одне з одним зауваження і рекомендацію. Зауваження: відносини між ВККСУ та НШСУ по розробці екзаменаційних запитань є субпідрядом. В контексті стандартів екзаменування такий субпідряд не може розглядатись як «науково-методичне забезпечення діяльності». Поточний стан цього субпідряду, а саме те, як врегульовано деталі взаємовідносин, цілком не узгоджується з п.4.5.2.b Стандарту. Над даним узгодженням слід попрацювати не пізніше ніж під час підготовки згаданої вище зміни в організаційній структурі ВККСУ. При цьому, узгодження з вимогами Стандарту може виявитись простою технічною формальністю. Узгодження може полягати як в легкій зміні відносин ВККСУ з НШСУ щодо розробки екзаменаційних питань, так і в роботі над текстовим повідомленнями (messages) суспільству, що міститимуться в нормативних документах щодо проведення іспитів. Мова йде про закріплення незалежності підготовки і оцінки через констатацію абсолютного контролю Комісією процесу розробки іспитів. Рекомендація: в контексті розділа 4.5 Стандарта запропонувати зміни до законодавства і нормативних документів, щоб зробити теоретично можливими субпідряди або залучення

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 16

стороніх фахівців, на основні види робіт. Лише для прикладу – пару очевидних необхідностей:

1) можливість залучення суддів-практиків до перевірки практичних завдань; 2) можливість залучення добре підготованих прокторів для проведення

адміністрування іспитів.

Розділ 4.6. Записи Зауважень на відповідність цьому Стандарту немає.

Розділ 4.7. Конфіденційність Рішення ВККСУ про публікацію точних дат народжень зареєстрованих кандидатів не можна вважати вдалим. З одного боку, П.І.П. і точна дата народження досить точно (унікально) ідентифікує кандидата, що, судячи з усього, і слугувало причиною приняття рішення про публікацію дат народжень. Але, з іншого боку, в нашому суспільстві є помітний великий прошарок громадян, що вважають точну дату народження чутливою персональною інформацією. Крім того, наприклад, публікація віку (на момент складення іспита) та населеного пункта проживання кандидата замість точної дати народження дала б той же рівень точності ідентифікації кандидата, але додатково давала б можливість громадськості побачити кандидата, що живе поруч. В свою чергу, це дозволить ВККСУ вчасно отримувати сигнали від громадян, щодо кандидатів з їх місця проживання в особливо резонансних ситуаціях небажаних особистих якостей кандидата. Публікація віку на момент сладення іспиту, не менш успішно, ніж публікація дати народження, дозволить також громадськості контролювати виконання конституційної вимоги щодо вікового цензу в 25 років.

Розділ 4.8. Безпека Немає справді великих і проблемних зауважень до безпеки екзаменаційних матеріалів в контексті організації адміністрування анонімного тестування (детальніше зауваження – див. в частині Звіту щодо адміністрування). Проте, режим безпеки на шляху від розробників езкаменаційних питань через генерацію екзаменаційного модуля, до друку екзаменаційних матеріалів не описано в публічних документах навіть в загальних рисах (а цього було б досить). Тому поки що розробка завдань, а, особливо, процедури, пов'язані з генерацією екзаменаційного модуля можуть бути об'єктом підозр аж до наступного екзаменаційного циклу, перед яким ми настійливо рекомендуємо дати опис режиму безпеки в публічних документах (в тому обсязі, який допустимий для відкритих документів)

Розділ 5.1. Загальні вимоги до спеціалістів. Оскільки зараз постійно і регулярно відбувається підвищення кваліфікації фахівців ВККСУ та НШСУ, то єдиним зауваженням є необхідність обліку відповідного (до процесу

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 17

екзаменування) підвищення кваліфікації (і самої кваліфікації) співробітників. Цього, зокрема, вимагає п.5.4.1 Стандарту.

Розділ 5.2. Вимоги до екзаменаторів. Під «екзаменаторами» Стандарт розуміє і тих, хто адмініструє іспит (тобто виконує технічну роботу, прокторів), і тих, хто безпосередньо приймає рішення по результатах екзаменування і проводить оцінку. Наші зауваження до адміністрування іспиту 05.06.2012р. надані в іншій частині звіту. В контексті розділу 5.2 Стандарту відзначимо лише те, що нам не вдалось віднайти ні письмових згадувань про забезпечення уникнення конфліктів інтересів, ні проспостерігати якісь неписані методи/процедури в дії. Тому ми пропонуємо запровадити відображені в публічних документах процедури виявлення та уникнення конфлікту інтересів персонала ВККСУ. Самий лише факт наявності цих процедур в нормативних документах зніме більшість потенційних чи можливих претензій/питань громадськості щодо конфлікту інтересів. Навіть якщо ці процедури не будуть детальними і досконалими.

Розділ 6.1. Подання заяви (процес сертифікації). Враховуючи виконані Комісією прямо в період проведення прийому документів корекції цього процеса, та реакцію на критику в пресі і на форумах, можна вважати процес реєстрації кандидатів умовно задовільним. Відповідні для тестування 05.06.2012р. документи публікувались оперативно, рішення приймались практично вчасно. Проте, ми надаємо формальне зауваження в контексті розділу 6.2 Стандарту: весь пакет нормативних документів і рішень, що описують процес екзаменування належить готувати і публікувати до моменту відкриття реєстрації на тестування.

Розділ 6.2. Оцінювання Глобальних зауважень в контексті розділу 6.2 Стандарту ми не маємо. Конкретні зауваження та рекомендації надано в інших розділах звіту. В інших розділах звіту не згадано лише одне зауваження по п.6.2.1.c Стандарту: в публічних документах відсутня специфікація (будь-який опис) суті спеціальної перевірки кандидатів / їх документів.

Розділ 6.3. Рішення щодо сертифікації В зв'язку з цим рзділом Стандарта, ми маємо два зауваження. Пункт 6.3.3.с вимагає згадування (посилання на) версії вимог до кандидата (версії таксономії). Тобто, якщо до кваліфікаційного іспиту допускається певний список кандидатів, то в ньому має бути зазначено, якій версії попередніх вимог (вимог анонімного тетсування) відповідає кандидат. Тобто, в якому році (за якою програмою) він складав анонімне тестування. Відповідно, якщо вважати еквівалентом до сертифікації (в термінах Стандарту) факт включення кандидата в кадровий резерв з конкретною числовою величиною рейтинга, то Стандарт вимагає, щоб в цьому ж реєстрі обов'язково

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 18

вказувалась версія кваліфікаційних вимог, яким кожний конкретний кандидат відповідає, тобто має бути вказано, в якому році кандидат успішно склав кваліфікаційний іспит. Забігаючи вперед, до кваліфікаційного іспиту, звертаємо увагу на вимогу п.6.3.1 Стандарта, з якого випливає, що особи, які приймають рішення «щодо сертифікації» (тобто безпосередньо 11 членів ВККСУ) не можуть брати участь в навчанні кандидатів, чи безпосередньо в прийнятті іспиту у кандидата. Дотриманням цієї норми Стандарту уникають цілу низку складних конфліктів інтересів. Для контексту практичної роботи ВККСУ це означає, що безпосередньою перевіркою практичних завдань кандидатів, в рамках кваліфікаційного іспиту, не може займатись голосуючий склад ВККСУ, щоб мати можливість приймати остаточне рішення (в т.ч.голосувати) по кандидату погоджуючись чи не погоджуючись з оцінками, виставленими спеціалістами, що проводили оцінку. Норми п.6.3.1 Стандарту є обгрунтованими і загальноприйнятими в усьому світі, включно з державними органами ліцензування в великій кількості країн. Тому ми рекомендуємо ВККСУ пропонувати зміни до законодавства, які зроблять недопустимим виконання планової перевірки екзаменаційних робіт безпосередньо членами ВККСУ.

Розділи 6.4 та 6.5 Нагляд та Ресертифікація Зауважень по цих розділах Стандарту нема, враховуючи те, що спільну роботу ВККСУ, НШСУ, ВРЮ та ДСА в окреслених напрямках можна вважати за таку, що ще не є остаточно налагодженою. Моніторинг цієї діяльності є окремою об'ємною задачею.

Розділ 6.6 Використання сертифікатів та знаків Цей розділ Стандарту не повністю доречний, щоб бути застосованим до ВККСУ, тому зауважень у нас немає. Проте, ВККСУ варто вивчити доцільність рекомендованої в пп.6.6.2 с і d вимоги до успішних кандидатів про підписання угоди (згоди) про, в тому числі:

• недопустимість участі кандидата у доборі таким способом, що це може скомпрометувати ВККСУ чи зашкодити репутації Комісії;

• недопустимість заяв стосовно добору, які ВККСУ може розцінити як такі, що вводять в оману чи як неуповноважені;

• припинення використання будь-яких рекламацій щодо включення до кадрового резерву, у випадку прийняття Комісією рішення про виключення кандидата з нього.

13. АНАЛІЗ ПРАКТИКИ «Аналіз практики» (practice analysis) повинен стати одним з центральних елементів роботи виконавчого органу ВККСУ. Practice analysis не є разовим заходом, а постійною діяльністю, складовими якої є:

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 19

• періодично виконувані опитування різних категорій суддів, та користувачів професійних послуг судді, а також прокурорів, адвокатів і працівників апарату судів;

• постійний аналіз судової статистики, аналіз стану справ в судах з кваліфікацією та навичками суддів;

• формування експертних груп і аналіз їх висновків; • інші заходи для визначення якісних і кількісних характеристик професійної

компетенції судді, що відповідає поточному стану вимог до представників цієї професії.

Як правило, мають видаватись (публікуватись) щорічні звіти по аналізу практики. Одним з основних результатів аналізу практики має стати постійно оновлюваний і деталізований перелік кваліфікаційних вимог до кнадидатів, що вступають в професійну діяльність судді. Тобто – екзаменаційні таксономії, які слугують технічним завданням на проведення екзаменаційного відбору. Додатковими результатами є визначення пріоритетів та акцентів для освітньої діяльності. Мова йде не лише про задачі Національної школи суддів України, але й про можливі певні рекомендації школі вищим навчальним закладам. Планування діяльності НШСУ (визначення нових напрямків для підготовки; визначення тематичних пропорцій між учбовими планами, пріоритетів і т.ін.) повинно здійснюватись на основі періодично оновлюваних стратегічних рішень спеціалізованого колегіального органу суддівского самоврядування (наразі – ВККСУ) на базі і з урахуванням Аналізу практики. Оскільки згідно зі ст.54 Закону «Про судоустрій і статус суддів» кожен суддя має періодично проходити двотижневу підготовку в Національній школі суддів України (надалі – НШСУ), цей інститут (НШСУ) природньо може стати однією з баз для постійного проведення аналізу практики. Наприклад, підготовка кожного з судей в НШСУ може починатись з формалізованого (заповнення форм і анкет) і неформального (коллоквіум/інтерв'ю/співбесіда) аналізу практики конкретного судді/суду. З одного боку, це надасть матеріал для загального Аналізу практики, а з іншого боку, дозволить НШСУ будувати індивідуалізовану роботу з суддями та працівниками апарату суддів. Тобто, участь НШСУ в Аналізі практики виглядає органічною, оскільки крім безпосереднього отримання НШСУ загальної картини практики «з перших вуст», така участь дозволить правильно формувати індивідуальні частини підготовки суддів, які доповнять стандартні планові заходи і теми підготовки/перепідготовки суддів. Необхідно окремо звернути увагу на те, що з міркувань «противаг та стримувань», а також задля уникнення конфлікту інтересів, центром ваги діяльності з Аналізу практики не може стати НШСУ (хоч це і може здатись дуже зручним і практичним). Мова йде про те, що результати Аналізу практики покладаються в основу політичних рішень, що формують задачі НШСУ. Тому слід уникнути ситуацій, коли спеціалізована науково-методична

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 20

освітня структура, що формується адміністративними рішеннями, а не механізмами самоврядування, вносить визначальний за обсягом внесок в формування власних стратегічних задач, функціонуючи як самодостатня саморегульована організація. Заходи Аналізу практики, що їх проводитиме НШСУ, слід виконувати за планом і під керівництвом відповідного підрозділу ВККСУ, на який буде покладено роботу з аналізу практики і формування «схеми сертифікації», користуючись термінологією Стандарту ДСТУ/ISO 17024. 14. АДМІНІСТРУВАННЯ Оцінка спостерігачами формальних параметрів екзаменаційного центру: -- розташування екзаменаційного центру – «добре»...«відмінно» -- загальна комфортність приміщення – «задовільно»...«відмінно» -- вентиляція/кондиціювання – «добре»...«відмінно» -- шумоізоляція приміщення – «задовільно»…«добре» -- освітлення – «задовільно»…«добре» -- чистота приміщення, санітарні умови – «задовільно»…«відмінно» -- робочі місця кандидатів – «незадовільно»…«добре» (спостерігалося надання різних умов проведення екзамену для різних кандидатів) -- туалетні кімнати – «незадовільно»…«добре» -- зона первинної реєстрації (видача карток) – «незадовільно» -- зона вторинної реєстрації (видача кодів) - «задовільно»…«добре» -- вказівники, інформаційні плакати, зовнішні засоби логістики потоків кандидатів – «незадовільно». Щодо якості наданих кандидатам робочих місць: близько 50% місць кандидатів (столи, стільці) визнано спостерігачами досить умовно придатними для проведення high-stake екзаменування, а це здатно викликати обгрунтовані сумніви у рівності умов для кандидатів. Умови складання тестування (столи, стільці) відрізнялись не лише між групами секторів (зліва і справа), але й всередині майже кожного сектора зліва. В секторах справа кандидатам були надані дуже гарні уніфіковані умови. Вихід кандидата із-за стола (на перерву, в туалет, чи в зв'язку з достроковим завершенням написання теста) не турбував і не переривав роботу сусідів. В секторах зліва частина кандидатів своїми робочими місцями потрапляла на стики зіставлених разом столів, що подекуди створювало зовсім неприйнятні умови роботи. Через конфігурацію столів та стільців вихід когось з кандидатів обов'язково переривав роботу, як правило, більше ніж одного кандидата. Відсутність вказівників та інформаційних плакатів лише частково компенсувалась супроводом груп кандидатів уповновженими представниками. Але загальним враженям кандидатів була відсутність на території співробітників, які можуть компетентно відповідати на запитання та надавати орієнтири кандидатам.

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 21

Значна частина адмініструючого персоналу високого рівня підготовки мають знаходитись на вулиці для проведення роз’яснювально-координаційної роботи серед такої великої кількості кандидатів. Спостерігачам було декілька разів повідомлено про наявність співробітників ВККСУ в массі кандидатів ззовні приміщення («в полі»), але віднайти їх, переконатися у їх присутності було важко. Можливо це є результатом прорахунків рівня підготовки таких «польових співробітників», чи прорахунку з кількістю таких співробітників. В періоди найбільшої потреби в «польових» співробітниках ззовні, ми спостерігали десятки не зайнятих протягом довгого часу уповноважених представників всередині приміщення. Тому вважаємо, що для вирішення проблеми в майбутньому не слід залучати додаткові людські ресурси. Натомісць необхідно сконцентруватись на підготовці адмініструючого персоналу і детальному плануванні зайнятості кожного співробітника. Необхідно відмовитись від вузької спеціалізації залучених до адміністрування іспита людських ресурсів. Співробітники, що не задіяні під час реєстрації, мають знаходитись “в полі”, працюючи з кандидатами, забезпечуючи орієнтування кандидатів. Якщо забезпечення якісної, багатосторонньої підготовки адмініструючого персонала з числа працівників Секретаріата виявиться занадто ресурсоємкою чи складною задачею, то варто додатково залучати до адміністрування зовнішній добре підготований персонал. Очевидно, що особи, яких було залучено до адмініcтрування тестування 05.06.2012р., не добиралися за особистими і психологічними якостями, тому іноді було видно, що уповноважені представники виконували дуже нехарактерну для них роботу, до якої вони не були готові не стільки через недостатній рівень тренування (підготовки до роботи), скільки через психологічну неготовність і несумістність з цією роботою. Для прикладу: стюардеси і стюарди в авіакомпаніях обов'язково проходять психологічний відбір ще до того, як їх навчають конкретній роботі. Психологічні вимоги до екзаменаційного адмініструючого персоналу досить близькі вимогам до стюардів/стюардесс. Адмініструючий персонал (уповноважені представники) мають бути краще проіструктовані і, якщо необхідно, відібрані для толерантного і ввічливого спілкування (мали місце випадки нетолерантного спілкування адмініструючого песоналу з кандидатами). Спостерігачі оцінили логістику реєстрації та допуску кандидатів в екзаменаційне приміщення як «незадовільну». Організація зони первинної реєстрації оцінена спостерігачами як незадовільна. Ідентифікацію осіб кандидатів оцінено від «задовільно» до «добре». Зручність процесу реєстрації для кандидатів оціненно нижче ніж «незадовільно» -- «не прийнятно». Спостергачі оцінили роботу віповідальних за супровід груп кандидатів в діапазоні від «задовільно» до «добре». Організацію вторинної реєстрації (видача кодів) оцінено в діапазоні від «задовільно» до «дуже добре».

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 22

Масове невдоволення кандидатів викликала не готовність до своєчасної організації доступу кандидатів до туалетних кімнат (доступ почали надавати приблизно з 9:30, тобто дві з половиною години після початку реєстрації). Зауважена не зовсім вдала робота охорони на входах по організації потоків кандидатів, зокрема, черг до туалетних кімнат. Зауважена відсутність чіткої окресленості (територіальної означеності/обмеженості спеціальними знаками чі вказівниками) місць для очікування для кандидитів на різних етапах процедури допуску на робочі місця кандидатів. В подальшому бажане детальне інформування заздалегідь кандидатів щодо процедури реєстрації. Крім того, що це є виявом елементарної поваги до кандидата, це дозволило б зняти певне напруження серед частини кандидатів, коли, знаючи приблизний план заходів, хтось з кандидатів міг би без страху і спокійно покинути на короткий час місце очікування, щоб скористатись туалетом в кав’ярні чи просто випити кави. Ми вважаємо, що необхідно переглянути основоположні процедури запуску кандидатів до приміщення. Недопустима така організація процесу, в результаті якої велика кількість кандидатів, що пройшли первинну реєстрацію (отримання картки), очікували на подальші події на вулиці на протязі декількох годин. Багато з кандидатів очікували ззовні більше чотирьох годин. Загальний час очікування (від часу прибуття до початку інструктажу перед тестуванням) для помітної кількості кандидатів перевищував 5-5.5 годин. Рекомендуємо формування секторів (тобто прив’язку кандидата до сектора) виконувати під час отримання кодів кандидатами. Тобто, в процесі отримання кандидатами карток відразу формувати групи кандидатів, що по мірі накопичення достатньої кількості кандидатів відразу заводились би на отримання коду, під час якого групи розділялись би на декілька (наприклад – чотири) сектори. При цьому процес видачі карток, видачі коду та заведення кандидитів у сектори йшли б параллельно, що суттєво (думаємо, щонайменше вдвічі) скоротило б загальний час очікування кандидатами. Певні рекомендації щодо організації процесу первинної реєстрації (видачі карток): 1) для підвищення пропускної здатності бажано планувати в півтора-два рази більшу кількість столів реєстрації (реєстраторів); 2) наявних плакатів і вказівників було однозначно недостатньо для орієнтування кандидатів під час первинної реєстрації, тому в подальшому варто передбачати використання більшої кількості плакатів/вказівників більшого розміру, а також передбачити використання недорогих легких мобільних конструкцій типу mobi-roll та x-stand для розміщення на них плакатів/вказівників у місцях, в яких немає можливості розміщення вказівників на конструкціях будинку. Очевидне зауваження щодо організації процесу реєстрації і допуску кандидатів в день тестування: із функціональних міркувань, і з міркувань безпеки, необхідно мати резервний план (хоча б його нариси) на випадок форсмажорів: -- природніх явищ (град, дощ, злива, заметіль, і т.ін.); -- техногенних (будь-які фактори, що перешкоджають безпечному і спокійному очікуванню чи роботі великої кількості людей в певному місці);

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 23

-- громадських, будь-якої природи (зокрема, заворушень). Необхідно пам'ятати, що організатор масового заходу несе відповідальність не лише за суть заходу, але й за безпечні умови перебування запрошених учасників. Зокрема, ми спостерігали певну кількість повністю вимоклих під дощем кандидатів, що потрапляли на свої робочі місця хоч і під слабкий, але прохолодний потік повітря з кондиціонера. Теоретично можна було б очікувати обгрунтованих скарг на таку організацію заходу, що піддала ризику здоров'я деяких кандидатів, особливо враховуючи те, що заявлений для кандидатів час на реєстрацію був з 7:00 до 9:30, а природній форсмажор (злива) настав пізніше. Для екзаменаційного заходу такого масштабу необхідно посилити засоби безпеки та охорони із залученням додаткового охоронного персоналу чи міліції. Спостерігачі зауважили відсутність гардеробу і відсутність місця для особистих речей кандидатів. Натомість була організована система опломбовування особистих речей в пакет, зі зберіганням їх безпосередньо на робочому місці кандидата під столом. Застосування такого методу не рекомендоване і спірне, проте, ми повинні відмітити, що воно не створило помітних проблем. Ми спостерігали низький рівень готовності адмініструючого персоналу до запобігання та реагування у випадках користування кандидатами літературою і записами, а, найголовніше, до запобігання та припинення користування засобами мобільного зв'язку. На жаль, користування засобами зв'язку для обміну повідомленнями під час тестування 05.06.2012 набуло масового характеру. Ми спостерігали велику кількість (десятки) випадків користування кандидатами засобами зв'язку. Найпростіший з можливих сценаріїв: фото завдань на мобільний відсилка MMS отримання SMS з відповідями. Відслідковувати сценарії користування пристроями у нас не було можливості, враховуючи необхідність проведення моніторингу великої площі і малий склад групи спостерігачів. Про перші виявлені випадки користування кандидатами мобільними телефонами спостерігачі доповідали уповноваженим представникам в секторах. Але побачивши неготовність адмініструючого персоналу справлятись з повтореннями таких ситуації, і, взагалі, стандартизовано реагувати на них, спостерігачі припинили відволікати адмініструючий персонал від його роботи, яким би не було розуміня цієї роботи. Це є одним з базових принципів моніторингу: не заважати виконувати роботу і не нав'язувати своє розуміння роботи по адмініструванню екзамена. Кваліфікована робота адмініструючого персонала по недопущенню використання технічних засобів кандидатами вимагає якісного відбору і багатоетапної підготовки уповноважених представників. Враховуючи неможливість замінити існуючий персонал Секретаріату, в крайньому випадку, наступного разу можливе санкціоноване

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 24

застосування локального «глушника GSM/CDMA» в екзаменаційному приміщенні та в туалетах. Спостерігалась також массова неготовність адмініструючого персоналу контролювати і вимагати виконання кандидатами процедур початку і закінчення екзамену. Зокрема, ми спостерігали велику кількість випадків роботи кандидатів над завданнями: -- до офіційного початку тестування ; -- після об'яви про закінчення тестування і необхідність припинити робити записи. Крім того, в великій кількості (в більшості) секторів адмініструючий персонал не звертав належну увагу на такі порушення, як спілкування кандидатів один з одним. Рекомендуємо звернути більше уваги на підготовку адмініструючого персонала до організації супроводу кандидатів на перерву (в туалет, перекур, і т.ін.), так як ми не спостерігали належного контролю за недопущенням спілкування кандидатів, з одного боку, і контролю за екзаменаційними матеріалами під час переви, з іншого боку. Крім того, при проведенні адміністрування настільки массового екзамена силами не дуже підготованого персонала, ми рекомендуємо забезпечити чергових в туалетних кімнатах, так як (за нашими спостереженнями) саме через туалетні кімнати найчастіше організується обмін інформацією та підказками/шпаргалками/літературою. Найбільш потенційно проблемним, щодо чуток та інших видів неконтрольованого PR, елементом адміністрування були принципи формування секторів (наповнення списків секторів конкретними кандидатами). По-перше, будь-яка невизначеність суті процедури в публічних документах, як правило, реалізується в домислах та плітках, які можуть стати масовими. По-друге, cпостерігачі (не маючи такої задачі) самостійно виділили декілька секторів, кандидатський склад яких чимось помітно виділявся на загальному фоні. Це стало предметом короткого імпровізованого обговорення спостерігачів прямо під час тестування. Ми не змогли чітко вербалізувати, що саме робило декілька секторів особливими для нас, але в обговоренні звучали: - манера кандидатів триматись; - теми для розмов серед цих кандидатів під час очікування; - поведінка (особлива стримана самовпевненість); - частково - зовнішні ознаки соціального статусу і достатку (одяг, взуття, зачіски, використовувані засоби мобільного зв'язку, годинники і т.ін.) Крім того, статистичний розкид параметрів кандидатів, які можливо було спостерігати аудіо-візуально, робить не дуже ймовірним такі випадкові концентрації параметрів, що ми спостерігали. Додатково спостерігались кореляції за якістю умов на робочих місцях кандидатів. Жодного особливого за кандидатським складом сектора ми не відмітили в лівій частині екзаменаційного приміщення з гіршими умовами для кандидатів, в якому кандидатський склад виділявся би за аудіо-візуально спостережуваними ознаками. (Під лівою частиною екзаменаційного приміщення мається на увазі та його частина, в якій було встановлено довгі столи з не дуже зручними для довгого письма місцями для сидіння).

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 25

Крім того, деякі із спостерігачів доповідають про більш масове (60% і вище) дострокове виконання екзаменаційних робіт в секторах, що звернули на себе увагу особливостями кандидатського складу ще до початку тестування. Оскільки мова йде не про формальні параметри, а про те, на що кожна людина свідомо чи несвідомо автоматично звертає увагу при зовнішньому спостереженні, то такі спостереження можуть давати благодатне підгрунтя для домислів та чуток. Сааме тому ми вирішили включити це спостереження в звіт (не зважаючи на його розмитість /нечіткість), і рекомендувати ВККСУ застосовувати в подальшому такі механізми (принципи) наповнення секторів, які максимально хаотично розподіляли б кандидатів по секторах, для недопущення аудіо-візуально спостережуваних статистично значимих відмінностей складів секторів. Краще застосовувати стохастично-лотерейні методи, тому, що вони роблять рівними всіх кандидатів, і тому, що їх детальне пояснення в публічних документах не вимагається. Подив досвідчених спостерігачів викликали нестандартизовані різнорідні процедури (а в більшості випадків – відсутність послідовної процедури) роздавання екзаменаційних зошитів. На жаль, ми спостерігали, що кандидати також на це звернули увагу. Небажаним результатом недостатньої уваги (в організаційній роботі і процедурах) до методики роздачі зошитів були багаточисельні випадки, коли кандидати, що сиділи поруч за одним столом, отримували один і той самий варіант завдання. Були сектори, в яких від п'яти до десяти кандидатів, що сидять в одному ряду за одним довгим спів ставним столом практично лікоть до ліктя, писали один і той же самий варіант завдання. В інших секторах методи роздачі зошитів складали враження таких, що уповноважений представних міг на свій розсуд за своїм планом надати «необхідні варіанти завдання необхідним кандидатам». Як відомо, з точки зору послідовної побудови суспільної довіри, надзвичайно важливим є уникнення ситуацій, що створюють враження факту гіпотетичної можливості зловживань. Тому ми рекомендуємо в подальшому більше уваги приділити процедурі розподілення завдань, що виконувалась би очевидно стандартизовано/одноманітно і синхронно в усіх секторах. Спостерігачі зауважили не застосування до екзаменаційних матеріалів та документів відповідних процедур збереження конфіденційності під час проведення іспиту і після його закінчення. Уповноважені представники залишали без нагляду екзаменаційні зошити на столах в секторах, а також як окремі написані екзаменаційні роботи, так і пакети з ними. Це могло призвести до втрати чи підміни окремих робіт. Найбільш хаотичним і погано організованим етапом адміністрування тестування з точки зору безпеки екзаменаційних матеріалів був етап збору робіт та транспортування їх для сканування. Уважний і не лояльно настроєний спостерігач міг би побачити і задокументувати щонайменше десятки випадків, що трактувались би як потенційний підлог (можливість для підлогу) екзаменаційних робіт. На фоні загальної стомленості, зменшення напруги після закінчення тесту і певного розслаблення, величезна кількість прорахунків пройшла повз увагу маси кандидатів. Але, як відомо, для хорошого

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 26

резонансного скандалу достатньо було б цілеспрямованого уважного спостереження всього декількома недружньо налаштованими кандидатами. Глибокий подив у спостерігачів викликав факт відсутності уніфікованої публічно виконуваної операції перерахунку кількості написаних екзаменаційних робіт і кількості невикористаних екзаменаційних матеріалів при їх збиранні і опломбовуванні в більшості секторів. (В помітній кількості секторів така процедура проводилась як публічна, але по різному, тобто не стандартизовано, що нескладно було помітити кандидатам). Екзаменаційні роботи суцільно підраховувались лише при скануванні. Це є нехтуванням найелементарнішими нормами безпеки екзаменаційних робіт і ставить під сумнів цілістність післяекзаменаційної логістики. На пакетах з написаними екзаменаційними роботами не вказувались номери секторів, тому в разі виявлення порушень чи невідповідностей (наприклад – при інвентаризації пакетів перед скануванням) стає неможливо публічно і прозоро відразу (без розкриття пакетів) визначити сектор походження пакету з матеріалами, локалізувати і вирішити проблему. Саме таке враження обгрунтовано складається у уважного спостерігача. Можливо, облік і прив'язка до секторів виконувались по серійних номерах пакетів, але ознак цього спостерігачами не було виявлено, як і видимих процедур звірки серійних номерів пакетів. Рекомендації:

• пакети мають бути підписані щонайменше уповноваженим представником. Загальноприйнятою практикою є підписування пакета представником кандидатів для унеможливлення підлогу робіт співробітниками.

• на пакеті має вказуватись кількість робіт в пакеті, а також номер сектора і П.І.П. уповноваженого представника, та кандидата, що поставили підписи на пакеті.

• уповноважений представник в секторі має складати протокол про кількість кандидатів, що було допущено і прибули в його сектор, та про кількість написаних і зданих/опломбованих робіт.

• задуману ВККСУ схему супроводу кожного уповноваженого представника кандидатом від сектора неважко було реалізувати на практиці. На жаль, цього не було зроблено. В подальшому рекомендуємо присвятити певні організаційні зусилля на доведення непоганої ідеї до практичної реалізації.

Щодо безпеки екзаменаційних зошитів – ми не виявили зовнішніх ознак організованої системи надійного відслідковування долі кожного зошита і, відповідно, системи контролю нерозголошення текстів завдань. Це напевно було помічено також кандидатами. Тому вважаємо за доцільне для ВККСУ в подальших заявах/новинах і т.ін. утримуватись від згадування/використання лексики щодо нерозголошення завдань, так як ця позиція може виявитись просто слабкою щодо позитивного публічного іміджу (PR) ВККСУ. В цьому контексті можна згадати чутки про заповзятливих ділків, що надавали кандидатам можливість за гроші ознайомитись з завданнями минулорічного анонімного тестування.

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 27

В подальшому рекомендуємо запровадити публічний облік невикористаних екзаменаційних матеріалів і уникати знаходження матеріалів поза безпосереднім контролем з боку відповідальних працівників. 15. ЩОДО ОБРОБКИ РОБІТ КАНДИДАТІВ Cпостереження за розкриванням пакетів, та обробкою робіт необхідно обов'язково організовувати силами кваліфікованих спостерігачів, а не лише втомлених і виснажених кандидатів. До преревірки необхідно допускати всі роботи, включно з оформленими з порушеннями правил заповнення, не очікуючи окремих рішень Комісії. В реальній професійній діяльності судді на будь-якому етапі роботи завжди існують методи корекції вчасно виявлених помилок правопису, технічних (не тих, що стосуються суті) помилок заповнення форм. В зв'язку з цим виглядає невмотивованим застосування схеми проведення тестування, при якій: 1) не передбачено механізму корекції відповіді; 2) не передбачено можливості і механізму заміни листка для відповідей. В контексті побудови позитивного іміджу ВККСУ і процедури відбору кандидатів на призначення на посаду судді вперше, рекомендується крім публікації нормативних документів, положень і офіційних об'яв, публікувати ще й популярні роз'яснення щодо послідовності дій кандидатів, послідовності дій ВККСУ, для полегшеного формування у громадськості цілістної наглядної картини ланцюга подій. Ми рекомендуємо це не лише з міркувань інформаційного комфорту кандидатів, а в першу чергу тому, що користувачами такої інформаційної продукції будуть не лише кандидати, а й інші зацікавлені сторони і громадськість. Враховуючи підвищений рівень складності адміністрування екзаменів в великих екзаменаційних центрах, ми рекомендуємо проводити анонімне тестування декілька разів на рік, з введенням обмежень для кандидатів щодо можливості повторної участі в тестуванні не раніше, ніж через рік. Така система приведе до підвищення якості адміністрування тесту, зниження незручностей для кандидатів, і надаcть більш рівномірне завантаження залучених в процес відбору сторін. 16. РОЗКРИТТЯ ІНФОРМАЦІЇ ВККСУ Повідомляємо результати наших спостережень, які ми нерегулярно проводили поза конкретним планом та без найменших ресурсів, щоб проводити спостереждення системно. Суть експерименту полягала в тому, щоб зрозуміти, якого типу «проблеми» може віднайти пересічний громадянин України, що у вільний від роботи час побажав присвятити пару годин розгляду і простому порівнянню того, що публікує ВССКУ на сайті www.vkksu.gov.ua. Ми принципово не застосовували специфічні програмні

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 28

продукти, а лише стандартні офісні програми, встановлені на мільйонах компьютерів в Україні.

16.1. НЕ АНОНСОВАНІ ЗМІНИ ОПУБЛІКОВАНИХ ДАНИХ Публікація списку допущених до тестування 05 червня 2012р. Ми випадково помітили (через просте порівняння в Екселі), що опубліковані дані трохи змінювались з часом. Зокрема помічено два випадки зміни дати народження кандидатів: Войташек Іван Іванович - було 14.09.1982, стало 14.03.1982 Тернова Галина Василівна - було 21.08.1983, стало 21.01.1983 Сам факт зміни даних без супроводжуючого тексту про те, що певні особисті дані можуть уточнюватись, а технічні помилки можуть виправлятись, може у недоброзичливого спостерігача викликати підозру, наприклад, про суттєві зміни (можливість включення в опублікований список кандидатів додаткових прізвищ, вже після проведення тестування). 16.2. ТЕХНІЧНІ ПОМИЛКИ В П.І.П. КАНДИДАТІВ Очевидні технічні помилки в ПІП кандидатів, які не було виправлено в період з травня по липень 2012 р. і повторювались від публікації до публікації: Герман Олександр СергійовчСмірнов Олександр Геннадійвоч Ми не ставили собі за мету перевіряти якість опублікованої інформації, тому вказали вище лише декілька випадково знайдених некоректностей в по-батькові кандидата. Закінчення по-батькові аналізувалось стандартними засобами Ексель щоб автоматизовано визначити стать кандидата по закінченню його/її по-батькові. Правильність прізвища, імені і основної частини по-батькові нами не перевірялась (нас це не цікавило), що дозволяє зробити припущення про певну помітно більшу кількість не виявлених нами помилок. 16.3. НАСЛІДКИ ДИСКВАЛІФІКАЦІЇ ПИТАНЬ Рішенням ВККСУ було дискваліфіковано (визнано непридатними для оцінювання кандидатів) два запитання. Це, зокрема, призвело до змін в опублікованих результатах тестування. Якщо порівнювати першу опубліковану версію списку кадидатів, що успішно склали тестування, з останньою опублікованою версією цього списку, то можна помітити відмінність в кількості успішних кандидатів на 69 осіб. Конкретніше, в останній версії списку з'явилось: -- 54 додаткових кандидати з балом = 63;

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 29

-- 9 додаткових кандидатів з балом = 64; -- 1 додатковий кандидат з балом = 66; -- 2 додаткових кандидати з балом = 68; -- 1 додатковий кандидат з балом = 73; -- 1 додатковий кандидат з балом = 77; -- 1 додатковий кандидат з балом = 79; При уважному аналізі всього, що публікувалось на сайті ВККСУ щодо результатів тестування 05.06.2012 цілком можна дійти правдоподібних припущень щодо додаткових 69 осіб, а саме: -- 54 додаткових особи з балом 63, це дві категорії кандидатів: 1) ті, що набрали в дійсності 61 балл і при цьому неправильно відповіли на обидва дискваліфіковані запитання; 2) кандидати, що набрали 62 бали і неправильно відповіли на одне з двох дискваліфікованих запитань. В результаті рішення ВККСУ зарахувати як правильні всі відповіді на дискваліфіковані запитання, у обох згаданих категорій кнадидатів підсумковий бал став = 63 -- 9 додаткових осіб з балом 64 в дійсності набрали 62 бали, але дали неправильні відповіді на обидва дискваліфікованих запитання, і в результаті рішення ВККСУ отримали додаткових 2 бали до підсумкового результату теста. -- 6 додаткових кандидатів з балами від 66 до 79 в дійсності є кандидатами, що набрали від 65 до 78 балів, і їх код не було правильно розпізнано при первинному скануванні, але в результаті додаткового розгляду Комісією вони з'явились в списку тих, що успішно склав тестування, до того ж кожен з цих 6 кандидатів отримав додатково від 1 до 2 балів завдяки дискваліфікації (див.таблицю нижче) Name Code Final First Сливка Святослав Ігорович B6518C 79 78 Денисюк Ілона Іванівна E8346F 68 66 Фалілєєва Юлія Дмитрівна F3636J 66 65 Нагорна Наталія Володимирівна F8912E 73 72 Ковальчук Вадим Олексійович H3117E 68 67 Богатченко Валентина Миколаївна I8467J 77 76

Крім згаданих 69 осіб у великої кількості успішних кандидатів збільшився підсумковий бал. Зокрема, 483 особи отримали додатково один бал, а 65 осіб – додатково два бали. Уважний і доброзичливий спостерігач в цій ситуації може дійти припущення, що така «роздача додаткових балів» відбулась лише завдяки рішенню ВККСУ щодо дискваліфікації двох питань. Загальним зауваженням до способу розкриття (публікації) інформації, пов'язаної з найбільш масовою і резонансною частиною процедури добору (екзамени) полягає в необхідності проводити розкриття таким чином, щоб зовнішній спостерігач

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 30

(громадськість) міг простим ознайомленням з опублікованими текстами скласти для себе повну картину результатів екзаменування без необхідності робити будь-які припущення чи логічні висновки. Якщо в опублікованій інформації є місце для припущень щодо пояснень розбіжностей інформації, це значить, що є місце і для недоброзичливих домислів і інсинуацій. Мова йде про формування в ВККСУ певної стандартизованої культури розкриття інформації, що не вимагає публіковати її в більшому чи меншому обсязі в порівнянні з тим, як це робиться зараз. Достатньо лише до вже опублікованого додавати лаконічні і очевидні (для глибоко занурених в предмет) коментарі, щоб сторонній спостерігач не змушений був робити логічні побудови, а, тим більше, припущення, при співставленні різних частин опублікованої інформації. Крім спостережень щодо даних кандидатів, змін набраних балів, і т.ін., опубліковану ВККСУ інформацію можна також аналізувати на предмет параметрів статистичних розподілів, зокрема відхилень від нормальності, що свідчить про ті чи інші систематичні (не стохастичні, штучні) впливи на процес оцінки. Такий аналіз вимагає від спостерігача вже не лише часу та наполегливості, але й певного рівня математичної грамотності, тому ми не розглядаємо його в контексті масового спостереження. Проте, вважаємо за необхідне відмітити мультимодальність розподілу набраних балів (і в тестуванні 2011 р. і в тестуванні 2012 р.), тобто наявність очевидних ознак систематичних впливів (див., наприклад, гістограми «Дефект нормальности распределения» в стандартизованих звітах UEnet). 16.4. ЩОДО СПОСОБУ ДИСКВАЛІФІКАЦІЙ ЕКЗАМЕНАЦІЙНИХ ЗАПИТАНЬ. Звертає на себе увагу те, що «розподіл незароблених балів» в результаті дискваліфікації питань відбувався в основному на користь слабко підготовлених кандидатів. Конкретний приклад: якщо вважати по справжньому добре підготованими тих кандидатів, що набрали 75 і більше балів, то вони складають близько 32% всього загалу успішних і неуспішних кандидатів. Якщо ж виокремити категорію добре підготовлених кандидатів (більше 75 балів) серед тих, хто отримав додатковий один чи два бали завдяки дискваліфікації екзаменаційних запитань, то ця категорія складе всього 24.5% (в порівнянні з 32%). Підводячи підсумок, ми звертаємо увагу ВККСУ, що рішення, які приймаються у випадку виявлення суттєвих недоліків певних екзаменаційних питань складаються з двох різних частин. Перша частина рішення: враховувати, чи не враховувати в підсумкових балах кандидатів відповіді на запитання, якість яких поставлена під сумнів.Друга, незалежна частина рішення: чи продовжувати включати в теоретично можливу максимальну кількість балів за екзамен ті бали, які припадають на дефектні запитання (тобто, чи вважати максимальний бал тесту = 98 (а не 100) у випадку дискваліфікації двох запитань).

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 31

Другий елемент другої частини рішення: якщо прийнято рішення про те, що не дивлячись на дискваліфікацію двох запитань, максимальний бал тесту вважати = 100, то необхідно прийняти рішення, як саме перерозподілити 100 балів на 98 запитань, що залишаються в роботі. Є декілька стратегій такого перерозподілу, але є варіант рішення не проводити перерозподіл, а просто додати два бали до підсумків всіх кандидатів. Таке рішення є популістським і несправедливим щодо хороших, добре підготованих кандидатів. Наша рекомендація полягає в тому, щоб по можливості не приймати рішень про додавання чи перерозподіл балів. Якщо, наприклад, дискваліфікується три запитання з 100, кожне вагою по одному балу, то формулювати рішення таким чином: -- дискваліфікувати запитання №№№__, на які припадає 3 бали тесту зі 100 можливих тому, що ……; -- відповіді кандидатів на дискваліфіковані запитання не приймати до уваги і відповідні бали не зараховувати; -- максимальною кількістю балів за тест вважати 97 балів.

16.5. ЩОДО ВІКУ КАНДИДАТІВ Оскільки ВККСУ опублікувала точні дати народження кандидатів, то анаізуючи публічні дані можна робити певні висновки щодо віку кандидатів на момент складення тесту. Розподіл кандидатів за віком (AGE) наведено на гістограмі нижче.З опублікованих даних видно, що вік кандидатів складав 25 і більше років, щонайменше на дату проведення тестування. Середній вік складав близько 32 років (31.97).

Якщо ж проаналізувати вік (age1) тієї частини кандидатів, що успішно склала тест, то виявиться, що середній вік успішних кандидатів – близько 31.5 років, несуттєво відрізняється від середнього віку всіх кандидатів. Але порівнюючи розподіли AGE та age1 можна помітити меншу екзаменаційну успішність кандидатів, яким залишилось 20 (а особливо 15, 10) і менше років активного періоду життя до настання пенсійного віку.

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 32

16.6.ГЕНДЕРНИЙ РОЗПОДІЛ Серед зареєстрованих на складання анонімного тестування кандидатів 55% складають жінки і 45% чоловіки. Серед тих, хто успішно пройшов тетсування 51% складають жінки і 49% чоловіки. Різниця в екзаменаційній успішності кандидатів жінок і кандидатів чоловіків є статистино значимою. 17. АНАЛІЗ ОЦІНОЧНОЇ ІНФОРМАЦІЇ Проведено аналіз даних оцінювання анонімного тестування 2012 р., які (дані) отримані нами безпосередньо в оціночному центрі в ніч з 05.06.2012 на 06.06.2012. Подальші доповнення і зміни даних, що були виконані ВККСУ не враховано (пізніше додатково ідентифіковані роботи, і т.ін.). Аналізувались також дані оцінки анонімного тестування 2011р. отримані нами в травні 2012 р. разом з неправильними ключами. 17.1.НАДІЙНІСТЬ І ВАЛІДНІСТЬ

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 33

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 34

Через обмеженість обсягу наданих нам даних і брак ресурсів, ми виконували оцінку лише одного різновиду надійності тестування -- надійності як внутрішньої узгодженості. Для цього використовувався розрахунок так званої Альфи за методом Лі Кронбаха. Обраховані значення Альфи для тестування 2011 р. і 2012 р. можна побачити на перших сторінках стандартизованих аналітичних звітів UEnet, що наводятся в додатках. І в 2011р. (α=0.888), і в 2012 р. (α=0.860) значення внутрішньої узгодженості потрапляє в загальноприйнятий коридор для Альфи Кронбаха (0.7 ≤ α ≤ 0.9). Той факт, що тестування 2012 р. має трохи меньше значення Альфи, ніж тестування 2011р. зовсім не значить, що тест 2012 р. чимось гірший ніж той, що проводився в 2011 р. Щодо популярної, але невірної інтерпретації Альфи Кронбаха: «чим вище значення Альфи, тим кращий був екзамен», звертаємо увагу на те, що у відповідності до прийнятої на сьогодні в психометричній науці точки зору (наприклад, див. статті Кеттела) занадто висока зкорельованість питань екзамена (коли Альфа перевищує 0.9) свідчить про низьку валідність цього екзамена, тому занадто високі значення Альфи є поганою ознакою. Безпосередньо оцінювати валідність тестування 05.06.2012 р. ми не маємо змоги, але надаємо (див. додатки) достатній обсяг аналітичної інформації для того, щоб контентні спеціалісти (відповідні кваліфіковані працівники Секретаріату ВККСУ), що мають доступ до текстів екзаменаційних запитань тестування, могли робити обгрунтовані висновки щодо всіх загальноприйнятих видів валідності тестування 05.06.2012 р. 17.2. IRT АНАЛІЗ Було виконано IRT аналіз оціночної інформації в декількох моделях. До цього звіту додаються два стандартизованих типи звітів UEnet для кожного з тестувать (2011 р. і 2012 р.): IRT аналіз в натуральних шкалах (балах) та IRT аналіз в логістичних моделях Раша та Бірнбаума. Аналіз в натуральних шкалах є наглядним інформаційним матеріалом, що дає можливість детально аналізувати якість і характеристики дистракторів. Аналіз в моделі Раша (червоні криві) традиційно наведено просто для повноти, через популярність моделі Раша. Аналіз в моделі Бірнбаума є основним джерелом інформації щодо складності запитань, їх дисримінаційних властивостей та парметра вгадування. 17.3. ЗБАЛАНСОВАНІСТЬ СКЛАДНОСТІ ЗАПИТАНЬ В якості приклада на гістограмі нижче наведено розподіл складностей запитань тестування 22 травня 2011 р. в, так званій, логістичній шкалі (логітах).

Складність в логітах належить до діапазону від -3 до +3. При цьому складність «-3» відповідає запитанням з абсолютно очевидними правильними відповідями. Зокрема, двом запитанням (№81 та №83, що були дискваліфіковані) було призначено складність -3, що відповідає правильним відповідям наданим всіма 100% кандидатів. Запитання №89 зі складністю 1.93 логіта є прикладом найскладнішого запитання в тестуванні 2011р. Наявність великої кількості запитань з малою складністю підвищує дискримінаційні властивості тесту для слабко підготованих кандидатів. Але ж функція анонімного тестування в процедурі добору кандидатів ВККСУ полягає в тому, щоб відсікти кандидатів з низьким рівнем знань від подальшої підготовки і участі в кваліфікаційному екзамені. Саме тому хороші дискримінаційні властивості тесту в області низького рівня знань кандидатів зовсім не потрібні для анонімного тестування. На наступній гістограмі наведено розподіл складностей запитань тестування 05 червня 2012 р.

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 35

З наведеної гістограми видно, що в тесті 05.06.2012 р. діапазон складностей запитань був у 1.5 рази вужчий, у порівнянні з минулорічним анонімним тестування 22 травня 2011р. Кількість нефункціональних простих запитань зменшена, що є добре, але, нажаль, трохи зменшена й кількість складних запитань. Наводимо приклади непрацюючих простих запитань (в дужках вказано складність кожного питання, виражену в логітах): №53 (-1.41); №77(-1.31); №41(-1.06); №11(-1.03); №91(-1.02). Приклади складних питань, (такого типу запитань мало б бути трохи більше): №45(1.79); №22(1.31); №63(1.17); №67(1.16); №88(1.15); №72(1.02). Принагідно звертаємо увагу на те, що у більшості наведених в якості прикладів складних питань є проблеми з якістю дистракторів - значна частина дистракторів не працює. Але ці питання є складними не через проблеми з дистракторами. 17.4. ВГАДУВАННЯ Апроксимація грейдингових даних (даних оцінки) тестування 05.06.2012 р. за трипараметричною моделлю Бірнбаума дала змогу визначити відсоток вгадування. Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 36

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 37

Найбільший відсоток вгадування характеризує питання №78 – 22%. Далі йдуть питання №№ 40, 28, 48, 71, 36, 85, 61, 11, 14, 59, 73, 93, 42. Відсоток вгадування в цих запитаннях зменшується від 17% у №40, до 11% у №42. При наданні відповіді на всі інші 86 запитань тесту кандидади не застосовували вгадування (максимальний відсоток вгадування – не більше 0.1%), що є хорошм показником якості теста 05.06.2012р. 17.5. КОРЕЛЯЦІЙНИЙ ТА ФАКТОРНИЙ АНАЛІЗ Додатково було проведено кореляційний та факторний аналіз грейдингових даних (даних оцінки). Було з'ясовано, що тест 05.06.2012р скомпоновано таким чином, що не вдається виділити фактори, що адекватно описували б відповіді кандидатів так, щоб кількість факторів була невеликою. В найкращому випадку це 31 фактор, що описує не більше 50% варіативності грейдингових даних. Такий майже тривіальний результат може свідчити про те, що тест 05.06.2012р не був помітно надлишковим. Тобто більшість тестових запитань давали кожне свій суттєвий і унікальний внесок в різносторонню оцінку кандидатів. Це свідчить про контентну якість тестування 05.06.2012 р.. Наведемо перелік запитань, на які варто звернути увагу: -- питаня, що давали зовсім унікальний внесок в оцінку, гіпотетичне вилучення яких з тесту знизило б різносторонність оцінки досягнень; -- перелік запитань, що вимірюють суттєвий латентний (прихований) параметр, який є спільним для цілої групи питань. До першої групи належать, в основному, нескладні запитання, які, судячи з усього, вимірюють конкретні (іноді специфічні) знання. Іншими словами, такі питання перевіряють головним чином те, чи запам'ятав кандидат конкретну інформацію. Тобто володіння чи неволодіння такими знаннями не корелює з загальними правничими здібностями кандидатів. Питання цієї групи можуть бути тестом досягнень, але не більше. До другої групи належать головним чином складні запитання, психометричні характеристики яких свідчать про те, що надання правильної відповіді на запитання вимагало певних неелементарних розумових процесів від кандидата. Тому, швидше за все, питаня цієї групи вимірюють чи здібності кандидата, чи розумові процеси більш високого рівня, ніж питання першої групи. Не будучи ознайомленим зі змістом питань, нажаль, неможливо сказати точно, які здібності вони вимірюють: професійний правничий IQ, чи загальну логіку і, відповідно, загальний IQ. Особливий характер питання, що примущує нас включати його до другого списку, в деяких випадках може бути викликаний, наприклад, недоліками в формулюванні дистракторів. В частині випадків це може призвести до того, що кандидат з високим IQ але без належних правничих знань та умінь

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 38

буде правильно відповідати на таке запитання, застосовуючи лише професійну логіку та аналіз відповідей методом виключення варіантів з «ознаками неправильності». До першої групи «Знання» ми відносимо запитання, що майже cамостійно (як протилежність комбінації з декількох питань) формують кожне свій унікальний фактор, серед виділених 31 (див. згадування факторів вище). Яскравими рпедставниками цієї групи є питання №№:11, 12, 39, 85, 91, 97. Крім того, до першої групи можна також віднести питання №№:1, 25, 40, 41, 44, 53, 56, 61, 66, 86, 99 До другої «Здібністно-логічної» групи ми відносимо питання, що мають підвищений рівень поведінкових кореляцій кандидатів з іншими питаннями, в першу чергу з питаннями своєї групи. Зокрема, питання №№ 22, 45, 63, 98. Цікаво ззаначити , що питання №№ 22, 45 та 63 є найбільш зкорельованими з загальним результатом тесту, що свідчить про те, що серед всіх 100 питань теста ці три запитання найьільше відповідають латентному параметру (рівню підготовки кандидата), що вимірює весь тест. До другої групи, в принципі, можна також віднести питання №№: 10, 14, 27, 31, 34, 37, 42, 43, 46, 67, 72, 76, 82, 88. Ми не мали нагоди бути ознайомленими зі змістом тесту 05.06.2012, тому наведені тут висновки є лише обгрунтованим припущенням, що базується на психометричній обробці даних і повинне розглядатись фахівцями з права, що мають доступ до тексту тестових запитань. 18. УЗАГАЛЬНЕННЯ СПОСТЕРЕЖЕНЬ ТА ВИСНОВКИ В цьому розділі зроблена спроба систематизувати і повторно згадати основні спостереження та висновки, що надано в тексті цього Звіту. ВККСУ продемонструвала відкриту і конструктивну співпрацю в контексті проведення моніторингу. Критика і пропозиції оперативно приймались до розгляду. Велику кількість пропозицій і зауважень було враховано. Не залишається сумнівів в бажанні Комісії максимально прозоро проводити анонімне тестування і удосконалювати діяльність. Комісія прийняла сміливе і відповідальне рішення про централізоване одночасне екзаменування всіх кандидатів в одному місці в один час. Такий спосіб адміністрування екзаменів надзвичайно складний і є професійним викликом навіть для досвідчених фахівців з адміністрування екзаменів. Перехід на новий метод адміністрування, при його правильній реалізації, дозволяє витримати єдині високі стандарти екзаменування. Разом з тим, було виявлено низку суттєвих недоліків в адмініструванні, про що див. нижче (Загальні висновки щодо адміністрування екзамену).

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 39

Є доцільним розглядати відповідність екзаменаційної діяльності ВККСУ до вимог ДСТУ ISO/IEC 17024:2005. На сьогодні цей стандарт в значній мірі не виконується при проведенні екзаменування ВККСУ. На заваді відповідності роботи ВККСУ стандартам екзаменування стоять недоліки законодавчо-нормативного поля, в якому працює Комісія. Надання Комісії можливості працювати у відповідності до міжнародних та українських стандартів є питанням політичної волі і законодавчих ініціатив. Однією з перешкод відповідності стандарту є невідповідність вимогам до організаційної структури ВККСУ для забезпечення компетентності, неупередженності та цілістності, а також відсутність в організаційній структурі ВККСУ підрозділу, що, мовою Стандарта, виконував би функції «Комітета схеми», для чого займався би: -- аналізом практики; -- формуванням і періодичним оновленням таксономій -- процедурами екзаменування -- іншими принциповими для екзаменування функціями, зокрема контролем і координацією роботи над базою екзаменаційних запитань, післяекзаменаційним аналізом і т.ін.. Екзаменаційна робота ВККСУ на согодні повністю відповідає закріпленому в нормативній базі нормо-орієнтованому підходу до визначення рівня мінімальних вимог до успішного кандидата на посаду судді. Поточна постановка задачі для анонімного тестування є очевидно завуженою, але добре, що практика цього екзаменування de facto виходить за рамки перевірки лише знань (тобто просто здатності кандидата відтворити запам’ятовану інформацію). Не створено і не опубліковано таксономію (технічне завдання) анонімного тестування. Опубліковану Програму анонімного тестування, разом з нормами п.3.3 та п.3.7 Положення про анонімне тестування від 18.05.2012р можна вважати частковою заміною Таксономії. Рівень вимог анонімного тестування до кандидатів не є справді високим, вимоги анонімного тестування не орієнтовані саме на юристів-практиків. В пресі і на інтернет-ресурсах відмічались проблеми з організацією процесу подання кандидатами документів, Заключний період подання документів, після врахування Комісією критики, пройшов без зауважень. На сьогодні не існує адекватної системи апеляцій щодо результатів іспитів ВККСУ. Законодавством не передбачено обслуговування апеляцій Комісією. А оскарження через ВРЮ чи Адмін.суд по своїй суті є оскарженням чи самої системи екзаменування, чи дій ВККСУ, а не самої оцінки кандидата. В фокусі такого оскарження є дії посадових осіб, а не суть оцінки кандидата. За загально прийнятими в професійному екзаменуванні правилами апеляцію належіть розглянути органу, що затверждує оцінку, і лише після

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 40

цього, якщо необхідно, оскаржувати саму систему проведення чи оцінки іспита, чи дії посадових осіб. Не вдалим було рішення про відкриту публікацію точних дат народжень всіх кандидатів. В публічних документах не згадується навіть в загальних рисах режим безпеки на шляху від розробників езкаменаційних питань через генерацію екзаменаційного модуля, до друку екзаменаційних матеріалів. Не вдається віднайти письмові згадування в публічних документах забезпечення уникнення конфліктів інтересів співробітників (і членів Комісії і працівників Секретаріату). Процес професійного (кваліфікаційного в широкому сенсі) екзаменування – специфічний. Крім можливих корупційних аспектів в ньому є велика кількість потенційних етичних проблем, тому загальних норм законодавства про протидію корупції тут поза будь-якими сумнівами не досить. Те, що на сьогодні голосуючий склад ВККСУ особисто займається перевіркою кваліфікаційних екзаменаційних робіт (відповідно до трактування законодавства Вишою радою юстиції) розходиться з вимогами загальноприйнятих екзаменаційних стандартів (зокрема п.6.3.1 міжнародного стандарта ISO 17024 і відповідного національного стандарта ДСТУ) і вимагає уточнення вимог законодавства, якщо необхідно, то і його змін. Загальні висновки щодо адміністрування екзамену: Не дивлячись на великий перелік недоліків, оскільки адміністрування за новою для ВККСУ централізованою схемою виконувалось вперше, результати адміністрування вважаемо цілком задовільними. Застосовані непрості методи адміністрування підняли на новий високий щабель рівень екзаменаційної роботи ВССКУ в порівнянні з попереднім періодом. Коротко надамо перелік основних зауважень до адміністрування: Робочі місця кандидатів не створювали рівних умов для всіх кадидатів. Організація зони первинної реєстрації (видачі карток), логістика реєстрації та допуск в екзаменаційне приміщення – незадовільні. Відмічено відсутність вказівників, інформаційних плакатів, зовнішніх засобів логістики потоків кандидатів. Це недопустимо для складного за огранізацією заходу з кількістю учасників – три з половиною тисяч осіб. Мали місце прорахунки з організацією доступу до туалетних кімнат. Пройшло дві з половиною години між часом прибуття кандидатів в екзаменаційний центр та початком доступу до туалетних кімнат. На деяких ділянках роботи відчувався жорсткий дефіцит персоналу при достатній загальній кількості залучених людських ресурсів. Причина – вузька спеціалізація в роботі

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 41

адмініструючого персонала і відсутність допомоги на перевантажених ділянках від не завантаженої в певні періоди частини персонала. Кандидати не були проінформовані заздалегіть про загальний сценарій дня тестування, що в купі з багатогодинним очікуванням давало атмосферу невизначеності і цілий перелік негативних вражень кандидатів. Підбір осіб, залучених до адміністрування, не виконувався за особистими і психологічними якостями. Для частини персонала це дало очевидну психологічну неготовність до запропонованої роботи, подекуди несумістність з нею через особисті якості, що разом з слабкою мотивацією та відсутністю досвіду і вишколу (достатньо глибокої тренінгової підготовки) вилилось в велику кількість дуже суттєвих недоліків в адмініструванні. Зокрема: -- відсутність належного контролю за спілкуванням кандидатів під час перерв (виходів до туалета); -- адмініструючий персонал подекуди не справлявся чи не реагував на спілкування кандидатів один з одним під час проведення тесту; -- користування засобами зв”язку навіть безпосередньо на робочих місцях під час офіційних трьох годин відведених на виконання роботи; -- робота кандидатів над екзаменаційними завданнями до офіційного початку трьохгодинного періоду і після його закінчення; Низка прорахунків з детальним плануванням дня адміністрування іспиту призвели до неприпустимо довгого очікування кандидатами. Значна частина кандидатів очікувала ззовні екзаменаційного приміщення більше чотирьох годин. Для великої кількості кандидатів загальний час очікування перевищував 5..5,5 годин від моменту прибутя кандидата в призначений час, в призначене ВККСУ місце, до початку інструктажа безпосередньо перед початком тестування. Негативне враження про рівень адміністрування іспиту складали нестандартизованість, різнородність виконання уповноваженими представниками деяких процедур, що повинні виконуватись показово однаково і синхронно у всіх сектоорах. Зокрема, мова йде про спосіб розподілу екзаменаційних зошитів по робочих місцях кандидатів перед початком екзамену, а також про спосіб завершення екзамена в секторі складенням протоколу і опломбовуванням пакета з екзаменаційними матеріалами. На протязі проведення екзамена уповноважені представники недостатньо контролюють екзаменаційні матеріали, іноді залишаючи їх без нагляду. Немає зовнішніх ознак виконання системи заходів по відслідковуваню долі кожного екзаменаційного зошита. Опубліковані дані кандидатів (ПІП, дата народження) змінювались без об'яви чи супроводжуючого пояснення.

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 42

Спосіб, яким Комісія виконала дискваліфікацію двох неякісних запитань, дещо деформує шкалу оцінок на користь слабко підготованих кандидатів. Статистичний аналіз гендерного та вікового складу кандидатів і їх екзаменаційних успіхів в анонімному тестуванні дає два спостереження, що свідчать про корисну функцію, що виконує анонімне тестування в збалансуванні віку і статі маси кандидатів, що проходять в наступний етап відбору: 1) досвідчені кандидати середнього віку більш успішні в анонімному тестуванні, ніж найбільш молоді кандидати (25..27 років), а також ті, чий період активної допенсійної роботи складає менше 15..17 років. 2) анонімне тестування збалансовує гендерний склад успішних кандидатів, що продовжують участь у відборі, через трохи меншу екзаменаційну успішність кандидатів жіночої статі, більшою кількістю представлених в числі зареєстрованих кандидатів. Аналіз результатів оцінювання екзаменаційних робіт свідчить про надійність (в сенсі надійності, як внутрішньої узгодженності) тесту 05.06.2012р. Присутні зовнішні ознаки валідності тесту 05.06.2012р. Остаточні висновки щодо валідності мають робити фахівці-правники, що мають доступ до текстів екзаменаційних запитань і до аналітичних звітів, що ми надаємо (див. Стандартизовані звіти UEnet в Додатках) 19. РЕКОМЕНДАЦІЇ Наведені в цьому розділі рекомендації більш детально викладено разом з поясненнями в попередніх розділах Звіту, в цьому ж розділі наведено лише основні з них. Перш за все варто звернути увагу на зміни, які потребують внесення відповідних змін до вітчизняного законодавства, а саме.

1. Привести екзаменаційну діяльність ВККСУ у відповідність до вимог ДСТУ ISO/IEC 17024:2005. Ініціювати (через надання детальних роз’яснень і пропозицій законодавцю) зміни в законодавстві в таких напрямках:

перехід від нормо-орієнтованого підходу до критерій-орієнтованого підходу у визначенні рівня вимог до кандидатів на посаду судді.

зміни формулювань законодавчо-нормативної бази, щоб в задачі анонімного тестування включались оцінки правничих когнітивних здібностей кандидата не лише на рівні “знання”, але й на більш високих рівнях, включно з “розумінням”, “застосуванням”, “аналізом”, і, навіть, “оцінкою”.

2. Запропонувати зміни до законодавства, які зроблять недопустимим виконання планової перевірки екзаменаційних робіт безпосередньо членами ВККСУ, для того, щоб вони мали можливість у відповідності до загальноприйнятих екзаменаційних стандартів, без будь-яких конфліктів інтересів і упережденості, приймати остаточні рішення (голосувати) по кандидату, тобто встановлювати остаточну оцінку кандидата.

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 43

3. Зробити анонімне тестування (тобто перше відбірочне екзаменування) за своїм змістом близьким до того, що зараз планується як зміст тестової частини кваліфікаційного іспиту.

4. Проводити анонімне тестування декілька разів на рік з введенням обмеження для кандидатів на повторну участь в анонімному тестуванні не раніше, ніж через рік після попередньої участі.

5. Сприяти змінам законодавчої і нормативної бази з метою зробити можливим і полегшити залучення сторонніх висококваліфікованих ресурсів (експертів, фахівців, колективів, підрядників) у такий спосіб, щоб неможливо було б поставити під сумнів неупередженість Комісії до окремих кандидатів чи їх груп. Зробити можливим законність субпідрядів на основні види робіт, крім принципових функцій (наприклад, функії «комітета схеми», прийняття рішень по оцінці та інше). Це дозволить виконувати специфічні роботи професійного екзаменування силами висококваліфікованих фахівців.

Окрім того, варто зауважити на потребі у змінах, які можливо запровадити на підзаконному рівні:

1. Підготувати і опублікувати першу робочу версію таксономії анонімного тестування.

2. В подальшому формувати таксономію у відповідності до поточних результатів Аналізу практики;

3. Виключити з Положення про анонімне тестування норми, які є частиною таксономії.

4. Опублікувати приклад повного екзаменаційного варіанта (набору запитань) анонімного тестування, а не обмежений набір питань, щоб кандидати і громадськість змогли ознайомитись з прикладом цілісного інструмента для оцінки кандидата.

5. Створити в складі Секретаріату ВККСУ депертамент, що взяв би на себе функції “Комітету схеми” (користуючись мовою ISO 17024), надати йому достатньо ресурсів та повноважень для створення та регулярного оновлення екзаменаційних таксономій, для проведення аналізу практики, та виконання інших важливих для якісного проведення екзаменаційної діяльності функцій, включно з координацією розробки екзаменаційних модулів, організації адміністрування іспитів, організації перевірки екзаменаційних робіт.

6. Запровадити так званий аналіз практики (practice analysis), який має стати постійною діяльністю відповідного депертамента ВККСУ. Публічними результатами цієї роботи мають стати щонайменше періодично оновлювані кваліфікаційні вимоги до кандидатів (екзаменаційні таксономії) та публікування щорічних звітів з аналізу практики.

7. Створити публічну систему роботи ВККСУз апеляціями. 8. В розділі Положення про анонімне тестування, в якому згадується право кандидата

вмотивовано звертатись з проханням про ознайомлення зі своєю екзаменаційною роботою, включити хоча б мінімальний обсяг інформації про принципи чи порядок розгляду такого прохання Комісією. Щонайменше, необхідно включити симетричну норму, у відповідності до якої Комісія зобов’язана вмотивовувати

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 44

рішення (якщо таке приймається) про відмову в доступі до роботи, якщо кандидату (відповідно то тексту Положення) належить вмотивовувати своє прохання про можливість ознайомитись зі своєю роботою.

9. Для точної ідентифікації кандидатів в публічних документах використовувати крім П.І.П. не точну дату народження, а комбінацію з віку на момент складення екзамена та населеного пункта проживання кандидата.

10. Дати опис режиму безпеки розробки екзаменаційних питань, генерації екзаменаційних модулів (разом з процедурами впевненості і контролю якості) в публічних документах, в тому обсязі, який допустимий для відкритих документів.

11. Налагодити облік підвищення кваліфікації співробітників щодо екзамнаційних технологій.

12. Запровадити відображені в публічних документах процедури виявлення та уникнення конфліктів інтересів персонала ВККСУ.

13. Дати інформацію в публічних документах щодо процедури спеціальної перевірки, особливо якщо суть спеціальної перевірки ВККСУ виходить за рамки простої і очевидної імплементації норм Закону про протидію корупції.

14. В зв’язку з тим, що вимоги до кандидатів змінюються з часом, в загальних реєстрах кадидатів, що вже склали екзаменування ВККСУ (приклади: список кадрового резерва; список допущених до кваліфікаційного іспита) необхідно вказувати в якому доборі (році) кандидат успішно склав відповідний іспит.

15. Допускати до учаcті в адмініструванні лише відібраний і добре підготований персонал, що пройшов низку тренінгів, включно з психологічною підготовкою та підготовкою до толерантного спілкування з кандидатами. Перед доступом до роботи, адмініструючий персонал має проходити контроль рівня підготованості (екзамен/залік чи, щонайменше, співбесіду з незацікавленим співробітником, здатним об’єктивно оцінити рівень підготовки проктора (уповноваженого представника) для виконання ним функцій по адмініструванню іспита). Якщо власного підготованого і перевіреного трудового ресурса виявиться не досить, залучати додатково сторонній досвідчений трудовий ресурс для адміністрування екзаменів.

16. Заздалегіть інформувати зареєстрованих кандидатів щодо очікуваних процедур, в яких вони прийматимуть участь. Для цього публікувати популярні роз'яснення щодо послідовності дій кандидатів і адмініструючого персоналу в зв'язку з іспитом, а не тільки нормативні документи, положення і офіційні об'яви.

17. Приміщення екзаменаційного центру та прилегла територія мають бути забезпечені достатньою кількістю правильно розміщених інформативних вказівників і плакатів.

18. Для прискорення процесу первинної реєстрації рекомендуємо планувати в півтора-два рази більшу кількість столів реєстрації (і реєстраторів).

19. Переглянути загальну організацію процеса реєстрації з метою виключення помітного очікування кандидатами між моментом отримання картки та заведенням в сектор. Для цього по мірі отримання кандидатами карток формувати групи, що заводились би на отримання коду, після чого також по мірі накопичення формувати одночасно декілька секторів, з випадковим розподіленням кандидатів по секторах і по робочих місцях в секторах.

20. Робочі місця в секторах має бути пронумеровано. Розподіл кандидатів по їх робочих місцях має відбуватись жеребкуванням, а не за розпорядженнями

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 45

конкретних уповноважених представників на місцях, і не хаотично по волі самих кандидатів. Бажано, щоб жеребкування відбувалось за участю самих кандидатів, хоча, при певних умовах, допустиме і компьютерне жеребкування.

21. При плануванні адміністрування іспиту необхідно мати набір резервних планів на випадок природніх (град, заметіль і т.ін.), техногенних (відсутність електроенергії, аварія водогону і т.ін.) та громадських (заворушення і т.ін.) форсмажорів.

22. При плануванні адміністрування іспиту необхідно пам'ятати, що організатор такого масового заходу несе відповідальність (незалежно від того, що про це говорить Закон) за безпеку і неушкодження здоров'я запрошених на захід кандидатів. Тому варто крім залучення чергових медичних працівників залучати додатковий персонал для забезпечення охорони і безпеки, і не допускати ситуацій, що загрожують здоров'ю всіх чи окремих кандидатів (навіть якщо результатом такого роду «несуттєвої» загрози буде нежить всього у декількох кандидатів).

23. У випадку неможливості забезпечення належного рівня підготовки адмініструючого персонала до запобігання використання засобів зв'язку, рекомендуємо cанкціоноване застосування обладнання, що перешкоджає використанню мобільного GSM/CDMA зв'язку в приміщенні проведення іспита.

24. Налагодити систему супроводу кандидатів на «перерву», забезпечивши регламентований порядок (чергу) виходу на перерву, достатні трудові ресурси для забезпечення супроводу, підготовку (тренінг) таких працівників, а також підготованих чергових в туалетних кімнатах.

25. Виконання процедур початку іспиту і його завершення має бути уніфіковано і синхронізовано, для чого слід провести додаткові тренінги з уповноваженими представниками по секторах.

26. При опломбовуванні пакетів з екзаменаційними матеріалами після закінчення іспиту на пакеті слід вказувати номер сектора, ПІП і підписи уповноваженого представника і представника з числа кандидатів. Опціонально: склад вкладення (скільки робіт).

27. Виконувати публічний облік невикористаних екзаменаційних матеріалів. 28. Повністю реалізувати раніше задекларовану ідею супроводу (безпосередньо до

місця сканування) опломбованих пакетів з екзаменаційними матеріалами представниками кандидатів.

29. Залучити кваліфікованих спостерігачів для безпосереднього контролю (спостереження) за розкриттям пакетів і обробкою робіт кандидатів.

30. Передбачити штатний спосіб корекції відповіді кандидатом під час виконання ним екзаменаційної роботи.

31. При виконанні змін чи доповнень до опублікованої інформації щодо результатів екзаменування, чи при публікації нових версій даних/документів слід публікувати також зрозумілі для стороннього спостерігача пояснення про суть змін і їх причини. Слід уникати необхідність та можливість самостійних припущень (з боку кандидатів і будь-яких сторонніх спостерігачів) щодо суті і причин змін, через відсутність прямого і простого їх пояснення з боку ВККСУ.

32. Змінити спосіб прийняття рішень щодо дискваліфікації неякісних запитань. На етапі анонімного тестування слід знімати з розгляду (з урахування) відповіді на запитання, що визнано неприйнятними для цілей тестування, а не зараховувати всім кандидатам будь-які відповіді на такі питання як вірні відповіді. Такий підхід

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 46

слід безпосередньо застосовувати лише при першому анонімному тестуванни, коли набраний кандидатом бал має значення лише для статусу «Склав» чи «Не склав» і не дає внесок в значення рейтингу кандидата для конкурсу.

33. Після проведення кожного іспиту фахівцям ВККСУ рекомендується проводити контентний аналіз екзаменаційних запитань з урахуванням IRT аналізу (див. Додатки до цього звіту) на предмет контентної валідності і якості кожного запитання як інструмента оцінки. З результатом аналізу слід ознайомлювати розробників відповідних запитань для його врахування в подальших розробках.

20. ЗАКЛЮЧНА ЧАСТИНА Із прийняттям Закону України «Про судоустрій і статус суддів» було запроваджено анонімне тестування кандидатів на посаду судді вперше як новий об’єктивний та справедливий засіб добору заснований на особистісних досягненнях. Однак, запровадження такого засобу без дотримання міжнародно-визнаних методології тестування та стандартів може призвести до зловживання цим інструментом та помилковості отриманих результатів. Окрім того, вже проведені у 2011 та 2012 роках анонімні тестування кандидатів на посаду судді вперше виявилу низку питань, які мають бути врегульовані. Як вже зазначалося у попередніх параграфах, надання можливості для ВККСУ працювати у відповідності до міжнародних та українських стандартів є питанням політичної волі і законодавчих ініціатив. При всьому бажанні удосконалювати екзаменаційну роботу, що демонструє наразі ВККСУ, на заваді відповідності роботи ВККСУ стандартам екзаменування стоять, в тому числі, певні недоліки законодавчо-нормативного поля, в якому працює Комісія. Виконання вказаних у цьому Звіті рекомендацій забезпечить запровадження прозорого, надійного та об’єктивного механізму тестування задля виявлення виключно висококваліфікованих кандидатів на посаду судді. Окрім того, втілення рекомендацій сприятиме докорінному реформуванню української системи добору кандидатів на суддівські посади через запровадження заснованих на особистісних досягненнях стандартів і створення баз даних, необхідних для конкурентоспроможного ранжування заявників відповідно до їх здібностей.

ДОДАТОК 1 МЕТОДИКА МОНІТОРИНГА UENET

Міжнародна громадська організація «Універсальна екзаменаційна мережа»

Методика проведення моніторингу екзаменаційного компонента професійної сертифікації

Вступ Цей документ розроблено на основі вимог ISO/IEC 17024. 1 Сфера застосування Цей методичний матеріал містить принципи та вимоги до компетентності, послідовності та неупередженості для моніторингу організації, що здійснює професійну сертифікацію. Цей методичний матеріал можна використовувати як документ, у якому визначено критерії для моніторингу організації, що здійснює професійну сертфифікацію (надалі Об‘єкт). 2 Терміни та визначення Адмініструючий персонал – працівники, основним завданням яких є проведення іспитів згідно Правил і вимог організації, що проводить сертифікаційні іспити; дотримання неупередженості та конфіденційності екзаменаційного процесу. Іспити - обов'язковий компонент програми сертифікації, що складається з перевірки знань, умінь і навичок кандидата на присвоєння рівня кваліфікації. Кандидат (учасник іспиту) – фізична особа, що має відповідний документ - посвідчення особи державного зразка з фотографією: паспорт, водійські права ш т.ін.), раніше зареєструвалася на іспити та отримала попередній дозвіл на участь в сертифікаційній програмі. Неупередженість - фактична та сприймана наявність об’єктивності. Об’єктивність означає відсутність конфліктів інтересів або розв’язання їх у такий спосіб, який не впливає негативно на діяльність Об'єкту. Інші корисні терміни, що характеризують неупередженість, є: об'єктивність, незалежність, звільненість від конфлікту інтересів, звільненість від упередженої думки, відсутність упередженості, нейтральність, чесність, широта поглядів, безпристрасність, відособленість, урівноваженість. Програма сертифікації - програма, що складається з наступних компонентів: навчання, іспити, присвоєння і підтримання рівня кваліфікації. Сертифікація – процес оцінки професійної компетентності кандидата для присвоєння кваліфікаційного рівня та видачі відповідного сертифіката. Спостерігач – незалежна особа, яка здійснює моніторинг діяльності Об‘єкта, але не приймає участі у його роботі. Спостерігач має право бути присутнім на всіх етапах діяльності Об‘єкта, спостерігати за роботою персоналу та давати незалежну оцінку відповідності роботи персоналу щодо Правил і вимог Об‘єкта, що проводить

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 1

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 2

сертифікаційні іспити, щодо загальноприйнятих стандартів екзаменаційної діяльності, а також надавати рекомендації стосовно покращення/удосконалення тих чи інших процесів. 3 Принципи 3.1 Загальні положення 3.1.1 Ці принципи є основою для викладених в цьому методичному матеріалі конкретних функціональних та описових вимог. Цей методичний матеріал не визначає конкретних вимог для всіх можливих ситуацій. Ці принципи слід застосовувати як керівництво для рішень, які можуть знадобитись у непередбачуваних ситуаціях. Принципи не є вимогами. 3.1.2 Основною метою моніторингу є забезпечення перевірки відповідності встановленим вимогам та загальноприйнятим стандартам. Цінність моніторингу визначається рівнем суспільної впевненості та довіри, який створюється неупередженим і компетентним оцінюванням третьою стороною. Сторонами, які мають зацікавленість у моніторингу, можуть бути, але не обмежуються: - клієнти Об‘єкта (кандидати), - урядові установи, - неурядові організації, - інші члени суспільства. 3.1.3 Принципи, що сприяють довірі, охоплюють: - неупередженість, - компетентність, - відповідальність, - відкритість, - конфіденційність, - реагування на скарги. 3.2 Неупередженість 3.2.1 Щоб здійснювати моніторинг, який заслуговує на довіру, спостерігачі мають бути неупередженими і їх мають сприймати як неупереджених осіб. 3.2.2 Щоб завоювати і підтримувати довіру важливо, щоб рішення спостерігачів ґрунтувалися на об'єктивних доказах відповідності (або невідповідності) стандартам та правилам, отриманих спостерігачами, і щоб на рішення не впливали інші інтереси або інші сторони. 3.2.3 Загрози для неупередженості охоплюють таке: a) Загрози особистої зацікавленості – загрози, які виникають від особи або органу, що діють у своїх власних інтересах. Стосовно моніторингу, загрозою для неупередженості є особиста фінансова зацікавленість. b) Загрози самоперевіряння – загрози, які походять від особи або органу, що перевіряють роботу, зроблену ними самими. с) Загрози від приятельських стосунків (довіри) – загрози, які походять від особи або органу, що перебувають у занадто близьких стосунках або надміру довіряє іншій особі замість того, щоб шукати докази відповідності/невідповідності стандартам і Правилам. d) Загрози залякування – загрози, які походять від особи або органу і сприймаються як пряме чи приховане примушення, як, наприклад, загроза бути звільненими з роботи. 3.3 Компетентність

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 3

Компетентність спостерігачів є необхідною, щоб надавати рекомендації, які забезпечують довіру. 3.4 Відповідальність 3.4.1 Організація, що проводить моніторинг (надалі Організація) несе відповідальність за правдивість, об‘єктивність наданих висновків щодо результатів моніторингу, звітів та рекомендацій. 3.4.2 Організація зобов’язана зібрати та оцінити достатню кількість об'єктивних доказів, на яких ґрунтуються висновки та рекомендації. 3.5 Відкритість 3.5.1 Відкритість - це принцип доступності або оприлюднення відповідної інформації. 3.5.2 Щоб забезпечувати або підтримувати довіру до висновків моніторингу, Організації, слід забезпечувати відповідний доступ або оприлюднювати інформацію, яка не є конфіденційною, щодо висновків спостерігачів для певних зацікавлених сторін та громадскості. 3.6 Конфіденційність Щоб отримати привілейований доступ до інформації, яка потрібна спостерігачам для адекватної оцінки відповідності стандартам, Правилам і вимогам діяльності Об‘єкта, важливо, щоб Організація зберігала конфіденційність будь-якої приватної інформації про Об‘єкт та його діяльність. 3.7 Реагування на скарги Всі скарги про роботу спостерігачів мають бути опрацьовані і, якщо їх визнають обґрунтованими, скарги мають бути належним чином розглянуті і ужито відповідні заходи для вирішення скарг. Ефективне реагування на скарги є важливим засобом захисту від помилок, упущень або неналежної поведінки. Якщо скарги розглядаються належним чином, довіра до моніторингової діяльності зберігається. Належний баланс між принципами відкритості і конфіденційності, охоплюючи реагування на скарги, є необхідним для того, щоб продемонструвати чесність і достовірність всім користувачам моніторингу. 4. Загальні вимоги 4.1 Правові питання та питання, пов’язані з договорами 4.1.1 Юридична відповідальність Організація, що проводить моніторинг, повинна нести юридичну відповідальність за всю свою моніторингову діяльність. 4.1.2 Договір на моніторинг Організація, що проводить моніторинг, повинна мати договір, що має юридичну силу, яким легалізується можливість проведення моніторингу Об'єкта Організацією. Виключенням є суспільне замовлення, що реалізується в умовах громадської довіри як до діяльності Організації, так і до усвідомлення суспільством необхідності та своєчасності проведення моніторинга Об'єкта.

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 4

4.2 Менеджмент неупередженості 4.2.1 Найвище керівництво Організації, бере на себе зобов'язання діяти неупереджено при здійсненні моніторингу. Важливо дотримуватися неупередженості під час виконання своєї діяльності з моніторингу, урегульовувати конфлікти інтересів і забезпечувати об'єктивність своєї діяльності. 4.2.2 Організація, що проводить моніторинг, визначає, аналізує і документує можливості щодо конфлікту інтересів, що виникають під час провадження моніторингу, охоплюючи будь-які конфлікти, що виникають через його взаємозв’язки. Наявність взаємозв’язків не обов'язково спричиняє конфлікт інтересів. Проте, якщо будь-який взаємозв’язок створює загрозу неупередженості, спостерігачі повинні це задокументувати і бути здатним продемонструвати, як вони це усувають або мінімізують такі загрози. Демонстрування повинно охоплювати всі визначені потенційні джерела конфлікту інтересів, незалежно від того, чи вони виникають в межах Організації або через діяльність інших осіб, органів або організацій. 4.2.3 Організація повинна вживати заходів, у відповідь на будь-які загрози його неупередженості, які можуть виникнути через дії інших осіб, органів або організацій. 4.2.4 Весь персонал Організації, як внутрішній, так і зовнішній, які можуть впливати на моніторингову діяльність, повинні діяти неупереджено і не повинні дозволяти комерційному, фінансовому або будь-якому іншому тиску ставити під загрозу неупередженість. 4.2.5 Організація, що проводить моніторинг, повинна вимагати від персоналу, як внутрішнього, так і зовнішнього, повідомляти про будь-яку відому їм ситуацію, яка може загрожувати їм або Об‘єкту конфліктом інтересів. Інформація повинна використовуватися як дані для визначення загроз для неупередженості, що виникають через дії такого персоналу або організацій, які їх залучають; такий персонал не повинен залучатися до моніторингу, поки він не зможе продемонструвати відсутність конфлікту інтересів. 5. Вимоги до ресурсів 5.1 Компетентність керівництва та персоналу 5.1.1 Загальні положення В Організації повинні існувати і функціонувати внутрішні виробничі процеси, які забезпечують наявність персоналу, що володіє знаннями, навиками та досвідом щодо моніторингу процесів незалежного (зовнішнього) екзаменування та професійної сертифікації / професійного ліцензування. 5.1.2 Визначення критеріїв компетентності Персонал, що залучається до моніторингу, повинен відповідати певним критеріям компетентності. Критерії компетентності повинні бути задокументовані та враховувати необхідні знання та навички для ефективного виконання завдань моніторингу. У разі, якщо були встановлені додаткові спеціальні критерії компетентності для окремого специфічного моніторингу, вони повинні бути застосовані. 5.1.3 Процеси оцінювання Організація, що проводить моніторинг, повинна мати задокументовані процеси для первинного оцінювання компетентності та поточного моніторингу компетентності та дій

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 5

всіх співробітників, залучених до управління та провадження моніторингу, застосовуючи визначені критерії компетентності. Організація повинна продемонструвати, що її методи оцінювання є результативними. Результатом цих процесів повинно бути визначення співробітників, які продемонстрували рівень компетентності, необхідний для різних функцій процесів моніторингу. Під компетентністю в цьому пункті мається наувазі набір знань, умінь, спроможностей та компетенції виключно у сфері незалежного екзаменування. 5.2 Персонал, залучений до моніторингової діяльності 5.2.1 Організація повинна мати, як частину власної організації, персонал, що має достатню компетентність для проведення моніторингів. 5.2.2 Організація повинна мати у штаті або мати можливість залучати достатню кількість спостерігачів, щоб охопити всі види своєї діяльності і керувати об'ємом виконуваних робіт з моніторингу. 5.2.3 Організація повинна роз’яснити кожному працівнику його обов’язки, відповідальність та повноваження. 5.2.4 Організація повинна мати визначені процеси для вибирання, навчання, офіційного уповноваження спостерігачів. Первинне оцінювання компетентності спостерігача повинно охоплювати здатність застосувати необхідні знання і навички під час моніторингу. У процесі відбору та навчання можуть братись до уваги бажані особисті якості. Це характеристики, що впливають на здатність особи виконувати конкретні функції. Таким чином, знання особистих якостей осіб дозволяє скористатися перевагами їх сильних сторін і звести до мінімуму вплив їх слабких сторін. Бажані особисті якості, що мають важливе значення для персоналу, який бере участь у моніторингах наведено в Додатку 1. 5.2.5 Персонал повинен залучатися в якості спостерігачів тільки для тих видів діяльності з моніторингу, де він продемонстрував компетентність. 5.2.6 Організація, що проводить моніторинг, повинна визначити потреби у навчанні і повинна запропонувати або забезпечити доступ до спеціального навчання своїм спостерігачам та іншому персоналу, залученому до робіт з моніторингу, щоб забезпечити їхню компетентність стосовно функцій, які вони виконують. 5.2.7 Група або особа, яка приймає рішення щодо надання, підтримування, поновлення, розширення, скорочення, призупинення або скасування моніторингу, повинна розуміти процедури і вимоги щодо об‘єкту моніторингу, і повинні продемонструвати компетентність, щоб оцінити процеси екзаменування (тестування) та сертифікації і надати відповідні рекомендації. 5.2.8 Задокументовані процедури моніторингу для спостерігачів повинні поєднувати спостереження на місці, аналізування звітів про моніторинг і зворотній зв'язок з керівництвом (представниками) Об‘єкту та громадськістю. Моніторинг повинен бути розроблений таким чином, щоб мінімізувати втручання у звичайний процес діяльності Об‘єкта. 5.2.9 Керівництво організації, що проводить моніторинг, повинно періодично оцінювати діяльність кожного спостерігача під час моніторингу на місці. Періодичність оцінювання повинна ґрунтуватися на потребах, що визначаються на підставі всієї доступної інформації щодо моніторингу.

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 6

5.3 Аутсорсинг 5.3.1 Організація, що проводить моніторинг, повинна мати процес, в якому описані умови, за яких можливий аутсорсинг (який є субпідрядною діяльністю іншої організації щодо проведення частини робіт з моніторингу від імені Організації). Організація повинна мати юридично оформлену угоду з кожною стороною, що надає аутсорсингові послуги, яка містить домовленості, зокрема, щодо конфіденційності і уникнення конфлікту інтересів. 5.3.2 Рішення щодо надання, підтримування, поновлення, розширення, скорочення, призупинення або скасування моніторингу ніколи не повинні передаватися на умовах аутсорсингу. 5.3.3 Організація повинна 1) нести відповідальність за будь-яку діяльність, що передана на умовах аутсорсингу іншому органу, 2) забезпечувати, щоб орган, який надає послуги на умовах аутсорсингу, і особи, яких він залучає, відповідали вимогам до спостерігачів, а також, відповідним положенням, охоплюючи компетентність, неупередженість і конфіденційність, та 3) забезпечувати, щоб орган, який надає послуги на умовах аутсорсингу, і особи, яких він залучає, не були пов’язані, як безпосередньо, так і через будь-якого іншого роботодавця, з Об‘єктом, діяльність якого проходіть моніторинг, таким чином, що це може поставити під загрозу неупередженість. 6. Вимоги до інформації 6.1 Документи щодо моніторингу 6.2.1 Організація повинна надавати документи (звіти, аналітику і т.п.) щодо моніторингу діяльності Об‘єкта зацікавленим сторонам, що ініціювали моніторинг. 6.2.2 Документи щодо моніторингу повиненні визначати таке: а) назву Об‘єкта; b) дату початку проведення моніторингу; c) дату закінчення моніторингу; d) галузь/сферу моніторингу; e) короткий опис процесів; f) висновки та рекомендації. 6.3 Посилання на дані моніторингу 6.3.1 Організація повинна вимагати, щоб керівництво Об‘єкта: - не робило або не допускало оманливих заяв стосовно даних моніторингу, - не використовувало або не допускало використання документа щодо моніторингу або будь-якої його частини у спосіб, що вводить в оману, - у разі призупинення функціонування процесів, моніторинг яких проводився, припиняло використовування всього інформаційного/PR/рекламного матеріалу, що містить посилання на дані моніторингу, - не робило припущень, що дані моніторингу стосуються діяльності та/або процесів, які не охоплені моніторингом, - не використовувало дані моніторингу таким чином, що може дискредитувати Організацію, яка проводила моніторинг, в цілому або її персонал, зокрема та призвести до втрати довіри суспільства.

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 7

6.3.2 Організація повинна здійснювати належний контроль використанни даних моніторинга і повинна вживати заходів у разі некоректних посилань на дані моніторингу або оманливого застосування документів щодо моніторингу. 6.4 Конфіденційність 6.4.1 Організація повинна за допомогою угод, що мають юридичну силу, мати політику і засоби для забезпечення конфіденційності інформації, отриманої або створеної під час виконання діяльності з моніторингу. 6.4.2 Організація повинна заздалегідь інформувати керівництво Об‘єкта щодо інформації, яку вона має намір розмістити в загальному доступі. 6.4.3 Інформація щодо конкретного Об‘єкта або особи не повинна надаватися третій стороні без письмової згоди Об‘єкта або особи, якої це стосується, у випадку, якщо мова йде про персональні дані чи інформацію, що може розглядатись як комерційна чи виробнича таємниця. Якщо, відповідно до законодавства, Організація зобов’язана надати конфіденційну інформацію третій стороні, про це заздалегідь треба повідомити керівництво Об‘єкта, якщо інше не передбачено законом. 6.4.4 Інформація про Об‘єкт, що отримана з інших джерел, ніж керівництво Об‘єкта (наприклад, від скаржника, регуляторного органу) повинна вважатись конфіденційною. 6.4.5 Персонал, зокрема будь-які спостерігачі, адміністратори, підрядники, персонал зовнішніх органів або особи, які діють від імені Організації, повинен дотримуватися конфіденційності стосовно усієї інформації, отриманої або створеної під час моніторингу. 6.4.6 Організація повинна мати в наявності і використовувати устаткування і засоби, які забезпечують безпечне опрацювання конфіденційної інформації (наприклад, документи, записи). 7. Вимоги до процесу 7.1 Загальні вимоги 7.1.1 Програма моніторингу 7.1.1.1 Щоб чітко визначити діяльність з моніторингу, яка повинна продемонструвати, що діяльність Об‘єкта відповідає загальноприйнятим стандартам, а також Правилам і вимогам Об'єкта щодо екзаменування та сертифікації кандидатів згідно з обраними напрямками або іншиими нормативними документами, потрібно розробити програму моніторингу. 7.1.1.2 Визначення програми моніторингу та будь-які подальші коригування повинні враховувати сферу застосування та складність системи процесів діяльності Об‘єкта, а також результати будь-яких попередніх моніторингів, якщо такі проводилися. 7.1.1.3 Якщо Організація, що проводить моніторинг, бере до уваги результати моніторингів, які вже були проведені раніше, вона повинна зібрати достатню кількість інформації, яку в свою чергу можна перевірити, для того щоб обґрунтувати та зафіксувати будь-які зміни до програми моніторингу. 7.1.2 План моніторингу 7.1.2.1 Загальні положення Організація повинна забезпечувати складання плану моніторингу для кожного етапу моніторингу (якщо таких кілька), що визначено в програмі, щоб забезпечити основу для узгодження порядку проведення та планування роботи спостерігачів.

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 8

7.1.2.2 Визначення цілей, сфери та критеріїв моніторингу 7.1.2.2.1 Цілі, сфера та критерії моніторингу, охоплюючи будь-які зміни, встановлюються Організацією та погоджуються з сторонами, що ініціювали моніторинг, та, по можливості, з керівництвом Об‘єкта. 7.1.2.2.2 Цілі моніторингу повинні описувати, що повинно бути досягнуто і охоплювати таке: - оцінювання спроможності забезпечувати відповідність діяльності Об‘єкта заявленим ним Правилам, загально прийнятим стандартам , застосовним законодавчим, регламентуючим та контрактним вимогам; ПРИМІТКА Моніторинг процесів не є моніторингом юридичної відповідності. - оцінювання результативності щодо забезпечування Об‘єктом досягнення поставлених цілей; - виявлення сфер потенційного поліпшення функціонування процесів. 7.1.2.2.3 Сфера моніторингу повинна описувати його обсяг та межі, такі як місце розташування Об'єкта, види діяльності та процеси, які підлягають моніторингу. У разі, якщо моніторинг охоплює різні місця та/або процеси, сфера окремого моніторингу може не охоплювати в повному обсязі всю сферу моніторингу, але сукупність повинна відповідати сфері у документі щодо моніторингу. 7.1.2.2.4 Критерії моніторингу повинні використовуватись як еталон, у порівнянні з яким визначається відповідність, та повинні охоплювати: - вимоги, що визначені загальноприйнятими стандартами; - вимоги, що визначені законодавством та підзаконними актами; - вимоги, що визначені нормативними документами Об‘єкта; - визначені процеси та документацію, що розроблені Об‘єктом. 7.1.2.3 Складання плану моніторингу План моніторингу повинен відповідати цілям та сфері моніторингу. План моніторингу, щонайменше, повинен охоплювати або посилатись на наступне: а) цілі моніторингу; b) критерії моніторингу; c) сферу моніторингу, зокрема ідентифікацію організаційних та функціональних одиниць або процесів, які підлягатимуть моніторингу; d) дати і місця, де буде проводитись моніторинг на місці; e) очікуваний час і тривалість діяльності спостерігачів на місці; f) ролі та обов'язки спостерігачів. 7.1.3 Вибір та призначення групи спостерігачів 7.1.3.1 При визначенні розміру та складу групи спостерігачів, треба брати до уваги таке: - цілі моніторингу, сферу, критерії та розрахунок тривалості моніторингу; - чи є моніторинг скомбінованим, інтегрованим або спільним; - загальну компетентність групи спостерігачів, необхідну для досягнення цілей; - мову та культуру; - чи проводили члени групи раніше моніторинг процесів, схожих з процесами Об‘єкта. 7.1.3.2 Керівник групи спостерігачів, за погодженням з групою, повинен призначити кожного члена групи відповідальним за проведення моніторингу конкретних процесів, функцій, об’єктів, областей або видів діяльності. При розподілі обов’язків потрібно враховувати необхідну компетентність та результативне та ефективне використання групи, а також різні ролі та обов'язки спостерігачів. Щоб забезпечити досягнення цілей

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 9

моніторингу, під час проведення моніторингу можна вносити зміни до розподілу обов’язків. 7.1.4 Визначення тривалості моніторингу 7.1.4.1 При визначенні тривалості моніторингу, включаючи написання звітів, рекомендацій та аналітичних даних, слід враховувати, серед іншого, такі аспекти: - розмір і складність діяльності Об‘єкта; - технологічні і регуляторні обставини; - будь-які види діяльності, виконувані на умовах аутсорсингу; - результати будь-яких попередніх моніторингів; - кількість філій та розгалуженість структури Об‘єкта; - ризики, пов'язані з процесами або видами діяльності Об‘єкта; - чи є моніторинг скомбінований, спільний або інтегрований. 7.1.5 Застосування вибірки при розгалуженій структурі У разі застосування вибірки при розгалуженій структурі Об‘єкта для проведення моніторингу процесів, які охоплюють однакові види діяльностей, Організація повинна розробити програму для визначення розміру вибірки, щоб забезпечити належний моніторинг. 7.1.6 Інформування щодо завдань групи спостерігачів Завдання, поставлені перед групою спостерігачів, повинні бути визначені і доведені до відома керівництва Об‘єкта і повинні вимагати від групи спостерігачів: a) дослідити та перевірити структуру, політики, процеси, процедури, записи і пов'язані документи Об‘єкта, що стосуються діяльності за якою проводиться спостереження, b) визначити, чи задовольняють вони всі вимоги, відносно заявленої сфери, особливо щодо вимог загальноприйнятих стандартів; c) визначити, чи розроблені та запроваджені процеси і процедури, та чи результативно їх підтримують, щоб забезпечити основу для довіри до діяльності Об‘єкта, d) повідомляти представникам Об‘єкта, для його реагування, щодо будь-якої неузгодженості між політикою Об‘єкта, завданнями і цілями та результатами. 7.1.7 Інформування стосовно членів групи спостерігачів Організація повинна завчасно повідомляти керівництву Об‘єкта імена і, на запит, іншу інформацію стосовно кожного члена групи спостерігачів, щоб керівництво Об‘єкта могло висловити незгоду стосовно призначення будь-якого конкретного спостерігача, а Організація змінила склад групи у відповідь на будь-яке вагоме заперечення. 7.1.8 Провадження моніторингу на місці 7.1.8.1 Загальні положення Процес моніторингу повинен охоплювати вступну нараду на початку моніторингу та заключну нараду наприкінці. На додаток до відвідування фактичного(их) місцезнаходження(ень), «на місці» може охоплювати дистанційний доступ до електронного(их) сайту(ів), що містить(ять) інформацію, яка стосується моніторингу. 7.1.8.2 Проведення вступної наради Офіційна вступна нарада може бути проведена за участі сторін, що ініціювали моніторинг, а також представників Об‘єкта, і, за необхідності, за участі осіб, які відповідають за функції або процеси, які підлягають моніторингу. Метою вступної наради, яку, зазвичай, проводить керівник групи спостерігачів, є надання короткого пояснення щодо того, як буде здійснюватись моніторинг і охоплює подані далі елементи:

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 10

- представлення спостерігачів, зокрема окреслення їхніх ролей; - підтвердження сфери моніторингу; - підтвердження плану моніторингу (зокрема, тип і сферу, цілі і критерії), будь-яких змін та інших відповідних домовленостей з Об‘єктом, таких як дата і час проведення заключної наради, проміжних нарад групи спостерігачів та керівництва Об‘єкта; - підтвердження офіційних каналів зв'язку поміж спостерігачів; - підтвердження забезпеченості спостерігачів необхідними ресурсами і засобами; - підтвердження питань, що стосуються конфіденційності; - підтвердження відповідних процедур для спостерігачів, пов’язаних з охороною праці, надзвичайними ситуаціями та безпекою; - метод звітування, зокрема, градацію даних спостереження; - інформування про умови, за яких моніторинг може бути достроково припинено; - підтвердження того, що керівник групи та група спостерігачів несуть відповідальність за якість спостереження і будуть контролювати виконання плану моніторингу, охоплюючи діяльність з моніторингу та записи моніторингу; - підтвердження статусу даних попереднього аналізування, за наявності; - методи та процедури, які будуть використовуватись для проведення моніторингу на основі вибірки, за наявності; - підтвердження мови, яка буде використовуватись в ході моніторингу. 7.1.8.3 Інформування під час моніторингу 7.1.8.3.1 Під час спостереження, група спостерігачів повинна періодично оцінювати хід моніторингу та обмінюватись інформацією. Керівник групи, в міру необхідності, повинен перерозподілити роботу між членами групи і періодично інформувати представників Об‘єкта про хід моніторингу та будь-які проблемні питання. 7.1.8.3.2 У разі, якщо наявні докази спостереження свідчать, що цілі моніторингу недосяжні або передбачають наявність безпосереднього та суттєвого ризику (наприклад, пов’язаного з безпекою), керівник групи повинен повідомити про це сторони, що ініціювали моніторинг, а також керівництво Об‘єкта, щоб визначити відповідну дію. Такими діями можуть бути повторне підтвердження або внесення змін до плану моніторингу, зміна цілей моніторингу або сфери, або припинення спостереження. 7.1.8.4 Збирання та перевіряння інформації 7.1.8.4.1 Під час спостереження, застосовуючи належну вибірку, потрібно збирати інформацію, яку можна перевірити, щоб вона могла стати доказом, відповідно до цілей, сфери та критеріїв моніторингу (зокрема інформацію, що стосується взаємозв’язків між функціями, видами діяльності і процесами, інформацію про неупередженість процесів, відсутність конфліктів інтересів і т.п.). 7.1.8.4.2 Методи збирання інформації охоплюють, не обмежуючись цим: a) бесіда; b) спостереження за процесами та діяльністю; c) аналізування документації та записів.

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 11

7.1.8.5 Ідентифікація та фіксування даних моніторингу 7.1.8.5.1 Дані моніторингу, які узагальнюють відповідність стандартам і правилам і деталізують невідповідності, та їх підтверджувальні докази треба фіксувати та звітувати про них, щоб уможливити складання обґрунтованих рекомендацій щодо удосконалення та поліпшення діяльності Об‘єкта. 7.1.8.5.2 Виявлена невідповідність повинна бути зафіксована у відповідному документі та звіті, містити чітке викладення невідповідності та детально визначити об'єктивні докази, на яких ґрунтується невідповідність. Невідповідності повинні бути обговорені з представниками Об‘єкта з метою забезпечення того, що докази є правильними і що невідповідності є зрозумілими. 7.1.8.6 Підготування висновків моніторингу Перед заключною нарадою, група спостерігачів повинна: а) проаналізувати дані моніторингу та будь-яку іншу відповідну інформацію, що була зібрана в ході спостереження; b) узгодити висновки моніторингу; c) визначити будь-які необхідні подальші дії; d) підтвердити відповідність програми моніторингу або визначити будь-які необхідні зміни. 7.1.8.7 Проведення заключної наради 7.1.8.7.1 Офіційна заключна нарада, повинна бути проведена за участі керівництва Організації і, при необхідності, за участі осіб, відповідальних за функції або процеси, по яких проводився моніторинг. Метою заключної наради є представлення висновків спостереження, в тому числі рекомендації щодо діяльності Об‘єкта. Будь-які невідповідності повинні бути представлені таким чином, щоб вони були зрозумілими та була ясність щодо того, як усувати такі невідповідності. 7.1.9 Звіт про спостереження 7.1.9.1 Організація повинна надати письмовий звіт щодо кожного моніторингу. Загальний звіт за результатами моніторингу, включаючи аналітику і рекомендації, базується на даних, отриманих від спостерігачів (Робочий зошит спостерігача та Звіт спостерігача). 7.1.9.2 Спостерігачі пишуть свій звіт в заданій формі. Зміст повинен забезпечувати достовірний, стислий і чіткий опис проведеного спостереження, з тим, щоб зробити можливим надання рекомендацій, повинен містити - назву Об‘єкта, за діяльністю якого проводилося спостереження; - цілі моніторингу; - місце та дату проведення спостереження; - ПІБ спостерігача - висновки і рекомендації щодо діяльності Об‘єкта 7.2 Етапи моніторингу 7.2.1. Перший етап моніторингу 7.2.1.1 Перший етап моніторингу - ознайомлення з діяльністю Об‘єкта:

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 12

- зустріч з керівництвом Об‘єкта, оцінка готовності працювати відкрито та надати всю необхідну інформацію для проведення неупередженого моніторингу процесів діяльності Об‘єкта. - аналіз стану існуючих процесів (навчання, екзаменування, сертифікації) Об‘єкта та розуміння керівництвом Об‘єкта ключових характеристик або суттєвих аспектів, процесів і цілей його діяльності. - збір необхідної інформації щодо сфери, процесів і місцезнаходження Об‘єкта, пов'язаних законодавчих та регуляторних аспектів, а також їх дотримання. - вивчення і аналіз публічної інформації щодо діяльності Об‘єкта. - планування та розподіл ресурсів для проведення моніторингу «на місцях». 7.2.1.2 Дані моніторингу першого етапу потрібно задокументувати і повідомити керівництво Об‘єкта про виявлення будь-яких проблемних питань, які можуть бути класифіковані як невідповідність під час моніторингу «на місцях». 7.2.2.Другий етап спостереження Моніторинг другого етапу потрібно проводити на місці(ях) розташування Об‘єкта. Він повинен охоплювати щонайменше, таке: - інформацію та докази відповідності всім заявленим процесам, вимогам стосовно загально прийнятих стандартів у сфері діяльності (екзаменування, сертифікація) та інших нормативних документів; - моніторинг, звітування і аналізування щодо ключових цілей і завдань; - дотримання Об‘єктом законодавчих вимог; - оперативне керування процесами діяльності Об‘єкта; - відповідальність керівництва Об'єкта за власні політики; - відповідальність, компетентність персоналу; - неупередженість; - зворотній зв‘язок з клієнтами та партнерами Об‘єкта, включаючи роботу з апеляціями та скаргами. 7.2.3 Висновки моніторингу Група спостерігачів повинна проаналізувати всю інформацію і докази, зібрані протягом моніторингу першого і другого етапів, щоб проаналізувати дані спостереження і узгодити висновки. 7.3 Скасування моніторингу 7.3.1 Організація повинна скасувати моніторинг у випадках, коли, наприклад: - діяльність Об‘єкта суттєво не відповідає заявленим процесам, вимогам стосовно загально прийнятих стандартів у сфері діяльності (навчання, екзаменування, сертифікація) та інших нормативних документів; - керівництво Об‘єкта не дозволяє проводити моніторинг на місцях.

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 13

Додаток до методики (інформативний)

Бажані особисті якості спостерігача ВАЖЛИВО - Цей додаток є інформативним і не призначений для застосування у якості вимог. Перелічені нижче особисті якості мають важливе значення для персоналу, який бере участь у моніторингах: а) етичний, тобто справедливий, правдивий, щирий, чесний та розсудливий;

b) відкритий, тобто готовий розглянути альтернативні ідеї або точки зору;

c) дипломатичний, тобто тактовний у спілкуванні з людьми;

d) комунікабельний, тобто ефективно взаємодіє з іншими людьми;

е) спостережливий, тобто активно сприймає фізичне оточення та види діяльності;

f) сприйнятливий, тобто інстинктивно сприймає і здатний зрозуміти ситуацію;

g) різнобічний, тобто легко адаптується до різних ситуацій;

h) наполегливий, тобто непохитний і цілеспрямований;

i) рішучий, тобто робить своєчасні висновки на основі логічних міркувань та аналізу;

j) самостійний, тобто діє та функціонує незалежно;

k) професійний, тобто проявляє ввічливість, сумлінність і загальний діловий стиль

поведінки на робочому місці;

l) морально мужній, тобто готовий діяти відповідально і етично, навіть якщо ці дії можуть

не завжди бути популярними і може іноді призвести до розбіжностей або до конфронтації;

m) організований, тобто вміє ефективно управляти часом, визначати пріоритети,

планувати та бути ефективним.

ДОДАТОК 2 IRT АНАЛІЗ ТЕСТУ 5 ЧЕРВНЯ 2012

Рекомендації щодо покращення правил адміністрування, оцінювання та шкалювання анонімного тесту 1

Для служебного пользованиявнутренний отчёт UEnet

IRT анализв натуральной шкале

по экзаменуJudges test#1 - 2011

Дата проведения экзамена: 2011-05-22Количество экзаменационных работ: 3383IRT-анализ выполнен по: 17 точкамАльфа Кронбаха: 0.888

02.08.2012 14:18:57 По вопросам использования этого материала обращаться: [email protected]

Judge [2011-05-22] Страница 1

Таксономия экзамена

NN Вопрос М.балл Прав.отв Раздел Содержание раздела

1 Q1 1 б S01 (A) Теорія держави і права

2 Q2 1 в S01 (A) Теорія держави і права

3 Q3 1 б S01 (A) Теорія держави і права

4 Q4 1 б S01 (A) Теорія держави і права

5 Q5 1 в S01 (A) Теорія держави і права

6 Q6 1 б S01 (A) Теорія держави і права

7 Q7 1 в S01 (A) Теорія держави і права

8 Q8 1 г S01 (A) Теорія держави і права

9 Q9 1 в S02 (B) Конституційне право

10 Q10 1 а S02 (B) Конституційне право

11 Q11 1 в S02 (B) Конституційне право

12 Q12 1 г S02 (B) Конституційне право

13 Q13 1 в S02 (B) Конституційне право

14 Q14 1 в S02 (B) Конституційне право

15 Q15 1 в S02 (B) Конституційне право

16 Q16 1 а S02 (B) Конституційне право

17 Q17 1 а S03 (C) Конвенція про захист прав людини та основоположних свободі рішення європейського суду з прав людини

18 Q18 1 б S03 (C) Конвенція про захист прав людини та основоположних свободі рішення європейського суду з прав людини

19 Q19 1 г S03 (C) Конвенція про захист прав людини та основоположних свободі рішення європейського суду з прав людини

20 Q20 1 в S03 (C) Конвенція про захист прав людини та основоположних свободі рішення європейського суду з прав людини

21 Q21 1 б S03 (C) Конвенція про захист прав людини та основоположних свободі рішення європейського суду з прав людини

22 Q22 1 а S04 (D) Цивільне право

23 Q23 1 б S04 (D) Цивільне право

24 Q24 1 г S04 (D) Цивільне право

25 Q25 1 г S04 (D) Цивільне право

26 Q26 1 а S04 (D) Цивільне право

27 Q27 1 г S04 (D) Цивільне право

28 Q28 1 а S04 (D) Цивільне право

29 Q29 1 б S04 (D) Цивільне право

30 Q30 1 б S04 (D) Цивільне право

31 Q31 1 г S05 (E) Цивільний процес

32 Q32 1 в S05 (E) Цивільний процес

33 Q33 1 в S05 (E) Цивільний процес

34 Q34 1 б S05 (E) Цивільний процес

35 Q35 1 г S05 (E) Цивільний процес

36 Q36 1 г S05 (E) Цивільний процес

37 Q37 1 в S05 (E) Цивільний процес

38 Q38 1 г S05 (E) Цивільний процес

39 Q39 1 в S05 (E) Цивільний процес

40 Q40 1 в S05 (E) Цивільний процес

41 Q41 1 в S06 (F) Кримінальне право

42 Q42 1 в S06 (F) Кримінальне право

43 Q43 1 а S06 (F) Кримінальне право

44 Q44 1 г S06 (F) Кримінальне право

45 Q45 1 б S06 (F) Кримінальне право

46 Q46 1 в S06 (F) Кримінальне право

47 Q47 1 а S06 (F) Кримінальне право

48 Q48 1 б S06 (F) Кримінальне право

49 Q49 1 б S07 (G) Кримінальний процес

50 Q50 1 б S07 (G) Кримінальний процес

51 Q51 1 б S07 (G) Кримінальний процес

Judge [2011-05-22] Страница 2

Таксономия экзамена (продолжение)

NN Вопрос М.балл Прав.отв Раздел Содержание раздела

52 Q52 1 в S07 (G) Кримінальний процес

53 Q53 1 в S07 (G) Кримінальний процес

54 Q54 1 в S07 (G) Кримінальний процес

55 Q55 1 а S07 (G) Кримінальний процес

56 Q56 1 г S07 (G) Кримінальний процес

57 Q57 1 г S07 (G) Кримінальний процес

58 Q58 1 в S07 (G) Кримінальний процес

59 Q59 1 г S08 (H) Господарське право

60 Q60 1 а S08 (H) Господарське право

61 Q61 1 г S08 (H) Господарське право

62 Q62 1 б S08 (H) Господарське право

63 Q63 1 в S08 (H) Господарське право

64 Q64 1 б S08 (H) Господарське право

65 Q65 1 в S08 (H) Господарське право

66 Q66 1 г S08 (H) Господарське право

67 Q67 1 г S08 (H) Господарське право

68 Q68 1 г S09 (I) Господарський процес

69 Q69 1 б S09 (I) Господарський процес

70 Q70 1 г S09 (I) Господарський процес

71 Q71 1 б S09 (I) Господарський процес

72 Q72 1 б S09 (I) Господарський процес

73 Q73 1 в S09 (I) Господарський процес

74 Q74 1 г S09 (I) Господарський процес

75 Q75 1 б S09 (I) Господарський процес

76 Q76 1 б S10 (J) Адміністративне право

77 Q77 1 в S10 (J) Адміністративне право

78 Q78 1 г S10 (J) Адміністративне право

79 Q79 1 в S10 (J) Адміністративне право

80 Q80 1 в S10 (J) Адміністративне право

81 Q81 1 Дискв S10 (J) Адміністративне право

82 Q82 1 а S10 (J) Адміністративне право

83 Q83 1 б S10 (J) Адміністративне право

84 Q84 1 Дискв S11 (K) Адміністративний процес

85 Q85 1 б S11 (K) Адміністративний процес

86 Q86 1 г S11 (K) Адміністративний процес

87 Q87 1 б S11 (K) Адміністративний процес

88 Q88 1 г S11 (K) Адміністративний процес

89 Q89 1 в S11 (K) Адміністративний процес

90 Q90 1 в S11 (K) Адміністративний процес

91 Q91 1 а S11 (K) Адміністративний процес

92 Q92 1 в S12 (L) Трудове право

93 Q93 1 г S12 (L) Трудове право

94 Q94 1 г S12 (L) Трудове право

95 Q95 1 в S12 (L) Трудове право

96 Q96 1 а S12 (L) Трудове право

97 Q97 1 в S12 (L) Трудове право

98 Q98 1 б S12 (L) Трудове право

99 Q99 1 б S12 (L) Трудове право

100 Q100 1 а S12 (L) Трудове право

Judge [2011-05-22] Страница 3

Распределение баллов

Mean=63.0 Std.dev.=9.5 N=3354

9080706050403020

1401301201101009080706050403020100

Дефект нормальности распределения

9080706050403020

60

50

40

30

20

10

0

-10

-20

-30

-40

Judge [2011-05-22] Страница 4

GTs (score: 100.00, 100.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q1 (score: 1.00, 1.0%)

а (16.3%) *б (53.7%) в (15.1%)г (14.6%) н (0.4%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q2 (score: 1.00, 1.0%)

а (7.2%) б (11.2%) *в (53.1%)г (27.9%) н (0.7%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q3 (score: 1.00, 1.0%)

а (22.6%) *б (61.5%) в (9.9%)г (5.5%) н (0.6%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q4 (score: 1.00, 1.0%)

а (1.7%) *б (71.3%) в (7.7%)г (18.7%) н (0.5%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q5 (score: 1.00, 1.0%)

а (16.9%) б (40.8%) *в (39.5%)г (2.5%) н (0.4%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q6 (score: 1.00, 1.0%)

а (4.9%) *б (86.4%) в (2.5%)г (5.9%) н (0.2%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q7 (score: 1.00, 1.0%)

а (3.9%) б (1.4%) *в (75.9%)г (18.4%) н (0.4%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q8 (score: 1.00, 1.0%)

а (1.8%) б (48.3%) в (9.3%)*г (40.2%) н (0.4%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q9 (score: 1.00, 1.0%)

а (15.2%) б (12.4%) *в (63.1%)г (8.5%) н (0.9%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q10 (score: 1.00, 1.0%)

*а (81.1%) б (3.4%) в (6.5%)г (8.3%) н (0.7%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q11 (score: 1.00, 1.0%)

а (45.0%) б (24.0%) *в (29.1%)г (0.9%) н (1.0%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Judge [2011-05-22] Страница 5

Q12 (score: 1.00, 1.0%)

а (10.9%) б (1.2%) в (0.7%)*г (86.5%) н (0.6%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q13 (score: 1.00, 1.0%)

а (64.4%) б (0.7%) *в (32.5%)г (1.6%) н (0.7%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q14 (score: 1.00, 1.0%)

а (1.7%) б (2.1%) *в (94.6%)г (0.8%) н (0.9%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q15 (score: 1.00, 1.0%)

а (16.6%) б (4.7%) *в (61.8%)г (15.9%) н (1.0%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q16 (score: 1.00, 1.0%)

*а (64.1%) б (14.2%) в (13.3%)г (7.1%) н (1.2%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q17 (score: 1.00, 1.0%)

*а (74.0%) б (14.3%) в (3.3%)г (7.6%) н (0.8%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q18 (score: 1.00, 1.0%)

а (3.2%) *б (87.9%) в (1.3%)г (6.9%) н (0.7%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q19 (score: 1.00, 1.0%)

а (4.8%) б (16.0%) в (5.9%)*г (72.1%) н (1.1%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q20 (score: 1.00, 1.0%)

а (5.6%) б (4.0%) *в (85.0%)г (4.6%) н (0.9%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q21 (score: 1.00, 1.0%)

а (17.0%) *б (43.2%) в (36.0%)г (2.8%) н (0.9%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q22 (score: 1.00, 1.0%)

*а (27.3%) б (21.3%) в (26.1%)г (23.8%) н (1.5%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q23 (score: 1.00, 1.0%)

а (3.6%) *б (80.0%) в (9.8%)г (5.6%) н (1.0%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Judge [2011-05-22] Страница 6

Q24 (score: 1.00, 1.0%)

а (2.8%) б (20.2%) в (5.9%)*г (69.7%) н (1.4%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q25 (score: 1.00, 1.0%)

а (0.4%) б (6.7%) в (22.2%)*г (69.6%) н (1.1%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q26 (score: 1.00, 1.0%)

*а (46.9%) б (19.0%) в (28.6%)г (4.2%) н (1.3%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q27 (score: 1.00, 1.0%)

а (0.5%) б (4.2%) в (1.2%)*г (93.1%) н (1.0%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q28 (score: 1.00, 1.0%)

*а (71.8%) б (17.9%) в (7.1%)г (1.8%) н (1.4%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q29 (score: 1.00, 1.0%)

а (48.6%) *б (42.4%) в (7.3%)г (0.7%) н (1.0%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q30 (score: 1.00, 1.0%)

а (5.5%) *б (74.3%) в (18.4%)г (0.5%) н (1.3%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q31 (score: 1.00, 1.0%)

а (5.9%) б (1.0%) в (7.4%)*г (84.9%) н (0.7%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q32 (score: 1.00, 1.0%)

а (2.9%) б (22.6%) *в (62.8%)г (10.5%) н (1.2%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q33 (score: 1.00, 1.0%)

а (18.4%) б (6.5%) *в (65.6%)г (8.4%) н (1.1%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q34 (score: 1.00, 1.0%)

а (1.6%) *б (72.3%) в (21.4%)г (3.6%) н (1.1%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q35 (score: 1.00, 1.0%)

а (2.6%) б (8.7%) в (50.3%)*г (37.5%) н (0.9%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Judge [2011-05-22] Страница 7

Q36 (score: 1.00, 1.0%)

а (3.4%) б (0.6%) в (18.0%)*г (77.0%) н (1.0%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q37 (score: 1.00, 1.0%)

а (1.2%) б (2.3%) *в (94.9%)г (0.6%) н (1.0%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q38 (score: 1.00, 1.0%)

а (1.8%) б (6.3%) в (9.5%)*г (81.2%) н (1.2%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q39 (score: 1.00, 1.0%)

а (0.3%) б (0.7%) *в (83.7%)г (14.5%) н (0.8%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q40 (score: 1.00, 1.0%)

а (0.6%) б (7.2%) *в (86.6%)г (4.7%) н (1.1%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q41 (score: 1.00, 1.0%)

а (0.8%) б (10.1%) *в (59.9%)г (28.6%) н (0.7%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q42 (score: 1.00, 1.0%)

а (8.1%) б (30.9%) *в (54.4%)г (5.3%) н (1.3%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q43 (score: 1.00, 1.0%)

*а (89.9%) б (3.8%) в (3.0%)г (2.4%) н (0.9%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q44 (score: 1.00, 1.0%)

а (3.6%) б (1.3%) в (2.4%)*г (92.0%) н (0.7%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q45 (score: 1.00, 1.0%)

а (19.2%) *б (53.1%) в (25.7%)г (0.8%) н (1.1%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q46 (score: 1.00, 1.0%)

а (30.9%) б (1.3%) *в (41.3%)г (25.4%) н (1.2%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q47 (score: 1.00, 1.0%)

*а (73.2%) б (5.3%) в (1.7%)г (18.7%) н (1.2%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Judge [2011-05-22] Страница 8

Q48 (score: 1.00, 1.0%)

а (17.2%) *б (79.3%) в (1.9%)г (0.9%) н (0.7%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q49 (score: 1.00, 1.0%)

а (17.8%) *б (48.3%) в (11.9%)г (21.2%) н (0.8%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q50 (score: 1.00, 1.0%)

а (0.5%) *б (49.8%) в (30.3%)г (18.6%) н (0.8%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q51 (score: 1.00, 1.0%)

а (2.7%) *б (67.9%) в (0.7%)г (28.1%) н (0.6%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q52 (score: 1.00, 1.0%)

а (0.1%) б (0.7%) *в (83.2%)г (14.9%) н (1.0%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q53 (score: 1.00, 1.0%)

а (0.9%) б (5.6%) *в (64.2%)г (28.4%) н (0.9%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q54 (score: 1.00, 1.0%)

а (8.6%) б (12.7%) *в (73.0%)г (4.8%) н (0.9%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q55 (score: 1.00, 1.0%)

*а (38.0%) б (10.3%) в (34.0%)г (16.6%) н (1.0%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q56 (score: 1.00, 1.0%)

а (1.1%) б (0.5%) в (3.1%)*г (94.4%) н (0.9%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q57 (score: 1.00, 1.0%)

а (13.9%) б (19.6%) в (3.1%)*г (62.2%) н (1.2%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q58 (score: 1.00, 1.0%)

а (2.1%) б (8.4%) *в (83.7%)г (4.8%) н (1.0%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q59 (score: 1.00, 1.0%)

а (12.3%) б (10.3%) в (12.7%)*г (63.6%) н (1.1%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Judge [2011-05-22] Страница 9

Q60 (score: 1.00, 1.0%)

*а (70.4%) б (17.2%) в (6.0%)г (5.5%) н (0.9%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q61 (score: 1.00, 1.0%)

а (23.3%) б (9.0%) в (7.4%)*г (59.4%) н (0.9%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q62 (score: 1.00, 1.0%)

а (13.4%) *б (70.8%) в (3.6%)г (10.7%) н (1.5%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q63 (score: 1.00, 1.0%)

а (9.1%) б (25.2%) *в (56.7%)г (8.1%) н (1.0%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q64 (score: 1.00, 1.0%)

а (2.4%) *б (95.2%) в (0.9%)г (0.7%) н (0.8%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q65 (score: 1.00, 1.0%)

а (5.4%) б (6.4%) *в (84.2%)г (3.3%) н (0.7%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q66 (score: 1.00, 1.0%)

а (6.3%) б (2.6%) в (11.9%)*г (78.2%) н (1.0%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q67 (score: 1.00, 1.0%)

а (0.1%) б (0.5%) в (0.4%)*г (98.3%) н (0.7%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q68 (score: 1.00, 1.0%)

а (44.8%) б (7.2%) в (5.7%)*г (40.9%) н (1.4%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q69 (score: 1.00, 1.0%)

а (0.4%) *б (98.5%) в (0.3%)г (0.1%) н (0.8%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q70 (score: 1.00, 1.0%)

а (24.3%) б (7.6%) в (0.4%)*г (66.9%) н (0.8%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q71 (score: 1.00, 1.0%)

а (16.6%) *б (62.5%) в (11.2%)г (8.6%) н (1.1%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Judge [2011-05-22] Страница 10

Q72 (score: 1.00, 1.0%)

а (15.5%) *б (67.0%) в (7.3%)г (9.1%) н (1.1%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q73 (score: 1.00, 1.0%)

а (34.9%) б (3.2%) *в (47.6%)г (13.0%) н (1.2%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q74 (score: 1.00, 1.0%)

а (0.7%) б (0.4%) в (3.2%)*г (94.9%) н (0.9%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q75 (score: 1.00, 1.0%)

а (25.5%) *б (55.0%) в (1.9%)г (16.3%) н (1.3%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q76 (score: 1.00, 1.0%)

а (43.5%) *б (47.5%) в (6.2%)г (2.0%) н (0.7%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q77 (score: 1.00, 1.0%)

а (9.0%) б (6.4%) *в (61.4%)г (22.2%) н (0.9%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q78 (score: 1.00, 1.0%)

а (2.3%) б (12.9%) в (1.3%)*г (83.0%) н (0.6%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q79 (score: 1.00, 1.0%)

а (50.8%) б (1.7%) *в (44.0%)г (2.5%) н (1.0%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q80 (score: 1.00, 1.0%)

а (4.3%) б (28.3%) *в (59.8%)г (6.7%) н (0.9%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q81 (score: 1.00, 1.0%)

а (64.9%) б (5.6%) *в (3.8%)г (17.3%) н (8.3%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q82 (score: 1.00, 1.0%)

*а (61.6%) б (25.7%) в (1.4%)г (10.8%) н (0.7%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q83 (score: 1.00, 1.0%)

а (12.3%) *б (45.5%) в (30.3%)г (10.8%) н (1.2%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Judge [2011-05-22] Страница 11

Q84 (score: 1.00, 1.0%)

а (12.0%) б (45.4%) *в (11.0%)г (21.3%) н (10.4%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q85 (score: 1.00, 1.0%)

а (4.6%) *б (69.1%) в (19.4%)г (6.3%) н (0.7%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q86 (score: 1.00, 1.0%)

а (17.6%) б (9.0%) в (7.4%)*г (58.7%) н (7.3%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q87 (score: 1.00, 1.0%)

а (9.7%) *б (76.7%) в (9.6%)г (2.8%) н (1.2%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q88 (score: 1.00, 1.0%)

а (6.6%) б (4.7%) в (51.6%)*г (36.2%) н (0.9%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q89 (score: 1.00, 1.0%)

а (29.0%) б (17.6%) *в (18.2%)г (34.5%) н (0.6%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q90 (score: 1.00, 1.0%)

а (18.1%) б (34.3%) *в (41.6%)г (5.1%) н (1.0%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q91 (score: 1.00, 1.0%)

*а (33.0%) б (9.1%) в (15.4%)г (41.9%) н (0.6%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q92 (score: 1.00, 1.0%)

а (1.2%) б (2.1%) *в (94.7%)г (1.2%) н (0.7%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q93 (score: 1.00, 1.0%)

а (2.0%) б (0.2%) в (1.6%)*г (95.7%) н (0.4%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q94 (score: 1.00, 1.0%)

а (4.6%) б (2.7%) в (32.9%)*г (59.3%) н (0.5%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q95 (score: 1.00, 1.0%)

а (1.1%) б (53.9%) *в (39.0%)г (5.3%) н (0.8%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Judge [2011-05-22] Страница 12

Q96 (score: 1.00, 1.0%)

*а (84.7%) б (1.6%) в (6.6%)г (6.7%) н (0.4%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q97 (score: 1.00, 1.0%)

а (15.6%) б (45.0%) *в (28.2%)г (10.4%) н (0.8%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q98 (score: 1.00, 1.0%)

а (7.1%) *б (53.8%) в (17.5%)г (21.0%) н (0.7%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q99 (score: 1.00, 1.0%)

а (29.8%) *б (55.0%) в (13.8%)г (0.7%) н (0.7%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q100 (score: 1.00, 1.0%)

*а (82.6%) б (5.2%) в (4.5%)г (7.0%) н (0.7%) м (0.0%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Judge [2011-05-22] Страница 13

S01 (score: 8.00, 8.0% vs 8.3%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

S02 (score: 8.00, 8.0% vs 8.3%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

S03 (score: 5.00, 5.0% vs 8.3%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

S04 (score: 9.00, 9.0% vs 8.3%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

S05 (score: 10.00, 10.0% vs 8.3%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

S06 (score: 8.00, 8.0% vs 8.3%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

S07 (score: 10.00, 10.0% vs 8.3%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

S08 (score: 9.00, 9.0% vs 8.3%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

S09 (score: 8.00, 8.0% vs 8.3%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

S10 (score: 8.00, 8.0% vs 8.3%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

S11 (score: 8.00, 8.0% vs 8.3%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

S12 (score: 9.00, 9.0% vs 8.3%)

100908070605040

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Для служебного пользованиявнутренний отчёт UEnet

IRT анализв логистических моделях Rasch и Birnbaum

по экзаменуJudges test#1 - 2011

Дата проведения экзамена: 2011-05-22Количество экзаменационных работ: 3383IRT-анализ выполнен по: 17 точкамАльфа Кронбаха: 0.888

02.08.2012 14:19:38 По вопросам использования этого материала обращаться: [email protected]

Judge [2011-05-22] Страница 1

Параметры логистической модели

NN Вопрос М.балл Прав.отв Раздел B (слож.) C (угад.) A (дискр.)

1 Q1 1 б S01 (A) 0.680 0.110 0.540

2 Q2 1 в S01 (A) 0.800 0.120 0.740

3 Q3 1 б S01 (A) 0.400 0.000 1.230

4 Q4 1 б S01 (A) 0.200 0.220 0.730

5 Q5 1 в S01 (A) 1.290 0.130 0.990

6 Q6 1 б S01 (A) -0.580 0.000 0.990

7 Q7 1 в S01 (A) -0.220 0.050 0.640

8 Q8 1 г S01 (A) 0.980 0.000 1.180

9 Q9 1 в S02 (B) 0.350 0.020 0.850

10 Q10 1 а S02 (B) -0.340 0.000 0.900

11 Q11 1 в S02 (B) 1.330 0.000 1.220

12 Q12 1 г S02 (B) -0.570 0.000 1.000

13 Q13 1 в S02 (B) 1.630 0.140 1.500

14 Q14 1 в S02 (B) -1.200 0.000 1.020

15 Q15 1 в S02 (B) 0.380 0.020 0.710

16 Q16 1 а S02 (B) 0.090 0.020 0.500

17 Q17 1 а S03 (C) -0.030 0.000 0.930

18 Q18 1 б S03 (C) -0.630 0.000 1.010

19 Q19 1 г S03 (C) 0.080 0.000 1.130

20 Q20 1 в S03 (C) -0.400 0.000 1.200

21 Q21 1 б S03 (C) 1.390 0.240 0.900

22 Q22 1 а S04 (D) 1.510 0.020 1.010

23 Q23 1 б S04 (D) -0.190 0.000 1.200

24 Q24 1 г S04 (D) 0.060 0.020 0.670

25 Q25 1 г S04 (D) 0.040 0.020 0.650

26 Q26 1 а S04 (D) 0.820 0.000 0.960

27 Q27 1 г S04 (D) -1.310 0.010 0.880

28 Q28 1 а S04 (D) 0.050 0.000 1.040

29 Q29 1 б S04 (D) 0.930 0.000 1.040

30 Q30 1 б S04 (D) -0.130 0.100 0.500

31 Q31 1 г S05 (E) -0.410 0.000 0.980

32 Q32 1 в S05 (E) 0.370 0.080 0.790

33 Q33 1 в S05 (E) 0.270 0.060 0.800

34 Q34 1 б S05 (E) -0.100 0.030 0.670

35 Q35 1 г S05 (E) 1.120 0.020 0.900

36 Q36 1 г S05 (E) -0.270 0.000 0.630

37 Q37 1 в S05 (E) -1.230 0.000 1.010

38 Q38 1 г S05 (E) -0.360 0.000 0.920

39 Q39 1 в S05 (E) -0.420 0.000 0.990

40 Q40 1 в S05 (E) -0.680 0.000 0.950

41 Q41 1 в S06 (F) 0.490 0.000 1.380

42 Q42 1 в S06 (F) 0.730 0.100 0.700

43 Q43 1 а S06 (F) -0.740 0.000 1.030

44 Q44 1 г S06 (F) -0.850 0.000 1.080

45 Q45 1 б S06 (F) 0.630 0.000 1.060

46 Q46 1 в S06 (F) 1.020 0.040 0.950

47 Q47 1 а S06 (F) 0.050 0.060 0.740

48 Q48 1 б S06 (F) -0.150 0.000 1.140

49 Q49 1 б S07 (G) 1.280 0.300 0.610

50 Q50 1 б S07 (G) 0.770 0.020 0.900

51 Q51 1 б S07 (G) 0.210 0.150 0.640

52 Q52 1 в S07 (G) -0.610 0.070 0.520

53 Q53 1 в S07 (G) 0.280 0.000 1.360

Judge [2011-05-22] Страница 2

Параметры логистической модели (продолжение)

NN Вопрос М.балл Прав.отв Раздел B (слож.) C (угад.) A (дискр.)

54 Q54 1 в S07 (G) 0.000 0.010 0.890

55 Q55 1 а S07 (G) 1.070 0.000 1.090

56 Q56 1 г S07 (G) -1.270 0.000 0.980

57 Q57 1 г S07 (G) 0.470 0.120 0.700

58 Q58 1 в S07 (G) -0.440 0.010 0.920

59 Q59 1 г S08 (H) 0.330 0.040 0.800

60 Q60 1 а S08 (H) 0.090 0.050 0.790

61 Q61 1 г S08 (H) 0.510 0.150 0.660

62 Q62 1 б S08 (H) 0.030 0.000 0.820

63 Q63 1 в S08 (H) 0.810 0.260 0.500

64 Q64 1 б S08 (H) -1.350 0.000 1.020

65 Q65 1 в S08 (H) -0.510 0.010 0.910

66 Q66 1 г S08 (H) -0.220 0.000 0.910

67 Q67 1 г S08 (H) -2.000 0.000 1.000

68 Q68 1 г S09 (I) 1.210 0.130 0.760

69 Q69 1 б S09 (I) -2.290 0.000 1.000

70 Q70 1 г S09 (I) 0.220 0.060 0.830

71 Q71 1 б S09 (I) 0.330 0.030 0.630

72 Q72 1 б S09 (I) 0.270 0.100 0.750

73 Q73 1 в S09 (I) 1.020 0.160 0.840

74 Q74 1 г S09 (I) -1.270 0.000 1.000

75 Q75 1 б S09 (I) 0.590 0.000 0.980

76 Q76 1 б S10 (J) 0.750 0.000 1.310

77 Q77 1 в S10 (J) 0.400 0.070 0.660

78 Q78 1 г S10 (J) -0.360 0.070 0.920

79 Q79 1 в S10 (J) 1.020 0.090 0.640

80 Q80 1 в S10 (J) 0.430 0.070 0.500

81 Q81 1 Дискв S10 (J) -3.000 0.300 1.500

82 Q82 1 а S10 (J) 0.460 0.130 0.760

83 Q83 1 б S10 (J) 0.850 0.000 1.000

84 Q84 1 Дискв S11 (K) -3.000 0.300 1.500

85 Q85 1 б S11 (K) 0.200 0.000 0.990

86 Q86 1 г S11 (K) 0.190 0.050 0.500

87 Q87 1 б S11 (K) -0.200 0.020 0.680

88 Q88 1 г S11 (K) 1.150 0.010 1.160

89 Q89 1 в S11 (K) 1.780 0.000 1.200

90 Q90 1 в S11 (K) 1.020 0.030 0.940

91 Q91 1 а S11 (K) 1.210 0.000 1.250

92 Q92 1 в S12 (L) -1.220 0.000 1.000

93 Q93 1 г S12 (L) -1.300 0.000 1.000

94 Q94 1 г S12 (L) 0.460 0.000 1.070

95 Q95 1 в S12 (L) 1.000 0.000 1.270

96 Q96 1 а S12 (L) -0.500 0.010 0.940

97 Q97 1 в S12 (L) 1.380 0.020 1.250

98 Q98 1 б S12 (L) 0.630 0.020 0.950

99 Q99 1 б S12 (L) 0.590 0.000 0.930

100 Q100 1 а S12 (L) -0.320 0.000 1.050

Judge [2011-05-22] Страница 3

Распределение баллов

Mean=63.0 Std.dev.=9.5 N=3354

9080706050403020

1401301201101009080706050403020100

Дефект нормальности распределения

9080706050403020

60

50

40

30

20

10

0

-10

-20

-30

-40

Judge [2011-05-22] Страница 4

Q1 B=0.680 C=0.110 A=0.540

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q2 B=0.800 C=0.120 A=0.740

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q3 B=0.400 C=0.000 A=1.230

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q4 B=0.200 C=0.220 A=0.730

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q5 B=1.290 C=0.130 A=0.990

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q6 B=-0.580 C=0.000 A=0.990

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q7 B=-0.220 C=0.050 A=0.640

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q8 B=0.980 C=0.000 A=1.180

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2011-05-22] Страница 5

Q9 B=0.350 C=0.020 A=0.850

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q10 B=-0.340 C=0.000 A=0.900

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q11 B=1.330 C=0.000 A=1.220

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q12 B=-0.570 C=0.000 A=1.000

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q13 B=1.630 C=0.140 A=1.500

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q14 B=-1.200 C=0.000 A=1.020

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q15 B=0.380 C=0.020 A=0.710

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q16 B=0.090 C=0.020 A=0.500

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2011-05-22] Страница 6

Q17 B=-0.030 C=0.000 A=0.930

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q18 B=-0.630 C=0.000 A=1.010

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q19 B=0.080 C=0.000 A=1.130

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q20 B=-0.400 C=0.000 A=1.200

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q21 B=1.390 C=0.240 A=0.900

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q22 B=1.510 C=0.020 A=1.010

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q23 B=-0.190 C=0.000 A=1.200

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q24 B=0.060 C=0.020 A=0.670

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2011-05-22] Страница 7

Q25 B=0.040 C=0.020 A=0.650

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q26 B=0.820 C=0.000 A=0.960

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q27 B=-1.310 C=0.010 A=0.880

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q28 B=0.050 C=0.000 A=1.040

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q29 B=0.930 C=0.000 A=1.040

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q30 B=-0.130 C=0.100 A=0.500

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q31 B=-0.410 C=0.000 A=0.980

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q32 B=0.370 C=0.080 A=0.790

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2011-05-22] Страница 8

Q33 B=0.270 C=0.060 A=0.800

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q34 B=-0.100 C=0.030 A=0.670

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q35 B=1.120 C=0.020 A=0.900

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q36 B=-0.270 C=0.000 A=0.630

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q37 B=-1.230 C=0.000 A=1.010

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q38 B=-0.360 C=0.000 A=0.920

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q39 B=-0.420 C=0.000 A=0.990

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q40 B=-0.680 C=0.000 A=0.950

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2011-05-22] Страница 9

Q41 B=0.490 C=0.000 A=1.380

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q42 B=0.730 C=0.100 A=0.700

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q43 B=-0.740 C=0.000 A=1.030

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q44 B=-0.850 C=0.000 A=1.080

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q45 B=0.630 C=0.000 A=1.060

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q46 B=1.020 C=0.040 A=0.950

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q47 B=0.050 C=0.060 A=0.740

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q48 B=-0.150 C=0.000 A=1.140

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2011-05-22] Страница 10

Q49 B=1.280 C=0.300 A=0.610

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q50 B=0.770 C=0.020 A=0.900

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q51 B=0.210 C=0.150 A=0.640

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q52 B=-0.610 C=0.070 A=0.520

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q53 B=0.280 C=0.000 A=1.360

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q54 B=0.000 C=0.010 A=0.890

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q55 B=1.070 C=0.000 A=1.090

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q56 B=-1.270 C=0.000 A=0.980

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2011-05-22] Страница 11

Q57 B=0.470 C=0.120 A=0.700

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q58 B=-0.440 C=0.010 A=0.920

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q59 B=0.330 C=0.040 A=0.800

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q60 B=0.090 C=0.050 A=0.790

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q61 B=0.510 C=0.150 A=0.660

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q62 B=0.030 C=0.000 A=0.820

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q63 B=0.810 C=0.260 A=0.500

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q64 B=-1.350 C=0.000 A=1.020

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2011-05-22] Страница 12

Q65 B=-0.510 C=0.010 A=0.910

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q66 B=-0.220 C=0.000 A=0.910

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q67 B=-2.000 C=0.000 A=1.000

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q68 B=1.210 C=0.130 A=0.760

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q69 B=-2.290 C=0.000 A=1.000

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q70 B=0.220 C=0.060 A=0.830

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q71 B=0.330 C=0.030 A=0.630

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q72 B=0.270 C=0.100 A=0.750

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2011-05-22] Страница 13

Q73 B=1.020 C=0.160 A=0.840

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q74 B=-1.270 C=0.000 A=1.000

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q75 B=0.590 C=0.000 A=0.980

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q76 B=0.750 C=0.000 A=1.310

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q77 B=0.400 C=0.070 A=0.660

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q78 B=-0.360 C=0.070 A=0.920

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q79 B=1.020 C=0.090 A=0.640

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q80 B=0.430 C=0.070 A=0.500

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2011-05-22] Страница 14

Q81 B=-3.000 C=0.300 A=1.500

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q82 B=0.460 C=0.130 A=0.760

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q83 B=0.850 C=0.000 A=1.000

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q84 B=-3.000 C=0.300 A=1.500

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q85 B=0.200 C=0.000 A=0.990

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q86 B=0.190 C=0.050 A=0.500

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q87 B=-0.200 C=0.020 A=0.680

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q88 B=1.150 C=0.010 A=1.160

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2011-05-22] Страница 15

Q89 B=1.780 C=0.000 A=1.200

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q90 B=1.020 C=0.030 A=0.940

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q91 B=1.210 C=0.000 A=1.250

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q92 B=-1.220 C=0.000 A=1.000

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q93 B=-1.300 C=0.000 A=1.000

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q94 B=0.460 C=0.000 A=1.070

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q95 B=1.000 C=0.000 A=1.270

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q96 B=-0.500 C=0.010 A=0.940

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2011-05-22] Страница 16

Q97 B=1.380 C=0.020 A=1.250

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q98 B=0.630 C=0.020 A=0.950

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q99 B=0.590 C=0.000 A=0.930

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q100 B=-0.320 C=0.000 A=1.050

3210-1-2

1

0.8

0.6

0.4

0.2

0

Для служебного пользованиявнутренний отчёт UEnet

IRT анализв натуральной шкале

по экзаменуJudges test#2 - 2012

Дата проведения экзамена: 2012-06-05Количество экзаменационных работ: 3471IRT-анализ выполнен по: 17 точкамАльфа Кронбаха: 0.860

02.08.2012 14:25:20 По вопросам использования этого материала обращаться: [email protected]

Judge [2012-06-05] Страница 1

Таксономия экзамена

NN Вопрос М.балл Прав.отв Раздел Содержание раздела

1 Q1 1 г S01 (A) Теорія держави і права

2 Q2 1 б S01 (A) Теорія держави і права

3 Q3 1 г S01 (A) Теорія держави і права

4 Q4 1 в S01 (A) Теорія держави і права

5 Q5 1 в S01 (A) Теорія держави і права

6 Q6 1 г S01 (A) Теорія держави і права

7 Q7 1 в S01 (A) Теорія держави і права

8 Q8 1 в S01 (A) Теорія держави і права

9 Q9 1 в S02 (B) Конституційне право

10 Q10 1 б S02 (B) Конституційне право

11 Q11 1 г S02 (B) Конституційне право

12 Q12 1 а S02 (B) Конституційне право

13 Q13 1 б S02 (B) Конституційне право

14 Q14 1 г S02 (B) Конституційне право

15 Q15 1 в S02 (B) Конституційне право

16 Q16 1 в S02 (B) Конституційне право

17 Q17 1 г S03 (C) Судоустрій. Прокуратура та адвокатура. Правоохоронні органи

18 Q18 1 б S03 (C) Судоустрій. Прокуратура та адвокатура. Правоохоронні органи

19 Q19 1 а S03 (C) Судоустрій. Прокуратура та адвокатура. Правоохоронні органи

20 Q20 1 г S03 (C) Судоустрій. Прокуратура та адвокатура. Правоохоронні органи

21 Q21 1 а S04 (D) Конвенція про захист прав людини та основоположних свободі рішення Європейського суду з прав людини

22 Q22 1 в S04 (D) Конвенція про захист прав людини та основоположних свободі рішення Європейського суду з прав людини

23 Q23 1 а S04 (D) Конвенція про захист прав людини та основоположних свободі рішення Європейського суду з прав людини

24 Q24 1 г S04 (D) Конвенція про захист прав людини та основоположних свободі рішення Європейського суду з прав людини

25 Q25 1 б S04 (D) Конвенція про захист прав людини та основоположних свободі рішення Європейського суду з прав людини

26 Q26 1 г S05 (E) Цивільне право

27 Q27 1 б S05 (E) Цивільне право

28 Q28 1 в S05 (E) Цивільне право

29 Q29 1 а S05 (E) Цивільне право

30 Q30 1 а S05 (E) Цивільне право

31 Q31 1 б S05 (E) Цивільне право

32 Q32 1 б S05 (E) Цивільне право

33 Q33 1 г S05 (E) Цивільне право

34 Q34 1 в S06 (F) Цивільний процес

35 Q35 1 в S06 (F) Цивільний процес

36 Q36 1 б S06 (F) Цивільний процес

37 Q37 1 б S06 (F) Цивільний процес

38 Q38 1 г S06 (F) Цивільний процес

39 Q39 1 б S06 (F) Цивільний процес

40 Q40 1 г S06 (F) Цивільний процес

41 Q41 1 б S06 (F) Цивільний процес

42 Q42 1 в S06 (F) Цивільний процес

43 Q43 1 в S06 (F) Цивільний процес

44 Q44 1 г S07 (G) Кримінальне право

45 Q45 1 в S07 (G) Кримінальне право

46 Q46 1 г S07 (G) Кримінальне право

47 Q47 1 г S07 (G) Кримінальне право

48 Q48 1 г S07 (G) Кримінальне право

49 Q49 1 в S07 (G) Кримінальне право

50 Q50 1 б S07 (G) Кримінальне право

Judge [2012-06-05] Страница 2

Таксономия экзамена (продолжение)

NN Вопрос М.балл Прав.отв Раздел Содержание раздела

51 Q51 1 б S07 (G) Кримінальне право

52 Q52 1 в S08 (H) Кримінальний процес

53 Q53 1 б S08 (H) Кримінальний процес

54 Q54 1 а S08 (H) Кримінальний процес

55 Q55 1 г S08 (H) Кримінальний процес

56 Q56 1 б S08 (H) Кримінальний процес

57 Q57 1 в S08 (H) Кримінальний процес

58 Q58 1 г S08 (H) Кримінальний процес

59 Q59 1 г S08 (H) Кримінальний процес

60 Q60 1 г S08 (H) Кримінальний процес

61 Q61 1 в S08 (H) Кримінальний процес

62 Q62 1 в S09 (I) Господарське право

63 Q63 1 в S09 (I) Господарське право

64 Q64 1 в S09 (I) Господарське право

65 Q65 1 а S09 (I) Господарське право

66 Q66 1 б S09 (I) Господарське право

67 Q67 1 г S09 (I) Господарське право

68 Q68 1 а S09 (I) Господарське право

69 Q69 1 в S09 (I) Господарське право

70 Q70 1 г S10 (J) Господарський процес

71 Q71 1 а S10 (J) Господарський процес

72 Q72 1 г S10 (J) Господарський процес

73 Q73 1 в S10 (J) Господарський процес

74 Q74 1 б S10 (J) Господарський процес

75 Q75 1 б S10 (J) Господарський процес

76 Q76 1 б S10 (J) Господарський процес

77 Q77 1 г S10 (J) Господарський процес

78 Q78 1 г S10 (J) Господарський процес

79 Q79 1 б S11 (K) Адміністративне право

80 Q80 1 г S11 (K) Адміністративне право

81 Q81 1 г S11 (K) Адміністративне право

82 Q82 1 в S11 (K) Адміністративне право

83 Q83 1 в S11 (K) Адміністративне право

84 Q84 1 в S12 (L) Адміністративний процес

85 Q85 1 г S12 (L) Адміністративний процес

86 Q86 1 б S12 (L) Адміністративний процес

87 Q87 1 в S12 (L) Адміністративний процес

88 Q88 1 г S12 (L) Адміністративний процес

89 Q89 1 б S12 (L) Адміністративний процес

90 Q90 1 в S12 (L) Адміністративний процес

91 Q91 1 в S12 (L) Адміністративний процес

92 Q92 1 б S12 (L) Адміністративний процес

93 Q93 1 а S13 (M) Трудове право

94 Q94 1 в S13 (M) Трудове право

95 Q95 1 б S13 (M) Трудове право

96 Q96 1 г S13 (M) Трудове право

97 Q97 1 а S13 (M) Трудове право

98 Q98 1 г S13 (M) Трудове право

99 Q99 1 г S13 (M) Трудове право

100 Q100 1 б S13 (M) Трудове право

Judge [2012-06-05] Страница 3

Распределение баллов

Mean=56.0 Std.dev.=9.3 N=3437

9080706050403020

1401301201101009080706050403020100

Дефект нормальности распределения

9080706050403020

25

201510

50

-5

-10-15-20

-25-30-35

-40

Judge [2012-06-05] Страница 4

GTs (score: 100.00, 100.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q1 (score: 1.00, 1.0%)

а (4.5%) б (13.1%) в (14.3%)*г (67.9%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q2 (score: 1.00, 1.0%)

а (6.2%) *б (77.1%) в (12.6%)г (3.9%) н (0.2%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q3 (score: 1.00, 1.0%)

а (3.8%) б (3.6%) в (9.4%)*г (83.0%) н (0.1%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q4 (score: 1.00, 1.0%)

а (27.2%) б (13.4%) *в (46.2%)г (12.8%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q5 (score: 1.00, 1.0%)

а (3.4%) б (8.9%) *в (83.2%)г (4.3%) н (0.2%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q6 (score: 1.00, 1.0%)

а (4.7%) б (16.9%) в (12.4%)*г (65.7%) н (0.2%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q7 (score: 1.00, 1.0%)

а (27.3%) б (18.4%) *в (48.1%)г (5.8%) н (0.4%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q8 (score: 1.00, 1.0%)

а (12.5%) б (11.7%) *в (74.2%)г (1.5%) н (0.2%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q9 (score: 1.00, 1.0%)

а (18.2%) б (8.7%) *в (65.7%)г (7.1%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q10 (score: 1.00, 1.0%)

а (9.9%) *б (31.9%) в (26.5%)г (31.3%) н (0.4%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q11 (score: 1.00, 1.0%)

а (2.3%) б (1.4%) в (7.7%)*г (88.6%) н (0.1%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Judge [2012-06-05] Страница 5

Q12 (score: 1.00, 1.0%)

*а (82.8%) б (2.7%) в (10.7%)г (3.5%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q13 (score: 1.00, 1.0%)

а (22.5%) *б (58.7%) в (0.9%)г (17.6%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q14 (score: 1.00, 1.0%)

а (8.3%) б (11.6%) в (21.8%)*г (58.0%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q15 (score: 1.00, 1.0%)

а (20.1%) б (4.7%) *в (67.3%)г (7.8%) н (0.1%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q16 (score: 1.00, 1.0%)

а (10.3%) б (24.2%) *в (41.7%)г (23.5%) н (0.2%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q17 (score: 1.00, 1.0%)

а (12.4%) б (11.0%) в (2.8%)*г (73.6%) н (0.2%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q18 (score: 1.00, 1.0%)

а (1.5%) *б (61.5%) в (11.7%)г (25.2%) н (0.2%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q19 (score: 1.00, 1.0%)

*а (41.7%) б (26.8%) в (20.0%)г (11.2%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q20 (score: 1.00, 1.0%)

а (9.0%) б (21.1%) в (5.8%)*г (63.7%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q21 (score: 1.00, 1.0%)

*а (34.3%) б (7.5%) в (28.3%)г (29.5%) н (0.4%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q22 (score: 1.00, 1.0%)

а (71.1%) б (4.8%) *в (18.3%)г (5.6%) н (0.1%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q23 (score: 1.00, 1.0%)

*а (62.1%) б (15.3%) в (6.5%)г (15.8%) н (0.4%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Judge [2012-06-05] Страница 6

Q24 (score: 1.00, 1.0%)

а (14.8%) б (12.2%) в (10.7%)*г (62.0%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q25 (score: 1.00, 1.0%)

а (14.8%) *б (60.7%) в (14.7%)г (9.5%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q26 (score: 1.00, 1.0%)

а (27.4%) б (7.7%) в (12.6%)*г (52.0%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q27 (score: 1.00, 1.0%)

а (7.1%) *б (36.0%) в (21.9%)г (34.7%) н (0.2%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q28 (score: 1.00, 1.0%)

а (8.7%) б (9.2%) *в (64.2%)г (17.6%) н (0.2%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q29 (score: 1.00, 1.0%)

*а (65.9%) б (20.9%) в (8.9%)г (4.0%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q30 (score: 1.00, 1.0%)

*а (39.8%) б (26.2%) в (30.4%)г (3.3%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q31 (score: 1.00, 1.0%)

а (5.1%) *б (28.9%) в (65.3%)г (0.5%) н (0.2%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q32 (score: 1.00, 1.0%)

а (19.9%) *б (58.7%) в (7.5%)г (13.4%) н (0.4%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q33 (score: 1.00, 1.0%)

а (40.3%) б (4.9%) в (4.1%)*г (50.3%) н (0.4%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q34 (score: 1.00, 1.0%)

а (55.3%) б (7.0%) *в (33.4%)г (4.0%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q35 (score: 1.00, 1.0%)

а (6.0%) б (1.9%) *в (87.9%)г (3.8%) н (0.4%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Judge [2012-06-05] Страница 7

Q36 (score: 1.00, 1.0%)

а (33.5%) *б (44.3%) в (13.6%)г (8.4%) н (0.1%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q37 (score: 1.00, 1.0%)

а (48.1%) *б (34.9%) в (10.9%)г (5.7%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q38 (score: 1.00, 1.0%)

а (31.9%) б (3.4%) в (3.6%)*г (60.8%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q39 (score: 1.00, 1.0%)

а (14.1%) *б (73.4%) в (9.3%)г (3.1%) н (0.1%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q40 (score: 1.00, 1.0%)

а (3.1%) б (7.9%) в (33.2%)*г (55.4%) н (0.5%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q41 (score: 1.00, 1.0%)

а (3.2%) *б (90.1%) в (0.9%)г (5.7%) н (0.1%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q42 (score: 1.00, 1.0%)

а (3.9%) б (43.9%) *в (37.3%)г (14.7%) н (0.2%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q43 (score: 1.00, 1.0%)

а (16.4%) б (22.6%) *в (33.7%)г (26.8%) н (0.5%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q44 (score: 1.00, 1.0%)

а (2.8%) б (3.5%) в (17.9%)*г (75.6%) н (0.2%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q45 (score: 1.00, 1.0%)

а (58.6%) б (24.6%) *в (12.0%)г (4.6%) н (0.2%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q46 (score: 1.00, 1.0%)

а (1.3%) б (15.9%) в (1.3%)*г (81.2%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q47 (score: 1.00, 1.0%)

а (19.3%) б (7.1%) в (1.4%)*г (71.9%) н (0.4%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Judge [2012-06-05] Страница 8

Q48 (score: 1.00, 1.0%)

а (29.6%) б (2.2%) в (25.8%)*г (42.2%) н (0.1%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q49 (score: 1.00, 1.0%)

а (43.2%) б (1.5%) *в (53.6%)г (1.6%) н (0.1%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q50 (score: 1.00, 1.0%)

а (6.6%) *б (71.3%) в (4.5%)г (17.3%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q51 (score: 1.00, 1.0%)

а (22.1%) *б (64.4%) в (10.7%)г (2.6%) н (0.2%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q52 (score: 1.00, 1.0%)

а (4.5%) б (35.9%) *в (56.3%)г (3.3%) н (0.1%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q53 (score: 1.00, 1.0%)

а (2.0%) *б (93.7%) в (2.2%)г (2.0%) н (0.1%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q54 (score: 1.00, 1.0%)

*а (66.9%) б (25.1%) в (4.5%)г (3.1%) н (0.4%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q55 (score: 1.00, 1.0%)

а (28.3%) б (5.9%) в (12.4%)*г (53.2%) н (0.2%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q56 (score: 1.00, 1.0%)

а (14.1%) *б (70.6%) в (12.8%)г (2.2%) н (0.2%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q57 (score: 1.00, 1.0%)

а (3.7%) б (1.1%) *в (49.9%)г (45.0%) н (0.2%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q58 (score: 1.00, 1.0%)

а (39.5%) б (4.1%) в (11.5%)*г (44.6%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q59 (score: 1.00, 1.0%)

а (10.5%) б (25.4%) в (8.0%)*г (55.9%) н (0.2%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Judge [2012-06-05] Страница 9

Q60 (score: 1.00, 1.0%)

а (15.2%) б (7.4%) в (19.6%)*г (57.5%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q61 (score: 1.00, 1.0%)

а (13.2%) б (6.5%) *в (70.4%)г (9.7%) н (0.2%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q62 (score: 1.00, 1.0%)

а (3.7%) б (14.0%) *в (75.2%)г (6.8%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q63 (score: 1.00, 1.0%)

а (9.9%) б (25.2%) *в (19.5%)г (44.9%) н (0.5%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q64 (score: 1.00, 1.0%)

а (14.3%) б (12.3%) *в (45.2%)г (27.6%) н (0.6%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q65 (score: 1.00, 1.0%)

*а (69.0%) б (13.1%) в (14.9%)г (2.8%) н (0.2%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q66 (score: 1.00, 1.0%)

а (6.9%) *б (74.3%) в (2.5%)г (16.1%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q67 (score: 1.00, 1.0%)

а (25.8%) б (32.7%) в (15.2%)*г (25.8%) н (0.4%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q68 (score: 1.00, 1.0%)

*а (64.3%) б (17.5%) в (5.4%)г (12.4%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q69 (score: 1.00, 1.0%)

а (5.2%) б (12.4%) *в (54.0%)г (28.0%) н (0.4%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q70 (score: 1.00, 1.0%)

а (11.2%) б (3.5%) в (15.8%)*г (69.0%) н (0.4%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q71 (score: 1.00, 1.0%)

*а (48.6%) б (8.8%) в (2.8%)г (39.4%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Judge [2012-06-05] Страница 10

Q72 (score: 1.00, 1.0%)

а (3.1%) б (17.7%) в (44.4%)*г (34.5%) н (0.4%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q73 (score: 1.00, 1.0%)

а (5.2%) б (37.3%) *в (53.9%)г (3.3%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q74 (score: 1.00, 1.0%)

а (5.0%) *б (70.9%) в (7.8%)г (15.7%) н (0.5%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q75 (score: 1.00, 1.0%)

а (23.2%) *б (57.5%) в (13.8%)г (5.2%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q76 (score: 1.00, 1.0%)

а (60.4%) *б (35.8%) в (2.5%)г (1.1%) н (0.1%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q77 (score: 1.00, 1.0%)

а (3.9%) б (1.6%) в (1.3%)*г (93.1%) н (0.1%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q78 (score: 1.00, 1.0%)

а (26.9%) б (4.2%) в (4.8%)*г (63.8%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q79 (score: 1.00, 1.0%)

а (7.4%) *б (62.7%) в (16.7%)г (12.8%) н (0.4%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q80 (score: 1.00, 1.0%)

а (10.7%) б (16.9%) в (2.0%)*г (69.7%) н (0.6%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q81 (score: 1.00, 1.0%)

а (2.4%) б (13.1%) в (27.4%)*г (56.6%) н (0.4%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q82 (score: 1.00, 1.0%)

а (69.1%) б (1.0%) *в (28.2%)г (1.4%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q83 (score: 1.00, 1.0%)

а (16.2%) б (14.1%) *в (56.9%)г (12.6%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Judge [2012-06-05] Страница 11

Q84 (score: 1.00, 1.0%)

а (3.0%) б (2.7%) *в (83.2%)г (10.8%) н (0.4%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q85 (score: 1.00, 1.0%)

а (19.9%) б (6.5%) в (9.5%)*г (63.7%) н (0.4%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q86 (score: 1.00, 1.0%)

а (30.5%) *б (54.4%) в (6.1%)г (8.7%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q87 (score: 1.00, 1.0%)

а (8.6%) б (8.2%) *в (75.2%)г (7.6%) н (0.4%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q88 (score: 1.00, 1.0%)

а (42.1%) б (4.2%) в (23.1%)*г (30.0%) н (0.5%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q89 (score: 1.00, 1.0%)

а (8.0%) *б (72.5%) в (16.8%)г (2.2%) н (0.6%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q90 (score: 1.00, 1.0%)

а (50.8%) б (2.7%) *в (44.5%)г (1.7%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q91 (score: 1.00, 1.0%)

а (10.4%) б (0.9%) *в (86.6%)г (1.8%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q92 (score: 1.00, 1.0%)

а (3.9%) *б (53.3%) в (9.9%)г (32.6%) н (0.3%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q93 (score: 1.00, 1.0%)

*а (70.8%) б (14.8%) в (3.4%)г (10.5%) н (0.5%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q94 (score: 1.00, 1.0%)

а (2.6%) б (5.4%) *в (57.4%)г (34.1%) н (0.5%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q95 (score: 1.00, 1.0%)

а (3.1%) *б (64.8%) в (2.5%)г (29.2%) н (0.4%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Judge [2012-06-05] Страница 12

Q96 (score: 1.00, 1.0%)

а (51.9%) б (3.2%) в (12.2%)*г (32.2%) н (0.5%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q97 (score: 1.00, 1.0%)

*а (64.7%) б (9.4%) в (5.5%)г (19.7%) н (0.6%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q98 (score: 1.00, 1.0%)

а (4.4%) б (17.5%) в (6.0%)*г (72.0%) н (0.2%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q99 (score: 1.00, 1.0%)

а (10.1%) б (6.1%) в (7.3%)*г (75.7%) н (0.7%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Q100 (score: 1.00, 1.0%)

а (11.2%) *б (72.6%) в (3.2%)г (12.4%) н (0.5%) м (0.0%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Judge [2012-06-05] Страница 13

S01 (score: 8.00, 8.0% vs 7.7%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

S02 (score: 8.00, 8.0% vs 7.7%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

S03 (score: 4.00, 4.0% vs 7.7%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

S04 (score: 5.00, 5.0% vs 7.7%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

S05 (score: 8.00, 8.0% vs 7.7%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

S06 (score: 10.00, 10.0% vs 7.7%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

S07 (score: 8.00, 8.0% vs 7.7%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

S08 (score: 10.00, 10.0% vs 7.7%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

S09 (score: 8.00, 8.0% vs 7.7%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

S10 (score: 9.00, 9.0% vs 7.7%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

S11 (score: 5.00, 5.0% vs 7.7%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

S12 (score: 9.00, 9.0% vs 7.7%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Judge [2012-06-05] Страница 14

S13 (score: 8.00, 8.0% vs 7.6%)

90858075706560555045403530

1

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

Для служебного пользованиявнутренний отчёт UEnet

IRT анализв логистических моделях Rasch и Birnbaum

по экзаменуJudges test#2 - 2012

Дата проведения экзамена: 2012-06-05Количество экзаменационных работ: 3471IRT-анализ выполнен по: 17 точкамАльфа Кронбаха: 0.860

02.08.2012 14:25:56 По вопросам использования этого материала обращаться: [email protected]

Judge [2012-06-05] Страница 1

Параметры логистической модели

NN Вопрос М.балл Прав.отв Раздел B (слож.) C (угад.) A (дискр.)

1 Q1 1 г S01 (A) -0.150 0.050 0.670

2 Q2 1 б S01 (A) -0.470 0.100 0.770

3 Q3 1 г S01 (A) -0.650 0.000 1.110

4 Q4 1 в S01 (A) 0.520 0.030 0.920

5 Q5 1 в S01 (A) -0.630 0.000 1.060

6 Q6 1 г S01 (A) -0.020 0.000 1.000

7 Q7 1 в S01 (A) 0.400 0.000 1.110

8 Q8 1 в S01 (A) -0.320 0.000 1.080

9 Q9 1 в S02 (B) -0.090 0.010 0.870

10 Q10 1 б S02 (B) 0.920 0.020 0.960

11 Q11 1 г S02 (B) -1.130 0.000 0.930

12 Q12 1 а S02 (B) -0.770 0.030 0.820

13 Q13 1 б S02 (B) 0.120 0.000 0.940

14 Q14 1 г S02 (B) -0.090 0.060 0.500

15 Q15 1 в S02 (B) -0.090 0.000 1.040

16 Q16 1 в S02 (B) 0.560 0.000 1.010

17 Q17 1 г S03 (C) -0.260 0.000 1.260

18 Q18 1 б S03 (C) 0.030 0.010 0.770

19 Q19 1 а S03 (C) 0.670 0.040 0.910

20 Q20 1 г S03 (C) -0.090 0.050 0.540

21 Q21 1 а S04 (D) 0.780 0.010 1.060

22 Q22 1 в S04 (D) 1.340 0.000 1.160

23 Q23 1 а S04 (D) -0.050 0.020 0.570

24 Q24 1 г S04 (D) 0.030 0.100 0.590

25 Q25 1 б S04 (D) 0.150 0.150 0.650

26 Q26 1 г S05 (E) 0.450 0.110 0.750

27 Q27 1 б S05 (E) 0.870 0.050 0.910

28 Q28 1 в S05 (E) -0.050 0.130 0.500

29 Q29 1 а S05 (E) -0.080 0.010 0.800

30 Q30 1 а S05 (E) 0.700 0.020 0.910

31 Q31 1 б S05 (E) 0.940 0.000 1.230

32 Q32 1 б S05 (E) 0.150 0.000 1.000

33 Q33 1 г S05 (E) 0.410 0.100 0.580

34 Q34 1 в S06 (F) 0.840 0.020 1.070

35 Q35 1 в S06 (F) -0.800 0.000 1.200

36 Q36 1 б S06 (F) 0.840 0.190 0.790

37 Q37 1 б S06 (F) 0.910 0.110 1.140

38 Q38 1 г S06 (F) 0.100 0.030 0.980

39 Q39 1 б S06 (F) -0.390 0.070 0.600

40 Q40 1 г S06 (F) 0.330 0.180 0.500

41 Q41 1 б S06 (F) -1.100 0.000 1.010

42 Q42 1 в S06 (F) 0.870 0.090 0.840

43 Q43 1 в S06 (F) 0.860 0.040 1.110

44 Q44 1 г S07 (G) -0.490 0.070 0.590

45 Q45 1 в S07 (G) 1.480 0.000 1.500

46 Q46 1 г S07 (G) -0.700 0.000 0.980

47 Q47 1 г S07 (G) -0.270 0.000 0.910

48 Q48 1 г S07 (G) 0.870 0.150 0.720

49 Q49 1 в S07 (G) 0.340 0.020 0.910

50 Q50 1 б S07 (G) -0.250 0.000 0.970

51 Q51 1 б S07 (G) -0.010 0.090 0.780

52 Q52 1 в S08 (H) 0.250 0.090 0.710

53 Q53 1 б S08 (H) -1.430 0.000 1.000

Judge [2012-06-05] Страница 2

Параметры логистической модели (продолжение)

NN Вопрос М.балл Прав.отв Раздел B (слож.) C (угад.) A (дискр.)

54 Q54 1 а S08 (H) -0.140 0.060 0.640

55 Q55 1 г S08 (H) 0.370 0.110 0.730

56 Q56 1 б S08 (H) -0.270 0.080 0.650

57 Q57 1 в S08 (H) 0.440 0.090 0.760

58 Q58 1 г S08 (H) 0.540 0.020 0.840

59 Q59 1 г S08 (H) 0.290 0.150 0.660

60 Q60 1 г S08 (H) 0.200 0.060 0.830

61 Q61 1 в S08 (H) -0.260 0.150 0.560

62 Q62 1 в S09 (I) -0.420 0.020 0.870

63 Q63 1 в S09 (I) 1.220 0.000 1.500

64 Q64 1 в S09 (I) 0.550 0.060 0.950

65 Q65 1 а S09 (I) -0.220 0.080 0.520

66 Q66 1 б S09 (I) -0.410 0.020 0.740

67 Q67 1 г S09 (I) 1.130 0.020 1.080

68 Q68 1 а S09 (I) -0.070 0.020 0.710

69 Q69 1 в S09 (I) 0.270 0.000 0.870

70 Q70 1 г S10 (J) -0.180 0.010 0.990

71 Q71 1 а S10 (J) 0.600 0.140 0.720

72 Q72 1 г S10 (J) 0.920 0.070 0.870

73 Q73 1 в S10 (J) 0.270 0.090 0.500

74 Q74 1 б S10 (J) -0.270 0.070 0.570

75 Q75 1 б S10 (J) 0.150 0.000 0.900

76 Q76 1 б S10 (J) 0.820 0.060 0.920

77 Q77 1 г S10 (J) -1.490 0.000 1.010

78 Q78 1 г S10 (J) 0.050 0.220 0.500

79 Q79 1 б S11 (K) 0.020 0.000 1.090

80 Q80 1 г S11 (K) -0.180 0.070 0.720

81 Q81 1 г S11 (K) 0.250 0.050 0.870

82 Q82 1 в S11 (K) 0.890 0.000 1.440

83 Q83 1 в S11 (K) 0.200 0.010 0.850

84 Q84 1 в S12 (L) -0.760 0.010 0.940

85 Q85 1 г S12 (L) 0.080 0.140 0.620

86 Q86 1 б S12 (L) 0.310 0.060 0.590

87 Q87 1 в S12 (L) -0.400 0.010 0.970

88 Q88 1 г S12 (L) 1.010 0.020 0.850

89 Q89 1 б S12 (L) -0.260 0.030 0.880

90 Q90 1 в S12 (L) 0.630 0.120 0.690

91 Q91 1 в S12 (L) -0.980 0.050 0.840

92 Q92 1 б S12 (L) 0.370 0.120 0.700

93 Q93 1 а S13 (M) -0.290 0.100 0.510

94 Q94 1 в S13 (M) 0.200 0.040 0.800

95 Q95 1 б S13 (M) -0.060 0.030 0.770

96 Q96 1 г S13 (M) 0.880 0.000 1.100

97 Q97 1 а S13 (M) -0.020 0.130 0.560

98 Q98 1 г S13 (M) -0.520 0.000 0.840

99 Q99 1 г S13 (M) -0.520 0.020 0.730

100 Q100 1 б S13 (M) -0.240 0.000 1.000

Judge [2012-06-05] Страница 3

Распределение баллов

Mean=56.0 Std.dev.=9.3 N=3437

9080706050403020

1401301201101009080706050403020100

Дефект нормальности распределения

9080706050403020

25

201510

50

-5

-10-15-20

-25-30-35

-40

Judge [2012-06-05] Страница 4

Q1 B=-0.150 C=0.050 A=0.670

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q2 B=-0.470 C=0.100 A=0.770

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q3 B=-0.650 C=0.000 A=1.110

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q4 B=0.520 C=0.030 A=0.920

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q5 B=-0.630 C=0.000 A=1.060

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q6 B=-0.020 C=0.000 A=1.000

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q7 B=0.400 C=0.000 A=1.110

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q8 B=-0.320 C=0.000 A=1.080

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2012-06-05] Страница 5

Q9 B=-0.090 C=0.010 A=0.870

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q10 B=0.920 C=0.020 A=0.960

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q11 B=-1.130 C=0.000 A=0.930

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q12 B=-0.770 C=0.030 A=0.820

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q13 B=0.120 C=0.000 A=0.940

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q14 B=-0.090 C=0.060 A=0.500

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q15 B=-0.090 C=0.000 A=1.040

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q16 B=0.560 C=0.000 A=1.010

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2012-06-05] Страница 6

Q17 B=-0.260 C=0.000 A=1.260

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q18 B=0.030 C=0.010 A=0.770

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q19 B=0.670 C=0.040 A=0.910

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q20 B=-0.090 C=0.050 A=0.540

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q21 B=0.780 C=0.010 A=1.060

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q22 B=1.340 C=0.000 A=1.160

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q23 B=-0.050 C=0.020 A=0.570

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q24 B=0.030 C=0.100 A=0.590

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2012-06-05] Страница 7

Q25 B=0.150 C=0.150 A=0.650

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q26 B=0.450 C=0.110 A=0.750

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q27 B=0.870 C=0.050 A=0.910

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q28 B=-0.050 C=0.130 A=0.500

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q29 B=-0.080 C=0.010 A=0.800

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q30 B=0.700 C=0.020 A=0.910

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q31 B=0.940 C=0.000 A=1.230

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q32 B=0.150 C=0.000 A=1.000

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2012-06-05] Страница 8

Q33 B=0.410 C=0.100 A=0.580

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q34 B=0.840 C=0.020 A=1.070

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q35 B=-0.800 C=0.000 A=1.200

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q36 B=0.840 C=0.190 A=0.790

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q37 B=0.910 C=0.110 A=1.140

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q38 B=0.100 C=0.030 A=0.980

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q39 B=-0.390 C=0.070 A=0.600

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q40 B=0.330 C=0.180 A=0.500

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2012-06-05] Страница 9

Q41 B=-1.100 C=0.000 A=1.010

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q42 B=0.870 C=0.090 A=0.840

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q43 B=0.860 C=0.040 A=1.110

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q44 B=-0.490 C=0.070 A=0.590

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q45 B=1.480 C=0.000 A=1.500

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q46 B=-0.700 C=0.000 A=0.980

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q47 B=-0.270 C=0.000 A=0.910

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q48 B=0.870 C=0.150 A=0.720

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2012-06-05] Страница 10

Q49 B=0.340 C=0.020 A=0.910

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q50 B=-0.250 C=0.000 A=0.970

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q51 B=-0.010 C=0.090 A=0.780

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q52 B=0.250 C=0.090 A=0.710

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q53 B=-1.430 C=0.000 A=1.000

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q54 B=-0.140 C=0.060 A=0.640

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q55 B=0.370 C=0.110 A=0.730

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q56 B=-0.270 C=0.080 A=0.650

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2012-06-05] Страница 11

Q57 B=0.440 C=0.090 A=0.760

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q58 B=0.540 C=0.020 A=0.840

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q59 B=0.290 C=0.150 A=0.660

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q60 B=0.200 C=0.060 A=0.830

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q61 B=-0.260 C=0.150 A=0.560

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q62 B=-0.420 C=0.020 A=0.870

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q63 B=1.220 C=0.000 A=1.500

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q64 B=0.550 C=0.060 A=0.950

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2012-06-05] Страница 12

Q65 B=-0.220 C=0.080 A=0.520

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q66 B=-0.410 C=0.020 A=0.740

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q67 B=1.130 C=0.020 A=1.080

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q68 B=-0.070 C=0.020 A=0.710

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q69 B=0.270 C=0.000 A=0.870

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q70 B=-0.180 C=0.010 A=0.990

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q71 B=0.600 C=0.140 A=0.720

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q72 B=0.920 C=0.070 A=0.870

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2012-06-05] Страница 13

Q73 B=0.270 C=0.090 A=0.500

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q74 B=-0.270 C=0.070 A=0.570

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q75 B=0.150 C=0.000 A=0.900

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q76 B=0.820 C=0.060 A=0.920

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q77 B=-1.490 C=0.000 A=1.010

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q78 B=0.050 C=0.220 A=0.500

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q79 B=0.020 C=0.000 A=1.090

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q80 B=-0.180 C=0.070 A=0.720

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2012-06-05] Страница 14

Q81 B=0.250 C=0.050 A=0.870

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q82 B=0.890 C=0.000 A=1.440

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q83 B=0.200 C=0.010 A=0.850

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q84 B=-0.760 C=0.010 A=0.940

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q85 B=0.080 C=0.140 A=0.620

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q86 B=0.310 C=0.060 A=0.590

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q87 B=-0.400 C=0.010 A=0.970

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q88 B=1.010 C=0.020 A=0.850

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2012-06-05] Страница 15

Q89 B=-0.260 C=0.030 A=0.880

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q90 B=0.630 C=0.120 A=0.690

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q91 B=-0.980 C=0.050 A=0.840

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q92 B=0.370 C=0.120 A=0.700

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q93 B=-0.290 C=0.100 A=0.510

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q94 B=0.200 C=0.040 A=0.800

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q95 B=-0.060 C=0.030 A=0.770

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q96 B=0.880 C=0.000 A=1.100

3210-1-2

1

0.8

0.6

0.4

0.2

0

Judge [2012-06-05] Страница 16

Q97 B=-0.020 C=0.130 A=0.560

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q98 B=-0.520 C=0.000 A=0.840

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q99 B=-0.520 C=0.020 A=0.730

3210-1-2

1

0.8

0.6

0.4

0.2

0

Q100 B=-0.240 C=0.000 A=1.000

3210-1-2

1

0.8

0.6

0.4

0.2

0