ТЕСТИРОВАНИЕ КАК ТЕХНОЛОГИЯ КОНТРОЛЯ ЗНАНИЙ И УМЕНИЙ...

1Test Center of Kharkov National University of Radioеlectronics,

E-mail : [email protected], phone 7021 326

Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.

ТЕСТИРОВАНИЕ КАК ТЕХНОЛОГИЯ КОНТРОЛЯ ЗНАНИЙ И УМЕНИЙ

СТУДЕНТОВ В ВЫСШЕМ УЧЕБНОМ ЗАВЕДЕНИИ




Цели и задачи

Цель - обобщение опыта применения системы компьютерного тестирования знаний студентов по различным дисциплинам в ХНУРЭ.

Рассматриваемые вопросы1. Тестирование как способ контроля знаний.2. Тестовые задания.3. Контроль знаний, умений, навыков .4. Технология проведения тестирований.5. Оценивание знаний.6. Статистические результаты тестирований.7. Тестовый центр ХНУРЭ.




1.1 Тестирование как форма контроля знаний

Тестирование - это способ (технология) определения уровня знаний и умений студентов с помощью специальных тестовых заданий.

Формы тестовых заданий : вопросы (однозначные ответы); контрольные задачи (контроль процесса решения).

Характеристики процесса тестирования : дидактические (составление тестов); технологические (организация тестирования); технические (инструментальные средства).




1.2 Организационные формы тестирования

Бланковое достоинства : простота, надежность, мобильность ;

недостатки : дороговизна подготовки, сложность перестройки,

необходимость спец.персонала.

Аппаратное Необходимость разработки специального оборудования .

Компьютерное тестирование (обработка) на стороне клиента ;

тестирование (обработка) на стороне сервера

(клиент-серверные системы тестирования).




1.3 Компьютерные (клиент-серверные) системы тестирования

Преимущества массовое применение ; минимальный технический персонал; автоматизация получения результата; конфиденциальность результатов.

Компьютерная система тестирования OpenTESTБесплатные программные инструментальные средства :

• СУБД MySQL ;• Язык серверных сценариев PHP ;• Язык текстовой разметки HTML ;• Язык клиентских сценариев JavaScript .

Мультиязычнй интерфейс (русский, украинский, английский).




2.1 Тестовые задания вопросного типа. Типы вопросов

Вопросы закрытого типа

выбор одного из нескольких ;

выбор нескольких из нескольких

установка соответствия.

Вопросы открытого типа

свободноконструируемый ответ (ввод в поле ответа) ;

расставить, переместить и т.д.




2.2 Структура выборочного вопроса

Описание ситуации. В этой части вопроса могут присутствовать текст, рисунки, графики,

анимации и т.д. Эта часть вопроса не является обязательной, но все же рекомендуется ее применять, так как одна и та же ситуация может быть основой для множества однотипных вопросов.

Текст вопроса. Он должен быть сформулирован четко, и не содержать двузначных формулировок. Текст вопроса достаточно часто может быть совмещен с описанием ситуации.

Варианты ответов. В Web-интерфейсе выборочные варианты ответов на вопросы реализуются через radio-button ("выбор одного из нескольких") или check-box ("выбор нескольких из нескольких"). Визуально они различимы, поэтому обучаемый всегда может определить, какой тип вопроса ему предложен. Порядок следования вариантов ответов в исходном задании теста абсолютно несущественен (при выдаче тестов происходит случайное перемешивание порядка следования вариантов ответов).




2.3 Типы выборочных вопросов в системе OpenTEST

Внешний вид вопроса типа «один из нескольких» в Web-интерфейсе системы OpenTEST.

Внешний вид вопроса типа «один из нескольких» в Web-интерфейсе системы OpenTEST.




2.4 Формы представления тестовой информации

Модель предметной области :

«Тема» - «Подтема» - «Вопросы темы» Представление тестовой информации :

XML-формат; doc-формат.

Способы ввода тестовой информации : через Web-интерфейс непосредственно в БД; через имитатор Web-интерфейса с конвертированием его в

XML-формат; из doc-файла с конвертированием его в XML-формат; из XML-файла (импортирование теста);.




2.5 Формат представления тестового doc-файла

Представление вопросов в doc-файле в форме таблицы

Тема : Алгебраические уравнения

Подтема : Уровень 1

Вопрос :

Решить уравнение -1; 0; 11; 16; -11.

Тест Алгебраические уравнения Т Уровень 1 В1 Решить уравнение 3523 x A -1 A 0 A+ 11 A 16 A -11 В1 Решить уравнение xx 2)2( 2

A -2 A 2 A 2 A );( A+ )2;(

3523 x




2.6 Внешний вид теста в базе данных




2.7 Нормирование длины тестов в системе OpenTEST

Под тематической единицей принято понимать совокупность всех видов учебной нагрузки (лекции, практические занятия, лабораторные работы, самостоятельная работа), необходимые для изучения определенной темы. Рекомендуемая минимальная длина тематической единицы – 7 часов.

Объем учебнойдисциплины в

кредитах(54 часа)

Тематическиеединицы(темы)

на кредит

Длинасеанса

тестирования

Общее количествовопросов в тесте (M)

(минимальноеколич.)

До 2-х кредитов 8-10 10-15 100 - 150

2-3 кредитавключительно

7-8 15-20 150 - 200

Свыше 3-хкредитов

5-7 20-30 200 - 300




3.1 Уровень сложности вопросов

В теории приобретения знаний выделяют три уровня усвоения знаний :

узнавание (запоминание); заучивание (понимание, применение); актуализация (синтез новых понятий, комплексное применение умений и навыков).

Разные уровни (сложности) вопросов проверяют разные

аспекты познавательной деятельности обучаемых.

Для точного оценивания уровня знаний, умений и навыков

авторам теста было бы целесообразно разделять тесты по

целевым установкам, например, "Физика_механика (знания)",

"Матанализ_пределы (умения)" .




3.2 Пример вопросов на узнавание (запоминание)

Данный уровень сложности вопросов позволяет определить на сколько тестируемый знаком с материалом определенной предметной области. Такие вопросы проверяют исключительно уровень знаний тестируемого.

На какой свет светофора следует переходить улицу :Красный ;Желтый;Зеленый.

Какова область значений функции Y = x2 :Y – больше / равно нуля (Y >= 0);Y – меньше нуля (Y < 0);Y – все действительные числа.

В каком году был основан город Харьков :1554;1645;1654.




3.3 Пример вопросов на применение (понимание)

При использовании вопросов данного уровня сложности более глубоко проверяются знания и простейшие умения. Главное в ответе на такой вопрос - это умение правильно применять определенную формулу (закон, нормативный акт, пункта правил и т.д.) к описанной ситуации.

Сколько электроэнергии потребит элетролампа мощностью 100 ватт :за 30 минут :

3 Квт-ч ;0.3 Квт-ч ;0.03 Квт-ч ;0.05 Квт-ч ;

Сколько существует булевых функций от трех переменных :8 ;16;256; бесконечное множество ;




3.4 Примеры вопросов на синтез новых понятий (умения и навыки)

При использовании вопросов данного уровня сложности более глубоко проверяются умения и навыки в решении типовых практических задач в данной предметной области. Обычно для ответа на такой вопрос необходимо применить несколько формул в определенной последовательности или выбрать правильные начальные условия для применения некоторых формул (законов), знать и уметь использовать основные физические и математические константы.

Как соотносятся между собой величины чисел eπ и πe : eπ > πe ; eπ < πe ; eπ = πe.




3.4 Примеры вопросов на синтез новых понятий (продолжение)

Дан фрагмент программного кода на языке С

#include <iostream>void main() { struct S{char c; S * next;} A = {'a', 0}, B={'b', &A},

C={'c', &B} D={'d', &C}, *p = &D; for (int i=0; i<2 && p; i++) p=p->next; std::cout << p->c;}

Какая буква будет выведена на консоль. 'a'; 'b'; 'c'; 'd'.




3.5 Математические вопросы. Умения и навыки

Решить уравнение • 2 ; • 6 ; • 16, • 8 ; • 12 .

Применение свободноконструируемх ответов в математических задачах ограничено !

Решить уравнение Cos 2x + Sin 2x = Cos x + Sin x

ответ { π/6 + 2/3 πn; 2πk } имеет достаточно много форм представления, в частности " π " может быть заменено на "180", или на запись "180 градусов". Периодичность ответов для тригонометрических уравнений также может быть представлена многими способами.

Математические символы типа “ ”, “ ”, “ ”, “ ” с клавиатуры в Web-интерфейсе не вводятся.

1242 xxx




3.5 Математические вопросы с задержкой появления ответов

• Появление текста вопроса;• Нажатие кнопки «Ответ готов»;• Выбор ответа за 10 – 15 секунд (настраивается).




4.1 Технология процесса тестирования

• Составитель (автор) тестов Выполняет тематическую разбивку предметной области, выбирает типы

применяемых вопросов, группирует вопросы по уровням сложности и предлагает варианты шкалы оценивания.

• Оператор ввода тестовЯвляется специалистом в области XML-формата и модуля “Студия тестов” OpenTEST.Оператор должен уметь вводить тест во всех режимах.

• Организатор тестированияОпределяет цели и задачи тестирования, устанавливает параметры сеанса тестирования и способ оценивания.

• Оператор проведения тестированияПроводит тестирование непосредственно в машинном зале .

• Инженер по знаниямАнализирует статистические результаты тестирований по заказам преподавателей.

• Администратор системыВыполняет инсталяцию и системы OpenTEST и устанавливает права доступа разным категориям пользователей.




4.2 Общая структура системы OpenTEST. Web-интерфейс




5.1 Оценивание в системе OpenTEST. Границы диапазонов шкалы оценивания

Ck – верхние границы k-го интервала k – номер интервала 1<k<D D – диапазон (балльность) шкалы оценивания А – частота «угадывания» в выборочном вопросе m – общее число вариантов ответов («выбор») p – число правильных вариантов («несколько»)

%1001D

1kA1ACk

N" из m" типавопроса для

N" из "1 типавопроса

12

2

m

1

1

m

p

дляA

%100*B

В

maxi

N

1ii

Bi – фактически набранный балл за ответ { 0 –1}Bi

max – максимально возможный балл за ответ { 1 }N – число вопросов в сеансеB – оценка за сеанс в процентах (диапазон 0 -100%)

B=




5.2 Пример шкалы оценивания с вопросами равной альтернативности

Пусть D=5, N=20, m=4 для всех вопросов. При этом С1=25%, С2=44%, С3=63%, С4=82%, С5=100%

25 44 63 82 100% B<C1 - неоцениваемый диапазон,

соответствующий зоне «угадывания» B=75%, оценка «хорошо»

*




5.3 Установка авторской шкалы оценивания




6.1 Форма выдачи результатов тестирования




6.2 Норма шкалы оценивания

Распределение количества тестируемых по шкале оценивания соответствует нормальному (Пуассоновскому) закону распределения с заметно выраженным максимумом в середине шкалы оценивания.

Пример распределения оценок группы

тестируемых по пятибалльной шкале оценивания.

Максимальное значение количества оценок называется «норма шкалы оценивания» и характеризует сложность теста относительно группы тестируемых.




6.3 Результаты тестирования по дисциплине «Дискретная математика»

Группа СКС-03-1




7.1 Тестовий центр ХНУРЕ

Метою діяльності тестового центру є використання та розвиток технологій комп’ютерного тестування знань в навчальному процесі ХНУРЕ.

Основними функціями ТЦ відповідно до головної мети є:

• організація та координація робіт у галузі створення та впровадження єдиної системи комп’ютерного тестування знань в Університеті;

• розробка та затвердження нормативної бази з питань комп’ютерного тестування;

• підтримка працездатності єдиного університетського серверу комп’ютерного тестування;

• проведення консультацій та навчання з викладачами та співробітниками Університету;

• проведення експертизи тестових завдань.




7.2 Нормативне забезпечення процесу тестування в ХНУРЭ

Положення про комп'ютерне тестування знань і вмінь в ХНУРЕ

• Статус заходв тестування (поточне, підсумкове, контрольне);

• Тестовий центр при Центрі технологій дистанційного навчання;

• Технології та формати підготовки тестовмх завдань;

• Процедури проведення експертизи тестових завдань;

• Порядок підготовки та проведення тестувань;

• Інтерпретація результатів тестувань.

Позитивні результати підсумкового тестування є підставою для отримання студентом заліку або позитивної оцінки ("задовільно") при диференційованих формах підсумкового контролю (модульний іспит, письмовий іспит та інші).




7.2 Технічне та організаційне забезпечення процесу тестування в ХНУРЕ

• Тестовий сервер при Центрі технологій дистанційного навчання;

• Комп’ютерна система тестування знань OpenTEST (локальні інсталяції OpenTEST не підтримуються Тестовим центром);

• Сайт opentest.com.ua ;

• Технічна підтримка тестових заходів на рівні мережевої інфраструктури ХНУРЕ;

• Відповідальні на кафедрах за проведення тестових заходів

(на першому етапі виступають в ролі організаторів тестувань).

Офіцйними є результати тестувать, як отримані на тестовому

сервері ЦТДН з використанням тестів, як пройшли експертизу у

відповідності з процедурою, зазначеною в “Положенні . . . “.




Выводы

Компьютерная системе тестирования OpenTEST показала свою эффективность для контроля знаний умений и навыков студентов ХНУРЭ по различным дисциплинам. Неоднократные попытки студентов «обойти» систему тестирования или «взломать» базу данных OpenTEST оказались безуспешными. Базовая версия системы OpenTEST распространяется Центром технологий дистанционного обучения ХНУРЭ бесплатно. Вся информация имеется на сайте opentest.com.ua.

Приглашаем все ВУЗы Украины к сотрудничеству !

ТЕСТИРОВАНИЕ КАК ТЕХНОЛОГИЯ КОНТРОЛЯ ЗНАНИЙ И УМЕНИЙ...

Documents

Transcript of ТЕСТИРОВАНИЕ КАК ТЕХНОЛОГИЯ КОНТРОЛЯ ЗНАНИЙ И УМЕНИЙ...