Александр Ларьяновский, Skyeng
Как контролировать качество услуги
когда не видишь ни исполнителя, ни клиента.
Стандартная услуга
❖ Каждый раз то же самое качество
❖ Предсказуемая цена и время
❖ Не зависит от исполнителя.
В образовании такого пока нет. Нигде.
Как делались методики раньше
❖ Долгая обратная связь от гипотезы до результата;
❖ Дорого или сложно делаются эксперименты;
❖ Большинство экспериментов можно было делать только последовательно.
Дожили
❖ Онлайн-образование стало массовой услугой и становится “Next Big Thing”
❖ Вычислительные мощности позволяют обрабатывать данные “на лету”
Создаём эффективное
❖ Дано: 600 студентов, курс General English. Из них 200 - уровня Intermediate
❖ Требуется: создать наиболее эффективную методику по параметрам:
❖ результативность
❖ удержание интереса/мотивации
❖ удовлетворённость учащегося
Решение
❖ В базовый курс из 60 уроков методистами вносятся экспериментальные изменения…
❖ …студенты разбиваются на статистически достоверные группы…
❖ …каждая получает курс с разными изменениями…
❖ … и начинаем всё считать.
Винтажные кривые
1" 2" 3" 4" 5" 6" 7" 8" 9" 10" 11"
May" 100%" 72%" 35%" 40%" 42%" 35%" 40%" 19%" 26%" 27%" 28%"
Jul" 100%" 83%" 67%" 56%" 50%" 31%" 31%" 28%" 36%"
Sep" 100%" 93%" 76%" 47%" 50%" 51%" 49%"
Dec" 91%" 100%" 84%" 66%" 27%"
Feb" 100%" 84%" 38%"
35%"
100%"
76%"
0%"
10%"
20%"
30%"
40%"
50%"
60%"
70%"
80%"
90%"
100%"
%"con
&nuing"stud
ents"
Number"of"month,"star&ng"from"the"reference"month"
%студентов в группе, продолжающих обучение,в месяцах
Примеры экспериментов
❖ “Плотность” однотипных материалов. Например, “напиши пропущенное слово”. Нужно ли чередовать внутри одного слайда, сколько должно быть на 1 урок.
❖ Сколько минут видео и аудио должно быть в типовом уроке, с какой частотой их ставить.
❖ Сколько нужно минут на “разогрев” ученика, в зависимости от срока обучения и уровня.
Важные нюансы
❖ Берем квантиль (отсекаем экстремум в группах)
❖ Учитываем сезонность
❖ Всегда запускаем эксперименты одновременно и по одному на группу в единицу времени
❖ Статистически достоверные данные - не раньше чем через 2 месяца
Внедрение - сила!
❖ Следовать методикам не на словах, а на деле. Контроль и обучение - созданы друг для друга.
❖ Инструкции и их усвояемость - тоже предмет для тестирования и улучшения.
Контролируем выполнение
❖ Уроки записываются.
❖ Учителя это знают.
❖ Операторы слушают урок и отмечают чек-лист
❖ Методисты обсуждают с учителями их выполнение инструкций
Как заставить это делать
❖ Профессиональные методисты.
❖ Мотивационная зарплата - основные KPI - это долгосрочная результативность, удовлетворённость учеников, срок их обучения.
❖ Наглядные показатели - методисты каждый день видят результаты своей работы.
Примеры экспериментов
❖ Релевантность материалов увлечениям ученика (из темы “спорт” выбираем “дайвинг” вместо “футбола”)
❖ Актуальный или абстрактный новостной видеорепортаж
❖ Юмористические дидактические материалы
Важные нюансы
❖ Оценка урока не всегда зависит от эксперимента, нужно учитывать оценки других учеников в тот же день и предыдущие оценки
❖ Статистически значимые оценки эксперимента начинаются со 100 ответов (25 учеников * 4 урока)
Обязательное тестирование
❖ Удовлетворенность не означает эффективность: декольте повышает первое и понижает второе.
Что мы получили*
Система, в которой люди ежедневно и статистически достоверно модифицируются учебные курсы.
Школе - для достижения лучших бизнес-результатов.
Ученикам - для максимально эффективного обучения.
* - это не конец, а настоящее продолженное время.
К чему это приведёт
Наступает эпоха стандартизированных персональных решений в образовании.
Почти наступила.
Top Related