Александр Ларьяновский, Skyeng

Как контролировать качество услуги

когда не видишь ни исполнителя, ни клиента.

Стандартная услуга

❖ Каждый раз то же самое качество

❖ Предсказуемая цена и время

❖ Не зависит от исполнителя.

В образовании такого пока нет. Нигде.

Всё банально

❖ Четкие инструкции

❖ Непрерывный контроль

Как делались методики раньше

❖ Долгая обратная связь от гипотезы до результата;

❖ Дорого или сложно делаются эксперименты;

❖ Большинство экспериментов можно было делать только последовательно.

Дожили

❖ Онлайн-образование стало массовой услугой и становится “Next Big Thing”

❖ Вычислительные мощности позволяют обрабатывать данные “на лету”

Создаём эффективное

❖ Дано: 600 студентов, курс General English. Из них 200 - уровня Intermediate

❖ Требуется: создать наиболее эффективную методику по параметрам:

❖ результативность

❖ удержание интереса/мотивации

❖ удовлетворённость учащегося

Решение

❖ В базовый курс из 60 уроков методистами вносятся экспериментальные изменения…

❖ …студенты разбиваются на статистически достоверные группы…

❖ …каждая получает курс с разными изменениями…

❖ … и начинаем всё считать.

Что мы измеряем

Винтажные кривые

1" 2" 3" 4" 5" 6" 7" 8" 9" 10" 11"

May" 100%" 72%" 35%" 40%" 42%" 35%" 40%" 19%" 26%" 27%" 28%"

Jul" 100%" 83%" 67%" 56%" 50%" 31%" 31%" 28%" 36%"

Sep" 100%" 93%" 76%" 47%" 50%" 51%" 49%"

Dec" 91%" 100%" 84%" 66%" 27%"

Feb" 100%" 84%" 38%"

35%"

100%"

76%"

0%"

10%"

20%"

30%"

40%"

50%"

60%"

70%"

80%"

90%"

100%"

%"con

&nuing"stud

ents"

Number"of"month,"star&ng"from"the"reference"month"

%студентов в группе, продолжающих обучение,в месяцах

Примеры экспериментов

❖ “Плотность” однотипных материалов. Например, “напиши пропущенное слово”. Нужно ли чередовать внутри одного слайда, сколько должно быть на 1 урок.

❖ Сколько минут видео и аудио должно быть в типовом уроке, с какой частотой их ставить.

❖ Сколько нужно минут на “разогрев” ученика, в зависимости от срока обучения и уровня.

Важные нюансы

❖ Берем квантиль (отсекаем экстремум в группах)

❖ Учитываем сезонность

❖ Всегда запускаем эксперименты одновременно и по одному на группу в единицу времени

❖ Статистически достоверные данные - не раньше чем через 2 месяца

Teacher’s books

Внедрение - сила!

❖ Следовать методикам не на словах, а на деле. Контроль и обучение - созданы друг для друга.

❖ Инструкции и их усвояемость - тоже предмет для тестирования и улучшения.

Учим это делать

Учим это делать

Контролируем выполнение

❖ Уроки записываются.

❖ Учителя это знают.

❖ Операторы слушают урок и отмечают чек-лист

❖ Методисты обсуждают с учителями их выполнение инструкций

Как заставить это делать

❖ Профессиональные методисты.

❖ Мотивационная зарплата - основные KPI - это долгосрочная результативность, удовлетворённость учеников, срок их обучения.

❖ Наглядные показатели - методисты каждый день видят результаты своей работы.

Удовлетворенность учеников

Удовлетворённость уроком

Быстрая обратная связь - оценка сразу после урока по электронной почте.

Оценка удовлетворенности

0

2,5

5

7,5

10

Номер урока

1 2 3 4 5 6 7 8

ученик среднее

Примеры экспериментов

❖ Релевантность материалов увлечениям ученика (из темы “спорт” выбираем “дайвинг” вместо “футбола”)

❖ Актуальный или абстрактный новостной видеорепортаж

❖ Юмористические дидактические материалы

Важные нюансы

❖ Оценка урока не всегда зависит от эксперимента, нужно учитывать оценки других учеников в тот же день и предыдущие оценки

❖ Статистически значимые оценки эксперимента начинаются со 100 ответов (25 учеников * 4 урока)

Обязательное тестирование

❖ Удовлетворенность не означает эффективность: декольте повышает первое и понижает второе.

Что мы получили*

Система, в которой люди ежедневно и статистически достоверно модифицируются учебные курсы.

Школе - для достижения лучших бизнес-результатов.

Ученикам - для максимально эффективного обучения.

* - это не конец, а настоящее продолженное время.

К чему это приведёт

Наступает эпоха стандартизированных персональных решений в образовании.

Почти наступила.

Итого.

1. Всё уже придумано. Главное - делать.

2. Контролировать можно то, что документировано.

3. Контроль должен быть заложен в систему изначально.

4. Чего нельзя измерить, того не существует.