Регрессия к среднему: как не завысить результат онлайн-курса

Сначала проверьте правило отбора участников

Представим, что автор курса приглашает на дополнительный разбор только людей с низким результатом входной работы. После разбора средний балл этой группы повышается. В отчёте возникает соблазн написать: «Дополнительное занятие устранило отставание». Однако группа была выделена по необычно низкому первому измерению. На него могли повлиять и подготовка, и временные обстоятельства выполнения работы.

Статистический механизм разбирают Bland и Altman в заметке о регрессии к среднему. Если связанные измерения не совпадают идеально, отбор крайних значений способен сопровождаться менее крайним средним результатом при следующем измерении. Это не утверждение, что каждый участник обязательно улучшится, и не доказательство бесполезности занятий. Для автора курса главное следствие: направление изменения отобранной группы само по себе не устанавливает его причину.

Постройте пример без обучения

Зададим искусственную модель, все условия которой известны. Постоянная составляющая результата равна 70 баллам. На каждой из двух попыток к ней независимо прибавляется одно из трёх отклонений: минус 10, ноль или плюс 10, с одинаковой вероятностью. Между попытками никакого обучения нет. Возможные оценки — 60, 70 и 80. Это учебная конструкция, а не данные учеников Umhub и не реалистичная модель всех причин ошибки теста.

Перечислим девять равновероятных пар «первая попытка → вторая». Каждая строка ниже объединяет три возможных исхода:

• При первой оценке 60 вторая может быть 60, 70 или 80.

• При первой оценке 70 вторая может быть 60, 70 или 80.

• При первой оценке 80 вторая может быть 60, 70 или 80.

Среди всех девяти исходов средняя первая оценка равна 70, средняя вторая — тоже 70. Теперь оставим только случаи с первой оценкой 60. Их три; среднее второй попытки равно (60 + 70 + 80) / 3 = 70. Получился прирост 10 баллов без изменения постоянной составляющей. При отборе первой оценки 80 произойдёт обратное: средняя вторая оценка будет ниже на 10. Мы посчитали ожидание по всем исходам модели; конкретная небольшая группа не обязана воспроизвести эти числа.

Не переносите искусственную поправку на реальные оценки

Из расчёта нельзя вывести правило «вычитать десять баллов из любого улучшения». Число возникло из выбранных нами условий. В реальном курсе постоянная составляющая неизвестна, ошибки могут быть зависимыми, содержание попыток может различаться, а обучение — действительно помогать. Единственная задача модели — показать, что наблюдаемый рост совместим с отсутствием учебного эффекта при определённом механизме отбора.

Проверьте, что ещё изменилось между попытками: время на выполнение, доступ к подсказкам, состав вопросов, критерии проверяющего. Если второй тест легче, это отдельная проблема сопоставимости. Если участник запомнил ответы, это ещё одно возможное объяснение роста. Оценку устойчивости измерения рассматривает материал про ретестовую надёжность. Здесь же основной вопрос — почему анализируется именно группа с крайним первым результатом.

Сохраните данные до выбора красивого результата

Подготовьте таблицу с обезличенным идентификатором, первой и второй оценкой, датами, вариантом работы и признаком приглашения на разбор. Отдельно запишите правило включения в группу. Например: «все участники с результатом ниже заранее установленного порога». Не меняйте порог после просмотра повторных оценок, чтобы получить более убедительный рост. Сохраните и данные тех, кто не пришёл на повторную работу, без подстановки вымышленных баллов.

Сравните описание всей исходной группы с описанием отобранной части. Если улучшились только повторно ответившие, честно укажите их число и долю среди приглашённых. Это не решит задачу причинности, но убережёт от ещё одной подмены — выдачи результатов активных участников за результаты всех. Не объединяйте разные входные уровни без проверки состава: дополнительный риск разобран на примере парадокса Симпсона.

Разделите описание изменения и проверку эффекта

Для рабочего отчёта достаточно точной фразы: «У повторно выполнивших задание участников, отобранных по низкому входному баллу, средняя оценка выросла; по этим данным нельзя отделить влияние занятия от отбора и других изменений». Она сообщает полезное наблюдение и сохраняет границы вывода. Обсуждение различных проявлений механизма есть во второй заметке Bland и Altman.

Если нужно оценить именно эффект дополнительного формата, заранее спроектируйте сравнение с одинаковым правилом отбора и сопоставимыми условиями измерения. При допустимом случайном распределении участников между вариантами различие изменений можно исследовать содержательнее, чем рост одной выбранной группы. Размер выборки, пропуски и неопределённость всё равно требуют анализа. Повторная входная диагностика помогает изучить устойчивость результата, но сама по себе не превращает наблюдение в эксперимент.

Используйте вывод для следующего учебного решения

Отделите решение помочь участнику от решения рекламировать эффективность метода. Низкий балл может быть достаточным поводом предложить дополнительную практику, даже когда причинный эффект её формата ещё не измерен. После практики разберите конкретные действия: какие ошибки исчезли, где человек объяснил основание ответа, смог ли решить новую задачу. Не сводите педагогическую обратную связь к одной разности средних.

Для материалов курса сохраните условный расчёт отдельно от реальной выгрузки, чтобы девять искусственных исходов не попали в отчёт об учениках. Подготовьте краткую заметку с правилом отбора, числом наблюдений, ограничениями и следующим вопросом исследования. Umhub можно использовать для организации уроков и практики; описанная статистическая проверка выполняется отдельно и не предполагает встроенного автоматического расчёта учебного эффекта.