Метод разности разностей: как оценить изменение онлайн-курса

Сформулируйте вопрос об одном изменении

Представим небольшую школу, которая добавляет разбор образца перед самостоятельной практикой. Ей нужно понять, связано ли изменение с качеством решений. Рост среднего балла после занятия ещё не отвечает на этот вопрос: ученики могли одновременно получать другую помощь или осваивать материал самостоятельно. Метод разности разностей, также называемый difference-in-differences, сравнивает изменения показателя у двух групп за один период.

В руководстве Всемирного банка метод разобран в главе 6. Для базового расчёта нужны измерения до и после изменения в группе, которая его получила, и в группе сравнения. Причинное толкование требует дополнительных предпосылок. Ниже — самостоятельный учебный пример расчёта, а не результат исследования учеников Umhub.

Запишите узкий вопрос: «Как изменилась оценка решения практической задачи после добавления разбора образца относительно сопоставимой группы без этого разбора?» Не соединяйте в одном вмешательстве новую программу, другого куратора и увеличенное время на задание, если хотите обсуждать вклад именно образца. Состав изменения должен быть понятен до просмотра результатов.

Подготовьте две группы и одинаковое измерение

Для примера обозначим группу с новым разбором буквой А, группу с прежним форматом — Б. Обе выполняют сопоставимые работы до изменения и через одинаковый интервал после него. Оценка идёт по одной рубрике со шкалой от 0 до 100. Задания должны проверять одно умение с сопоставимой трудностью; простая замена номера работы этого не обеспечивает.

В рабочую таблицу внесите код участника, группу, даты, две оценки, версию задания и известные изменения условий. Сохраните причину попадания в группу: выбор ученика, расписание или решение организатора. Самостоятельный выбор формата может быть связан с мотивацией. Название «группа сравнения» не устраняет различия между людьми и не делает распределение случайным.

Если у А прошло две недели обучения, а у Б только три дня, сначала исправьте план наблюдений. Когортный анализ курса помогает не перепутать календарную дату с возрастом обучения. Для нынешней задачи нужны согласованные периоды и определение результата. Не подставляйте ноль вместо отсутствующей повторной работы: отметьте пропуск и покажите, сколько участников осталось в расчёте.

Рассчитайте разность разностей вручную

Возьмём искусственные средние: у А было 52 балла, стало 71; у Б было 58, стало 66. Сначала найдём изменение в каждой группе: 71 − 52 = 19 и 66 − 58 = 8. Затем вычтем второе из первого: 19 − 8 = 11 баллов. Это результат расчёта DiD для заданных четырёх чисел.

Тот же результат можно проверить другим порядком действий. Разница между группами после изменения равна 71 − 66 = 5, а до изменения — 52 − 58 = −6. Изменение разрыва составляет 5 − (−6) = 11. Если два способа не совпали, проверьте порядок вычитания и адреса ячеек. Здесь речь о баллах шкалы, а не о процентах улучшения.

При предположении одинакового изменения без нового разбора ожидаемый уровень А был бы 52 + 8 = 60. Фактически в нашей модели задано 71: разница опять 11. Число 60 — расчётный сценарий без изменения, который мы не наблюдаем у этих же участников одновременно. Его нельзя добавлять в выгрузку как реальную оценку контрольной работы.

Проверьте правдоподобие параллельных трендов

Ключевой вопрос: менялся бы результат А без нового разбора так же, как результат Б? Похожие исходные баллы этого не гарантируют; разные исходные уровни сами по себе также не запрещают сравнение. Авторы методической заметки Всемирного банка поясняют: похожая динамика до вмешательства укрепляет предположение, но не доказывает его после вмешательства.

Если сохранились более ранние сопоставимые работы, посмотрите на них до итогового вывода. Допустим, ещё раньше А имела 48, а Б — 54: обе прибавили по четыре балла к исходным 52 и 58. Это согласуется с параллельной предысторией в нашем примере. Если вместо 48 у А было 40, её предыдущий прирост равнялся бы двенадцати, а у Б — четырём. Такое расхождение требует объяснения.

Проверьте и события периода. Например, только группе А дали дополнительную консультацию заказчика. Тогда разность изменений может включать её влияние. Если в разбор приглашали исключительно после необычно низкого балла, отдельно рассмотрите регрессию к среднему. Само наличие четырёх средних не исправляет правило отбора.

Отделите точечный расчёт от убедительного вывода

Средние 52, 71, 58 и 66 ничего не сообщают о числе участников, разбросе индивидуальных оценок и пропусках. Поэтому по ним нельзя определить доверительный интервал или объявить результат статистически значимым. Для реального исследования сохраните исходные наблюдения и обсудите анализ со специалистом, особенно если формат назначался целым учебным группам.

Составьте список альтернативных объяснений: смена проверяющего, более лёгкая повторная работа, разная дополнительная практика, выход части учеников из наблюдения. Для каждого укажите, какие данные есть. Если подтверждается серьёзное нарушение сопоставимости, оставьте результат описательным. Не исправляйте неудобную картину удалением участников задним числом без заранее установленного правила.

Подготовьте короткую записку для команды

В записке нужны вопрос, описание изменения, причины выбора групп, даты, объёмы наблюдений, четыре средних, формула и ограничения. Для нашего примера корректно написать: «В условных данных разность изменений равна 11 баллам; причинная интерпретация зависит от предпосылок сравнения». Для настоящего курса добавьте результаты проверки этих предпосылок и оценку неопределённости.

Следующее решение может быть скромным: сохранить разбор образца в пилоте, уточнить рубрику и собрать сопоставимые наблюдения следующей группы. Это полезнее рекламного утверждения об эффективности, которого данные пока не поддерживают. Материалы и практику можно организовать в курсе Umhub; статистическую таблицу и исследовательский отчёт подготовьте отдельно. Описанный метод не предполагает встроенного автоматического расчёта причинного эффекта.