Когортный анализ курса: как сравнить группы с разными датами старта

Представим, что школа изменила вводное задание и хочет понять, чаще ли ученики стали завершать первый модуль. Сравнить общий процент завершивших у двух наборов недостаточно: одна группа учится месяц, другая — три дня. Когортный подход помогает задать общий момент старта и смотреть на одинаковый возраст обучения. Он дополняет базовые показатели прохождения курса, уточняя, кого и в какой момент сравнивать.

Назначьте событие начала отсчёта

Когорта объединяет участников по выбранному общему признаку. Для нашего вопроса удобно группировать по неделе начала обучения, но сначала нужно определить само начало. Оплата, выдача доступа и первая учебная попытка — разные события. Если смешать их, часть учеников получит фактически меньше времени на выполнение задания при одинаковой подписи строки.

Выберите одно доступное для проверки событие и запишите правило. Например, отсчёт начинается при выдаче доступа к первому модулю. Укажите часовой пояс и источник времени. При переносах и повторном зачислении заранее решите, какое событие учитывать. Не меняйте правило после того, как увидели неудобный результат. Если школа не хранит нужные даты, сначала организуйте их сбор; восстановленные по памяти значения не дадут точного сравнения.

Разделите накопленный результат и активность

Для первого отчёта возьмём показатель «завершил модуль в течение первых семи суток». Это накопленный результат к контрольному сроку. Другой возможный показатель — «выполнял учебные действия на второй неделе». Он описывает активность внутри интервала. Человек может завершить модуль на третий день и не проявлять активности во вторую неделю: противоречия здесь нет.

В документации Яндекс Метрики о когортах описаны группы по первому визиту и временные окна относительно него. Для учебной таблицы мы самостоятельно применяем принцип относительного времени к событию старта курса. Визиты сайта не равны освоению материала. Установленный счётчик не создаёт автоматически достоверную таблицу учебных завершений без соответствующих данных и определений.

Рассчитайте одинаковое окно на примере

Рассмотрим условные группы, в каждой из которых доступ выдали одновременно. В первой 20 участников, и 8 завершили модуль за первые семь суток. Получается 8 / 20 × 100 = 40%. Во второй 25 участников, из них 15 уложились в такое же окно: 60%. Разница составляет 20 процентных пунктов, а не 20 процентов относительного прироста.

Третья группа состоит из 18 человек, но с её старта прошло только трое суток. Её результат за семь суток пока обозначаем «нет полного окна наблюдения». Это не ноль. Если участники одной когорты начинают в разные дни, дождитесь полного окна для всех включённых людей либо явно показывайте отдельную зрелую подгруппу и её знаменатель. Скрытое исключение поздних участников делает таблицу обманчивой.

Соберите таблицу, которую можно перепроверить

В рабочей записи нужны идентификатор участника, дата старта, версия курса и дата первого подтверждённого завершения модуля. В сводке — название когорты, её размер, контрольное окно, число завершивших в срок и доля. Добавьте дату формирования отчёта. Используйте минимально необходимые идентификаторы и ограничьте доступ к индивидуальным данным.

Проверьте несколько строк вручную. Один участник не должен учитываться дважды из-за повторной попытки, а завершение после установленного срока не должно попадать в раннее окно. Отдельно найдите пропущенные даты и исправьте источник, если это возможно. Пометка «данных нет» означает недостаток наблюдений; она отличается от подтверждённого отсутствия завершения у человека с полным сроком наблюдения.

Не приписывайте разницу одному изменению

Даже выровненное время не делает две группы одинаковыми. Могли измениться входной уровень, источник привлечения, объём помощи куратора или условия доступа. Запишите эти различия рядом с таблицей. На небольшой группе один человек заметно меняет долю, поэтому показывайте абсолютные числа вместе с процентами.

Если после нового вводного задания результат вырос, это повод исследовать механизм: ученики раньше начинали работу, лучше понимали инструкцию или получали более быструю помощь? Посмотрите переходы между шагами и соберите конкретные затруднения. Для последующей управляемой проверки пригодится план улучшений курса. Историческое сравнение само по себе не доказывает, что единственной причиной роста стало изменение текста задания.

Превратите наблюдение в учебное решение

Выберите одно действие по результатам разбора. Например, если обе зрелые когорты задерживаются до первой практики, проверьте её доступность и понятность условия. Назначьте дату следующего отчёта, когда новая группа получит полный срок. Сохраните прежнюю формулу расчёта, чтобы не сравнивать разные определения под одним названием.

Для небольшого курса Umhub такую аналитическую задачу можно начать с отдельно подготовленной таблицы на основе проверенных учебных данных. Описанный отчёт не является обещанием встроенного автоматического когортного модуля. Сначала достаточно одного результата и двух зрелых групп. Польза появляется, когда команда может объяснить каждое число, увидеть ограничение сравнения и выбрать конкретное улучшение обучения.