Ошибка выжившего: как не принять отзывы успешных выпускников за результат всего курса

Восстановите путь от участника до опубликованного отзыва

Представим курс для экспертов, которые учатся готовить первый вебинар. Доступ получили 40 человек, итоговую работу сдали 24, на просьбу рассказать о результате ответили 12. Из этих ответов команда выбрала для сайта 6 самых убедительных историй. Все числа в статье редакционные, а не показатели конкретной школы.

Каждый переход меняет состав наблюдаемой группы. На сайте видны шесть выбранных людей; первоначальная группа состояла из сорока. Если читатель или автор делает вывод о типичном результате всех участников только по этим историям, возникает ошибка отбора, которую в таком контексте обычно называют ошибкой выжившего.

Начертите цепочку из четырёх чисел и подпишите условия переходов. Это полезнее общей оговорки «результаты индивидуальны»: становится видно, на каком шаге исчезла информация и кто выбирал истории для публикации.

Разделите факт результата и его описание

Сдача итоговой работы, положительный ответ на вопрос и готовность дать публичный отзыв — разные события. Участник может успешно провести вебинар, но не ответить на письмо. Другой может тепло отзываться о преподавателе, хотя ещё не применял материал. Ни молчание, ни благодарность не заменяют проверку нужного результата.

Сначала задайте один предмет анализа: например, «подготовил и провёл пробный вебинар до контрольной даты». Затем укажите, откуда известен факт: запись события, выполненная работа или сообщение самого человека. Такие источники имеют разную проверяемость, поэтому их стоит различать в рабочей таблице.

В материале What Works Clearinghouse о выбытии объясняется, как потеря участников исходной выборки и отсутствующие данные могут создавать смещение. Документ посвящён исследованиям, включая рандомизированные сравнения. Здесь мы используем общий принцип проверки состава наблюдений; обычный опрос школы не становится из-за этого научным экспериментом.

Проверьте, что позволяет сказать имеющаяся доля

Допустим, из 12 ответивших десять сообщили, что провели пробный вебинар, а двое ответили, что не проводили. Можно написать: «10 из 12 ответивших сообщили о проведённом вебинаре». Доля внутри этой группы составляет примерно 83,3%. Перенести её на всех сорока участников без дополнительных сведений нельзя.

Для 28 неответивших результат пока неизвестен. Если считать сообщения десяти человек достаточным подтверждением выбранного события, его известный минимум в исходной группе равен 10 / 40 = 25%. Если каждый из остальных 28 тоже достиг результата, возможный максимум равен 38 / 40 = 95%: два известных отрицательных ответа сохраняются.

Это крайние арифметические границы при оговорённых условиях, а не оценка вероятности и не доверительный интервал. Большой разрыв показывает, насколько мало известно о всей группе. Он не даёт основания объявить молчание ни успехом, ни провалом.

Найдите, какой фильтр может менять картину

Посмотрите, кому отправляли приглашение к отзыву. Только сдавшим работу, только активным участникам чата или всем получившим доступ? Если приглашение получили лишь выпускники, повышение доли ответов среди них всё равно не вернёт сведения о тех, кто остановился раньше.

Отдельно проверьте редакционный отбор. Если из двенадцати ответов выбрали шесть положительных, подпись «отзывы участников» не означает, что показано распределение всех оценок. Сохраните полный набор ответов для внутреннего разбора, включая неудобные наблюдения, в рамках согласованных правил доступа к данным.

Для обсуждения удовлетворённости пригодится разбор NPS курса. Но даже правильно рассчитанный индекс не исправляет автоматически отбор людей, которым задали вопрос. Здесь задача начинается раньше формулы — с основания включить человека в наблюдение.

Соберите недостающие сведения одним понятным способом

Для следующего потока заранее назначьте одинаковый момент проверки и пригласите всю выбранную исходную группу. Спросите о конкретном действии, дате и препятствии. Возможность ответить «ещё не пробовал» помогает отделить отсутствие попытки от неудачной попытки.

Не требуйте объяснений только от тех, кто не завершил курс: это создаёт ещё один неравномерный фильтр. Используйте короткий нейтральный вопрос для всех, а дополнительный разговор предлагайте по ответу. Подготовить формулировки поможет анкета обратной связи после курса.

При повторном контакте сохраните исходное число приглашённых, новые ответы и дату. Не переписывайте старый отчёт так, будто полные сведения были доступны сразу. Отдельная версия позволяет понять, изменился результат обучения или только полнота наблюдения.

Сформулируйте вывод с видимыми ограничениями

Для нашего примера честная рабочая запись выглядит так: доступ получили 40 человек; ответили 12; десять сообщили о проведённом вебинаре; результат остальных 28 неизвестен. Шесть опубликованных историй — выбранные примеры, а не доказательство того, что все участники достигли аналогичного результата.

Следующее решение может быть вполне практичным: уточнить опыт остановившихся до первой репетиции и проверить доступность инструкции. Не обязательно ждать идеальной статистики, чтобы исправить обнаруженную техническую преграду. Однако объяснять ею все отсутствующие результаты пока нельзя.

Возьмите одну подборку отзывов собственного курса и восстановите цепочку отбора. Если какое-либо число неизвестно, так и запишите. Такая проверка помогает использовать сильные истории по назначению и одновременно видеть задачи, которые опыт самых успешных выпускников мог скрыть.