Парадокс Симпсона: почему общий результат курса может обмануть

Задайте один вопрос и одинаковое правило результата

Представим школу, которая сравнивает два варианта практикума: А с короткими занятиями и Б с длинными встречами. Команда собирается выбрать формат следующего потока по доле завершивших работу. Но участники приходят с разной подготовкой, а в вариантах А и Б соотношение новичков и опытных людей неодинаково.

Сначала определим результат: работа принята по одной рубрике не позднее четырнадцатого дня после открытия практикума. В знаменатель входят все участники выбранной группы, получившие доступ и имеющие полное окно наблюдения. Уровень подготовки известен по входному заданию до начала занятий. Дальнейшие числа придуманы для объяснения, это не статистика реальной школы.

Если сроки у людей различаются, сначала нужен когортный анализ с одинаковым окном наблюдения. В нашем примере это условие уже выполнено. Ошибка возникает на следующем шаге — при объединении групп с разным составом.

Посчитайте доли отдельно для двух уровней

Запишем четыре строки. Сохраняйте одновременно число принятых работ и общее число участников: одних процентов для последующей проверки недостаточно.

• Формат А, новички: принято 10 работ из 100, доля 10%.

• Формат А, опытные: принято 90 работ из 100, доля 90%.

• Формат Б, новички: принята 1 работа из 20, доля 5%.

• Формат Б, опытные: принято 160 работ из 200, доля 80%.

Среди новичков наблюдаемая доля у А выше: 10% против 5%. Среди опытных она тоже выше: 90% против 80%. Пока это описание наших четырёх строк. Оно само по себе не устанавливает, что короткие занятия вызвали лучший результат.

Проверьте полноту разбиения: каждый участник относится ровно к одному уровню, неизвестные значения не потеряны. В реальных данных отдельная категория «уровень не определён» предпочтительнее незаметного удаления таких людей из отчёта.

Объедините записи и найдите обращение сравнения

Для формата А вместе получаем 100 принятых работ из 200, то есть 50%. Для Б — 161 из 220, приблизительно 73,18%. Общая доля теперь выше у Б, хотя внутри каждого уровня была выше у А. Такая смена направления сравнения при объединении данных известна как парадокс Симпсона.

Причина в устройстве нашего набора видна без сложной модели. В А опытные участники составляют половину группы. В Б их 200 из 220, около 90,91%. У опытных доля принятых работ высока в обоих форматах; их большой вес поднимает общий показатель Б.

Общую долю нельзя получать простым средним процентов подгрупп, если численности различаются. Для Б среднее 5% и 80% равно 42,5%, однако фактическая совокупная доля — 161/220. Это ответы на разные вопросы, а не две взаимозаменяемые формулы отчёта.

Проверьте смысл разбиения до выбора победителя

В оригинальной статье Эдварда Симпсона обсуждается, почему механическое объединение таблиц может давать неверную интерпретацию. Но из этого не следует, что любое разбиение автоматически лучше общей таблицы. Важны смысл признаков и вопрос, на который исследователь отвечает.

Входная подготовка выбрана здесь осмысленно: она измерена до практикума и помогает описать состав участников. Делить людей по признаку, который появился уже во время обучения, — другое решение, требующее отдельного обоснования. Не перебирайте десятки срезов только ради приятного результата.

При вопросе «сколько работ реально принято в каждом запуске» общие числа 100 и 161 полезны. При вопросе «какой формат эффективнее для похожих участников» одной общей доли недостаточно. Даже сравнение внутри уровней не устраняет различия мотивации, поддержки и условий набора.

Покажите одинаковый состав как отдельный расчёт

Для иллюстрации представим условную аудиторию, где новичков и опытных поровну. Если использовать наблюдаемые доли нашего примера с равными весами, получим для А 0,5 × 10% + 0,5 × 90% = 50%. Для Б — 0,5 × 5% + 0,5 × 80% = 42,5%.

Подпишите этот результат: «Расчёт при условном составе 50/50». Он помогает увидеть влияние весов, но не является реально наблюдавшимся итогом формата Б и не предсказывает следующий поток. Выбор равных весов сделан для объяснения, а не потому, что любая школа должна использовать именно их.

Если требуется изучить индивидуальные сочетания входного и итогового результата, дополните таблицу точечной диаграммой. Она отвечает на соседний вопрос и не заменяет проверку численностей и правил включения.

Зафиксируйте вывод и следующий сбор данных

В карточке решения сохраните четыре исходные строки, обе общие доли, распределение подготовки и условный расчёт с одинаковыми весами. Укажите дату среза, определение принятой работы и длительность наблюдения. Коллега должен суметь восстановить каждое число без устного объяснения автора.

Вывод для примера: «У Б выше общая доля, однако его аудитория существенно опытнее; внутри обоих заданных уровней доля выше у А. Причинное преимущество формата не установлено». Далее команда может заранее спланировать более сопоставимое сравнение, сохраняя единые задания и правила оценки.

Начните с одного решения о курсе. Полезный результат проверки — понимание, какую часть различия объясняет состав данных и чего пока нельзя утверждать, а не новый способ выбрать удобный процент.