Дистракторы в тестах онлайн-курса: как превратить неверные ответы в полезную проверку

Хороший вопрос не становится сложнее только потому, что к правильному ответу добавили три случайных числа. Варианты должны помогать проверить нужное различие. Если ученик выбирает ответ по длине фразы или по очевидной нелепости остальных, тест сообщает мало о понимании темы. Общий порядок проектирования описан в статье о вопросах для теста курса. Здесь подробно разберём один условный вопрос и работу с его ошибочными вариантами.

Начните с правильного правила решения

В курсе по аналитике проверяем вычисление конверсии из посещения страницы в заявку. Условие: за период страницу посетили 200 уникальных людей, из них 30 оставили хотя бы одну заявку. Требуется определить долю посетителей, которые оставили заявку. Правильное вычисление — 30 / 200 × 100 = 15%. Определения посетителя и заявки даны в условии, чтобы не проверять догадки о скрытой методике.

В рекомендациях Carnegie Mellon University подчёркивается необходимость одного наилучшего ответа и правдоподобных отвлекающих вариантов, связанных с распространёнными ошибками. Для нашего вопроса сначала запишем правильное объяснение. Если авторы сами расходятся в трактовке знаменателя, добавление вариантов проблему не устранит: нужно уточнить измеряемое событие и формулировку.

Создайте карту ошибочных действий

Первый возможный дистрактор — 30%. Он получается, если человек принимает число оставивших заявку за готовый процент. Второй — около 17,6%: ученик делит 30 на 170, то есть использует в знаменателе тех, кто заявку не оставил. Эти числа возникают из разных действий, поэтому для каждого можно подготовить отдельное объяснение.

Не называйте такие ошибки доказанно типичными именно для вашей аудитории, пока не увидели её решения. Пока это авторские гипотезы. Если в реальных работах обнаружился иной способ вычисления, пересмотрите набор. Для простого учебного вопроса полезнее два обоснованных неверных варианта, чем несколько искусственных чисел ради одинакового оформления всего теста. Число вариантов согласуйте с возможностями инструмента и содержанием проверяемой задачи.

Уберите подсказки из формы ответа

Представьте варианты в одинаковых единицах и с сопоставимым оформлением. Не снабжайте только правильный ответ длинным уточнением или аккуратным знаком процента. Если требуется округление, укажите правило в условии. В нашем примере допустимо попросить округлить до одного знака после запятой и показать все варианты в таком виде.

Проверьте вопрос отдельно от объяснения урока. Может ли человек выбрать ответ, просто заметив совпадение слов или исключив явно странную фразу? Попросите коллегу попробовать решить его без знания темы и объяснить выбор. Такая проба не измеряет качество обучения, но помогает обнаружить техническую подсказку. Затем дайте вопрос тому, кто знает содержание: он должен подтвердить однозначность условия и отсутствие второго обоснованного ответа.

Напишите обратную связь для каждой ошибки

Для выбора 30% объяснение возвращает к различию между количеством людей и их долей. Для выбора 17,6% оно указывает на неверный знаменатель: вопрос относится ко всем посетителям, а не только к тем, кто не отправил заявку. После пояснения предложите новый пример с другими числами и тем же принципом, чтобы ученик выполнил вычисление самостоятельно.

Не ограничивайтесь сообщением «неверно, повторите урок». Обратная связь должна показывать, какое действие проверить. При этом один выбор не раскрывает мысли человека полностью: он мог ошибиться в вычислении, нажать не ту кнопку или угадать. Если результат важен для дальнейшего маршрута, попросите кратко объяснить решение. Приёмы содержательного разбора можно связать со статьёй о работе с ошибками ученика.

Посмотрите распределение ответов на пилоте

Допустим, из десяти участников шесть выбрали верный вариант, трое — 30%, один — 17,6%. Это условный пример, а не статистика Umhub. Сохраните абсолютные числа и прочитайте объяснения участников. Три выбора одного ответа — повод проверить конкретное смешение количества и процента, но недостаточное основание объявлять проблему универсальной для всех учеников.

Если дистрактор никто не выбрал, он может быть слабым, а может отражать ошибку, которой у этой группы нет. Если сильные участники регулярно выбирают неверный вариант и приводят разумное обоснование, сначала проверьте ключ и условие. Не усложняйте вопрос автоматически ради более низкого процента правильных ответов. Учебная задача состоит в проверке понимания, а не в производстве ошибок нужной частоты.

Храните паспорт вопроса и его версии

Для каждого задания оставьте проверяемое действие, правильное правило, основания дистракторов, обратную связь и результаты пилота. После изменения формулировки сохраните новую версию: ответы на два заметно разных условия нельзя без пояснения объединять в одну статистику. Это особенно полезно, когда тест поддерживают несколько кураторов.

В курсе Umhub такой вопрос может стать частью практики по выбранной теме; способ предъявления и проверки согласуйте с используемым форматом задания. Не подменяйте полноценную работу итоговым баллом короткого теста. Если курс учит готовить аналитический отчёт, вычисление конверсии проверяет лишь одно необходимое действие. Полезный дистрактор помогает найти место для дальнейшего объяснения и новой самостоятельной попытки.