Трудность тестовых заданий в онлайн-курсе: как посчитать и интерпретировать результат

После пилота автор видит: на один вопрос правильно ответили почти все, на другой — меньше половины. Возникает желание усложнить первый и переписать второй. До таких решений полезно проверить, что измерял каждый вопрос, кому он был предъявлен и какие попытки вошли в расчёт. Иначе различие между заданиями может отражать состав данных, а не сложность содержания.

Зафиксируйте определение показателя

Для вопроса с оценкой 0 или 1 возьмём p как число правильных ответов, делённое на число участников в выбранном наборе предъявлений. В разборе анализа заданий Вашингтонского университета такой показатель описывается как доля правильных ответов: чем он выше, тем легче вопрос для данной группы. Его можно записывать долей от 0 до 1 или процентом.

Термин «трудность» легко вводит в заблуждение: значение p = 0,8 не означает, что вопрос труднее, чем при p = 0,3. В отчёте подпишите показатель прямо: «Доля правильных ответов». Если используете другую формулу, например долю ошибок, укажите её отдельно и не сравнивайте числа как один и тот же индекс. Для заданий с частичными баллами нужен иной расчёт и явное описание шкалы.

Выберите попытки и версию вопроса

Для первого разбора удобно взять первую самостоятельную попытку каждого участника в одинаковых условиях. Не объединяйте исходные ответы с повторными после показа ключа: они отвечают на другой вопрос об обучении. Укажите дату среза, версию условия и правило включения. Если один человек отправил форму дважды из-за ошибки связи, выясните, какая запись является его первой содержательной попыткой.

Сохраните по каждому предъявлению код участника, ответ, признак правильности и сведения о техническом пропуске. Не собирайте больше персональной информации, чем нужно для проверки. Сами варианты ответа ещё не раскрывают ход мысли: участник мог угадать или неверно прочитать слово. Для содержательной доработки понадобятся объяснения решений и проверка дистракторов, а не только итоговый столбец нулей и единиц.

Разберите пропуски на числовом примере

Предположим, вопрос увидели двадцать участников: шестнадцать ответили правильно, двое неправильно, двое оставили его без ответа. Если по заранее принятому правилу пропуск предъявленного вопроса считается неуспешной попыткой, p = 16 / 20 = 0,8, то есть 80%. Это условные учебные данные, а не результаты пользователей Umhub.

Если посчитать только тех, кто дал непустой ответ, получится 16 / 18, примерно 88,9%. Это уже другой показатель: доля правильных среди ответивших. Не выбирайте знаменатель после просмотра результата ради более красивого процента. Если выяснилось, что два человека вообще не получили вопрос из-за технического сбоя, отметьте исключение отдельно и сохраните причину. Техническое отсутствие предъявления и сознательный пропуск нельзя незаметно смешивать.

Сопоставьте число с целью проверки

Для обязательного базового действия высокая доля правильных ответов после обучения может быть ожидаемой. Автору курса важно, чтобы ученики освоили правило, а не чтобы каждый вопрос обязательно разделял группу на сильных и слабых. Для входной диагностики то же значение имеет другой смысл: возможно, соответствующее объяснение большинству уже знакомо. Начинайте интерпретацию с назначения вопроса.

Низкий p тоже допускает несколько причин: трудное содержание, неясное условие, ошибочный ключ или нехватка предшествующей практики. Откройте несколько работ и проверьте каждую версию. Если участники с обоснованным решением регулярно не совпадают с ключом, сначала перепроверьте сам ключ. Не объявляйте тему неосвоенной только на основании одной автоматической отметки.

Не превращайте небольшой пилот в точный рейтинг

В группе из двадцати человек один изменившийся ответ сдвигает показатель на пять процентных пунктов. В группе из десяти — на десять. Поэтому небольшая разница между вопросами ещё не даёт устойчивого порядка сложности. Показывайте рядом количество правильных ответов и знаменатель, а не только процент с несколькими знаками после запятой.

Университетское руководство отдельно подчёркивает зависимость анализа от группы и условий; статистика вопроса не тождественна его валидности. Для своей редакционной работы сохраните осторожный вывод: «Нужно проверить неоднозначность второго условия», а не «Вопрос объективно плохой». Если решение влияет на существенную итоговую оценку, используйте несколько свидетельств выполнения, включая полноценную учебную работу по критериям.

Сохраните решение в паспорте задания

К вопросу приложите формулу, набор попыток, версию текста, числа правильных и пропущенных ответов, а также причину изменения. Например: «В двадцати предъявлениях два технических пропуска; уточнить загрузку страницы, содержание пока не менять». Для другого вопроса выводом может стать исправление термина и новая проверка на следующем пилоте.

После редакторской правки не объединяйте результаты старого и нового условия без пояснения. В Umhub храните рядом с рабочими материалами команды описание версии и основания решения; специальный автоматический расчёт такого индекса здесь не предполагается. Полезен не сам процент, а возможность восстановить, откуда он получен и какое проверяемое улучшение курса из него следует.