Дискриминативность тестовых заданий: как проверить вопрос онлайн-курса

На вопрос правильно ответила половина участников. Одного этого числа недостаточно, чтобы понять, согласуется ли вопрос с остальной проверкой. Возможно, правильный ответ чаще выбирают люди с высокими результатами по другим заданиям. Возможна и обратная ситуация. Для такого разбора полезна дискриминативность, но сначала нужно точно назвать используемый показатель и отделить вычисление от решения о качестве вопроса.

Выберите конкретное определение показателя

В руководстве Вашингтонского университета по анализу заданий описана корреляция ответа на вопрос с суммой баллов по всем остальным вопросам. Для ответа, закодированного числом 0 или 1, это точечно-бисериальная корреляция. Проверяемый вопрос исключается из суммы, с которой его сравнивают. Ниже используем именно такой вариант, а не разность процентов между двумя выделенными группами.

Это другая характеристика, чем доля правильных ответов. Два вопроса могут иметь одинаковую долю, но различную связь с общим результатом. Коэффициент сам по себе не устанавливает, проверяет ли задание нужную учебную цель. Он помогает выбрать вопрос для дальнейшего разбора вместе с условием, ключом и объяснениями участников.

Подготовьте сопоставимые пары чисел

Для учебного расчёта возьмём шесть условных участников и тест с ответами 0 или 1. В столбце B запишем балл за проверяемый вопрос: 0, 0, 0, 1, 1, 1. В столбце C — сумму баллов каждого из тех же людей по остальным вопросам: 2, 3, 4, 6, 7, 8. Каждая строка содержит одну пару, порядок участников в столбцах совпадает.

Это специально небольшой искусственный набор для проверки механики, а не достаточная выборка для вывода о реальном тесте. Для рабочего разбора заранее задайте версию вопросов и попытку каждого участника. Не смешивайте первоначальный ответ с повторным после просмотра ключа. Если балл по остальным заданиям ещё не рассчитан, сначала завершите проверку и только затем собирайте пары. Случайно пустая ячейка не должна превращаться в оценку ученика.

Вычислите корреляцию и проверьте результат

Разместите данные в B2:B7 и C2:C7. Для английской версии Excel формула имеет вид =CORREL(B2:B7,C2:C7). Название функции и разделитель аргументов зависят от локализации. В документации Microsoft о CORREL приведены назначение и синтаксис функции. Полученный результат для нашего набора — примерно 0,926. Доля правильных ответов при этом равна 3 / 6, то есть 50%.

Положительный знак здесь согласуется с устройством примера: единицы находятся у участников с большими суммами по другим вопросам. Сверьте диапазоны и попробуйте восстановить это наблюдение по исходным строкам. Не записывайте в паспорт вопроса число без названия формулы: другой отчёт может использовать иной способ расчёта дискриминативности, и одинаковые значения будут означать разные вещи.

Разберите отрицательный знак на той же выборке

Создайте копию таблицы и замените столбец ответов на 1, 1, 1, 0, 0, 0, сохранив остальные баллы. Корреляция станет примерно −0,926, хотя доля правильных останется 50%. Теперь единицы находятся у людей с меньшим результатом по остальным заданиям. Пример показывает, почему частота правильного ответа не заменяет анализ связи между показателями.

В реальных данных отрицательный знак — повод проверить ключ, формулировку и содержание вопроса. Университетское руководство отдельно приводит ошибочный ключ как возможное объяснение. Не меняйте ключ только ради положительного коэффициента: сначала решите задание независимо и проверьте основания каждого ответа. Если вопрос оценивает иной навык, чем большая часть теста, содержательная причина расхождения также требует обсуждения.

Отделите отсутствие расчёта от нулевой связи

Если все шесть ответов заменить единицами, в столбце B исчезнет разброс. CORREL вернёт ошибку деления на ноль, а не доказательство нулевой дискриминативности. Аналогичная проблема возникнет, если одинаковы все суммы в C. Microsoft также указывает, что нулевые значения учитываются, а пустые ячейки и некоторые другие типы значений обрабатываются иначе. Перед расчётом проверяйте состав обеих колонок.

Сохраните в отчёте причину отсутствия показателя. Формулировка «Все участники ответили правильно; корреляция не определена» гораздо точнее, чем автоматически подставленный ноль. Для нашего маленького набора полезно вручную проверить каждую строку. В большом наборе подготовьте отдельную проверку пропущенных пар и числа включённых участников, чтобы диапазоны не менялись незаметно между вопросами.

Примите решение по содержанию

Вернитесь к учебной цели и посмотрите, какое действие требовал вопрос. Для обязательного базового правила почти все правильные ответы после обучения могут быть ожидаемым результатом. Не удаляйте нужную проверку только потому, что она слабо разделяет группу. Для подозрительных вариантов пригодится содержательный разбор дистракторов, а для неоднозначного условия — новая проба с объяснением хода решения.

В паспорте задания сохраните версию, правило выбора попыток, формулу, число участников и принятое действие. Например: «Перепроверить ключ; текст пока не менять» или «Уточнить условие и проверить новую версию отдельно». Расчёт выполняется во внешней таблице; автоматическая психометрическая диагностика Umhub здесь не предполагается. Его результат полезен, когда помогает сформулировать следующую проверку вопроса и улучшить обучение.