Как определить проходной балл теста онлайн-курса

Начните с решения, которое принимается по тесту

Число «70 процентов» само по себе не объясняет, чему должен научиться участник. Сначала запишите, что произойдёт после теста: ученик получит следующую тренировку, завершит модуль или будет приглашён на дополнительный разбор. Для каждой из этих задач цена ошибочного решения различается. Порог нельзя обосновать только привычной настройкой формы.

Возьмём условный курс для сотрудников поддержки. После модуля человек должен определить адресата обращения, заметить недостающие сведения и выбрать следующий шаг. Тест проверяет решения в коротких ситуациях; полноценный ответ клиенту оценивается отдельно. Поэтому хороший результат теста не будем автоматически называть готовностью самостоятельно вести любые обращения.

В руководстве ETS по установлению порогов проходной балл рассматривается как решение для определённой цели, требующее обоснования и последующей проверки. Ниже приведён редакционный учебный пример, а не готовый норматив для вашей школы.

Опишите участника на границе достаточного результата

Для нашего модуля составим короткое описание: участник разбирает обычное обращение по изученной памятке, замечает отсутствие номера заказа и выбирает, кому передать вопрос. При необычной ситуации он обращается за помощью. От него пока не требуется самостоятельно разрешать все спорные случаи или помнить редкие исключения.

Такое описание помогает избежать двух разных мысленных образов. Автор может представлять опытного руководителя поддержки, а куратор — человека, который только открыл первый урок. Их числа нельзя содержательно усреднять, пока они оценивают разные уровни подготовки. Дайте обоим одну памятку и одни условия выполнения теста.

Для сложной практической работы сначала нужны наблюдаемые критерии оценки. Порог по сумме тестовых ответов не исправит ситуацию, в которой команда ещё не договорилась, какое действие считает достаточным.

Получите оценки по отдельным вопросам

Один из подходов — метод Ангоффа. Эксперты оценивают вероятность правильного ответа на каждый вопрос для участника описанного пограничного уровня. По руководству ETS оценки сначала получают независимо, затем обсуждают основания расхождений; участник может пересмотреть своё число. Сумма вероятностей даёт ожидаемый балл, а оценки экспертов можно объединить средним.

В нашем примере три условных проверяющих рассматривают шесть вопросов с оценкой 0 или 1. Это маленький набор для демонстрации вычислений, не рекомендация ограничивать рабочую проверку шестью вопросами. Предположим, все трое уже согласовали описание участника и ключи ответов.

Оценки первого: 0,9; 0,8; 0,7; 0,6; 0,6; 0,5. Второго: 0,8; 0,8; 0,7; 0,7; 0,5; 0,5. Третьего: 0,9; 0,9; 0,8; 0,7; 0,6; 0,4. Эти числа придуманы для арифметического упражнения. Они не получены от реальной панели и не являются статистикой учеников.

Переведите расчёт в однозначное правило

Суммы трёх строк равны 4,1; 4,0 и 4,3. Их среднее: 12,4 / 3, то есть примерно 4,133 из шести. Отношение к максимуму составляет около 68,89%. Сохраните исходные числа вместе с результатом, чтобы другой редактор мог повторить расчёт.

Теперь возникает отдельное решение: участник получает только целые баллы. Если команда принимает правило «итог не меньше рассчитанного порога», минимальный проходящий результат будет 5 из 6. Это уже 83,33% доступных баллов. Разница возникла из-за грубой шкалы короткого теста, а не из-за неожиданного повышения требований экспертами.

Округление до четырёх даёт другое правило: пропускает результат ниже 4,133. Нельзя незаметно подставить его в настройку и сохранить прежнее объяснение. Для рабочего теста обсудите дискретность шкалы и последствия выбора; пример не устанавливает универсальный способ округления. Запишите рядом расчётный ориентир и фактически применяемое условие.

Проверьте пограничные решения на примерах

Подготовьте три контрольных результата: 3, 4 и 5 баллов. При выбранном выше условии первые два требуют следующего учебного действия, третий проходит. Если интерфейс работает с процентами, проверьте те же ответы в нём: округлённая подпись на экране не должна неожиданно менять решение. Это сценарий проверки вашей системы, а не утверждение о специальной функции Umhub.

Посмотрите и содержание ошибок. Два ученика с четырьмя баллами могли ошибиться в разных действиях: один не заметил недостающие данные, другой перепутал адресата. Одинаковый итог ещё не задаёт одинаковую обратную связь. Сохраните для каждого направления ошибку, нужную тренировку и условие повторной попытки.

После пилота отдельно рассчитывайте долю правильных ответов на задания. Наблюдаемая доля всей группы и экспертная вероятность для пограничного участника относятся к разным основаниям. Их расхождение требует разбора, а не автоматической замены одного другим.

Сохраните основания и границы применения

В карточке решения укажите версию теста, его назначение, описание достаточного уровня, правила подсчёта и повторной попытки. Для нашего примера отдельно отметьте: шесть вопросов, максимум шесть, среднее 4,133, рабочее условие от пяти. Ученик должен заранее понимать, какое действие потребуется после непрохождения.

Размер и состав экспертной работы зависят от задачи. Например, в исследовании ETS для iCritical Thinking использовались 23 специалиста и две независимые панели. Наши три придуманные строки не воспроизводят такую процедуру и не доказывают надёжность порога.

При замене вопросов не переносите старый процент без проверки. Возьмите новую версию, снова сопоставьте её с описанными действиями и зафиксируйте решение. Полезный итог работы — объяснимое правило для конкретного теста и понятный маршрут доработки ученика.