Ретестовая надёжность: как проверить устойчивость результатов теста курса

Сначала определите, что должно оставаться устойчивым

Автор курса хочет понять, можно ли доверять баллам небольшого входного теста. Для этого важно различить две задачи: проверить устойчивость измерения при сопоставимых условиях или обнаружить изменение знаний после обучения. Одни и те же два прохождения не дают автоматически ответ на оба вопроса.

В руководстве ETS о надёжности тестовых баллов рассматривается согласованность результатов между проведениями, вариантами и проверяющими. Ретестовая проверка относится к повторным измерениям. В нашем случае интересует устойчивость балла у того же участника, если проверяемое умение и существенные условия не изменились.

Возьмём вымышленный тест на применение правил оформления делового сообщения. У него десять баллов, фиксированный ключ и одинаковая инструкция. Это редакционный пример исследования инструмента, а не проведённый эксперимент и не готовое доказательство качества теста.

Зафиксируйте условия двух проведений

Запишите версию заданий, правила подсчёта, разрешённые материалы, ограничение времени и способ предъявления. Сохраняйте одинаковую процедуру там, где это возможно. Если во второй раз появилась памятка с ответами, разницу уже нельзя объяснить только устойчивостью исходного теста.

Интервал выбирают с учётом проверяемого умения и возможных изменений. Слишком близкие попытки могут зависеть от памяти на задания; за более долгий срок человек может научиться новому или забыть часть материала. Универсальное число дней для любого авторского курса здесь назначать нельзя. Обоснование выбранного интервала должно попасть в протокол до сбора данных.

В исследовании ETS о повторных попытках участники, повторявшие тот же вариант сертификационного теста, демонстрировали тенденцию к большему приросту баллов, чем проходившие разные варианты. Это результат конкретного исследования, не величина поправки для нашего курса. Он показывает, почему повтор нельзя считать нейтральным событием без проверки условий.

Соберите пары результатов одного человека

В таблице нужны устойчивый код участника, первый балл, второй балл, даты и заметка об изменившихся условиях. Сопоставляйте попытки по коду. Если отдельно отсортировать два столбца по величине, можно искусственно создать красивую связь между результатами разных людей.

Для учебной демонстрации возьмём четыре пары: А — 2 и 3; Б — 4 и 5; В — 6 и 7; Г — 8 и 9. Все значения допустимы на нашей десятибалльной шкале. Это специально построенный маленький набор для объяснения ошибки интерпретации; он не обосновывает надёжность реального теста.

Если участник не пришёл во второй раз, оставьте пропуск и покажите число таких случаев отдельно. Ноль означал бы выполненную попытку без набранных баллов. Отбор только завершивших обе попытки тоже требует описания: они могут отличаться от тех, кто не вернулся.

Посмотрите на сдвиг, а не только на корреляцию

В нашем наборе второй балл каждого участника на единицу выше первого. Порядок людей полностью сохранился, коэффициент корреляции Пирсона равен 1. Однако ни одна пара баллов не совпадает. Среднее первого проведения равно 5, второго — 6, средняя разность — один балл.

При условном пороге «не меньше пяти» в первый раз проходят двое, во второй — трое: участник Б меняет категорию. Порог выбран только для иллюстрации последствия. Пример показывает, почему утверждение «корреляция максимальная, значит результат каждого неизменен» ошибочно.

В методической статье Ку и Ли различаются корреляция и согласие измерений, а выбор формы внутриклассовой корреляции ICC связывается с устройством исследования. Отсюда практический вопрос к анализу: нам достаточно сохранения порядка или важно совпадение абсолютных баллов? Ответ нужно определить заранее.

Выберите анализ под предполагаемое решение

Если по баллу назначают учебный маршрут, изучите и числовые расхождения, и переходы через границу решения. Для полноценного анализа устойчивости потребуется подходящий показатель и оценка его неопределённости. Не выбирайте из нескольких коэффициентов самый высокий только потому, что он лучше выглядит в отчёте.

При использовании ICC укажите модель, тип измерения, определение согласия, программу расчёта и доверительный интервал. Это следует из рекомендаций Ку и Ли по представлению результата. Четырёх искусственных пар из примера недостаточно для вывода о рабочем инструменте; состав и объём реальной выборки нужно обосновывать под задачу.

Не подменяйте ретестовую проверку альфой Кронбаха: внутренняя согласованность пунктов отвечает на другой вопрос. Если меняется вариант заданий, сохраните его спецификацию и отдельно обоснуйте сопоставимость форм. Одинаковое количество вопросов ещё не делает их равноценными.

Завершите проверку ограниченным выводом

В отчёте назовите группу, обе процедуры, интервал, число полных пар и пропусков. Покажите распределение разностей и выбранные показатели вместе с ограничениями. Для нашего учебного набора корректный итог прост: порядок сохранился, баллы сдвинулись на единицу, у одной пары изменилось решение по условному порогу.

По этим данным причина сдвига неизвестна. Возможные объяснения — запоминание, практика, различие условий или другие изменения — требуют дополнительных данных. Не исправляйте вторые баллы вычитанием единицы, если оснований для такой коррекции нет.

Если между проведениями ученики прошли модуль, оценивайте изменение результатов как отдельную задачу. Нельзя автоматически объявить прирост ни доказательством эффективности курса, ни ненадёжностью теста. Для автора полезный результат ретестовой проверки — понятные границы использования балла и список конкретных изменений процедуры, которые предстоит проверить.