Спецификация теста онлайн-курса: как проверить состав вопросов

Задайте назначение документа

Спецификация теста описывает, какие задания должны войти в проверку и на каких условиях она проводится. Она нужна до сборки окончательного набора вопросов: иначе удобные готовые задания начинают определять содержание экзамена. В подходе Cambridge к оцениванию точное описание назначения, содержания и условий связано с обоснованностью выводов по результатам.

Возьмём условный модуль для новых сотрудников поддержки. Проверяются три действия: определить адресата обращения, запросить недостающие данные и зафиксировать следующий шаг. Ученики отвечают по знакомой памятке. Самостоятельное ведение долгого диалога не входит в эту проверку: для него понадобится другая работа.

В отличие от согласования всей программы курса, здесь нас интересует состав одного теста. Результатом станет документ, по которому два автора смогут собрать варианты с одинаковым запланированным покрытием содержания.

Разделите содержание и требуемое действие

Сделаем таблицу с тремя строками по результатам модуля и двумя колонками: «узнать правило» и «применить правило в ситуации». В руководстве Техасского университета по сборке экзамена такая схема распределения вопросов рассматривается как exam blueprint. Она связывает количество заданий с содержанием и ожидаемыми действиями.

Для нашего примера зададим следующее распределение. Адресат обращения: один вопрос на узнавание и два на применение. Недостающие данные: один и три. Следующий шаг: один и два. Получается десять вопросов: три на узнавание и семь на применение. Это выбранная конструкция упражнения, а не рекомендуемая пропорция для любого курса.

Проверим смысл ячейки. Вопрос «Как называется поле с номером заказа?» относится к узнаванию. Ситуация «Клиент прислал имя и дату, но в системе несколько заказов; что нужно уточнить?» требует выбора действия по условию. Длинный текст сам по себе не делает вопрос практическим: решающим остаётся действие отвечающего.

Посчитайте вопросы, баллы и время отдельно

Назначим каждому вопросу один балл: максимум равен десяти. В таком варианте доли вопросов и баллов совпадают. Если позже за два сложных вопроса дать по два балла, максимум станет двенадцать. Число вопросов останется прежним, но влияние соответствующих результатов на итог увеличится. Такое изменение должно появиться в спецификации.

Для пробного расписания заложим две минуты на узнавание и четыре на применение. Получится 3 × 2 + 7 × 4 = 34 минуты. Добавим три минуты на инструкцию и три на проверку ответов: всего 40. Это предварительная оценка автора, которую ещё нужно проверить с участниками, а не измеренная длительность прохождения.

Запишите условия рядом: памяткой пользоваться можно, обсуждать ответы с другим человеком нельзя, все десять вопросов входят в попытку. Если время не является частью проверяемого навыка, отдельно подумайте, зачем нужен жёсткий лимит. Разные ограничения создают разные задачи даже при одинаковом тексте вопросов.

Сравните два варианта по каждой ячейке

Предположим, соавтор подготовил вариант B. В нём тоже десять вопросов, а количества по трём результатам сохранились: 3, 4 и 3. Однако внутри строк стоит другое распределение: 2 и 1; 2 и 2; 2 и 1. Теперь узнавание занимает шесть вопросов, применение — четыре.

Проверка только общего числа и сумм строк пропустила бы изменение. На обложке оба варианта выглядели бы одинаково, но второй требует заметно больше узнавания и меньше применения. По нашей спецификации такой набор пока не принимается. Нужно заменить три вопроса на задания в ситуациях, сохранив соответствующие результаты.

Совпадение матриц тоже не доказывает равную фактическую сложность. В одном варианте условие может быть прозрачным, в другом — содержать неоднозначность. Поэтому после проверки состава остаётся редактура каждого вопроса и пробное прохождение. Спецификация обнаруживает определённый класс расхождений, но не заменяет остальные проверки.

Привяжите задания к строкам документа

Дайте вопросам устойчивые коды, например A01–A10. Для каждого сохраните результат, тип действия, ключ, пояснение и версию. Если вопрос затрагивает две темы, укажите основной результат для подсчёта покрытия; дополнительную связь можно оставить отдельной заметкой. Иначе один вопрос случайно займёт два места в итоговой сумме.

Представим, что A04 посвящён запросу недостающих данных, а после правки требует назвать отдел. Его прежняя метка уже неверна. Автор должен либо вернуть исходную задачу, либо изменить распределение и объяснить причину. Коды позволяют заметить такую подмену до выдачи теста ученикам.

Для проверки формулировок используйте отдельный разбор вопросов учебного теста. Не пытайтесь включить полный текст каждого ответа в маленькую матрицу: храните её как указатель на проверяемые версии заданий.

Примите вариант и сохраните ограничения

Перед выпуском пройдите четыре проверки: все коды существуют, каждая ячейка заполнена в нужном количестве, максимум баллов совпадает с инструкцией, условия соответствуют запланированным. В нашем примере должны получиться строки 3/4/3, колонки 3/7, десять баллов и предварительный план на 40 минут.

Оставьте место для заметок пилота. Если участникам непонятна памятка или не хватает времени на чтение, зафиксируйте наблюдение и конкретную правку. Не объявляйте итоговую оценку доказательством всех профессиональных умений сотрудника: документ изначально ограничивал проверку тремя действиями.

Сохраните спецификацию вместе с комплектом для команды курса. После изменения программы найдите затронутые строки и версии вопросов. Так следующий редактор сможет объяснить, почему в тесте именно эти задания, и собрать новую форму без незаметного изменения учебной задачи.