Шкала SUS: как оценить удобство учебного кабинета курса

Зафиксируйте, какой интерфейс оценивается

SUS, System Usability Scale, — опросник из десяти пунктов для общей субъективной оценки удобства системы. Его исходное описание опубликовано Джоном Бруком. Для автора курса предметом проверки может стать учебный кабинет после работы с ним. Балл не показывает, освоил ли ученик навык, и не заменяет проверку выполненного задания.

Рассмотрим условный пилот: участник открывает кабинет, находит материалы модуля, скачивает шаблон и определяет, где увидеть замечания преподавателя. Перед опросом назовите границы оцениваемой системы. Если один человек оценивает кабинет, другой содержание лекций, а третий работу поддержки, ответы относятся к разным предметам, хотя в таблице стоят одинаковые числа.

Подготовьте карточку сессии: версия кабинета и материалов, устройство, опыт участника, выполненные задачи и помощь ведущего. Наблюдение за затруднениями организуйте по отдельному сценарию юзабилити-тестирования курса. В результате у команды будут и ответы опросника, и описание того, что происходило во время работы. Это позволяет исследовать причину оценки, не угадывая её по одному баллу.

Сохраните выбранную версию опросника

Используйте полную форму SUS с порядком пунктов и пятибалльными ответами. В классическом варианте положительные и отрицательные формулировки чередуются. Ниже приведён расчёт именно для этой версии. Если взять форму, где все утверждения положительные, и применить к ней обратный расчёт чётных пунктов, результат будет ошибочным.

В ретроспективной статье автора SUS разобраны варианты формулировок, переводы и ошибки подсчёта. Для русскоязычной группы заранее выберите документированную адаптацию и сохраните её источник. Самостоятельно сокращённый или свободно переведённый набор не стоит выдавать за неизменённую проверенную шкалу. Эта статья показывает процедуру расчёта, а не предлагает новый перевод десяти утверждений.

В форме отключите случайное перемешивание пунктов. Подписи вариантов ответа должны быть видны на телефоне. Проверьте тестовую выгрузку: первый столбец с ответами соответствует первому утверждению, второй — второму. Если сервис выгрузил ещё время отправки и адрес участника, они не должны случайно попасть в формулу как оценки.

Соберите ответы после использования кабинета

В исходной процедуре SUS заполняют после знакомства с системой, до общего обсуждения результатов. В нашем пилоте предложите форму сразу после выполнения подготовленных задач. Не объясняйте перед заполнением, почему команда выбрала именно такую навигацию: защита собственного решения может повлиять на ответ. Затем отдельно можно уточнить, что вызывало затруднения.

Запишите число приглашённых, число начавших сессию и число полученных полных анкет. Для примера пригласили шесть человек: четверо прислали все десять ответов, одна запись оказалась незавершённой, ещё один человек не участвовал. Эти случаи различаются и не должны превращаться в две нулевые оценки удобства.

Перед расчётом проверьте каждую ячейку: допустимы целые значения от одного до пяти. Пропуск, текстовая пометка и число шесть требуют разбора исходной записи. Не подставляйте среднее или тройку автоматически. В нашем учебном отчёте расчёт выполняется по четырём полным анкетам; правило отбора и две причины отсутствия результата указаны рядом.

Рассчитайте балл одной анкеты

Для нечётных пунктов 1, 3, 5, 7 и 9 вычтите единицу из ответа. Для чётных 2, 4, 6, 8 и 10 вычтите ответ из пяти. Сложите десять полученных вкладов и умножьте сумму на 2,5. Так исходные ответы переводятся в общий показатель от нуля до ста.

Возьмём вымышленную последовательность: 4, 2, 5, 1, 4, 2, 4, 2, 5, 1. После преобразования получаем 3, 3, 4, 4, 3, 3, 3, 3, 4, 4. Сумма равна 34, итоговый SUS — 85. Если просто сложить исходные ответы, чередование направлений потеряется и расчёт не будет соответствовать шкале.

Проверьте таблицу на крайних случаях. Ответы 5 на всех нечётных пунктах и 1 на всех чётных должны дать 100. Обратное сочетание даёт 0. Десять троек дают 50. Эти контрольные строки предназначены для проверки формулы, а не для включения в результаты пилотной группы. После проверки удалите их из диапазона отчёта или держите на отдельном листе.

Покажите результат вместе с составом группы

Предположим, четыре полные анкеты дали 85, 60, 70 и 75. Среднее равно 72,5: сумма 290 делится на четыре. Это условный набор для демонстрации арифметики, не данные учеников Umhub. В отчёте сохраните отдельные значения и число ответов. Среднее без исходного распределения скрывает, что один участник оценил систему заметно ниже остальных.

Значение 72,5 не означает, что 72,5 процента учеников довольны, и не равно доле успешно выполненных задач. Брук отдельно предупреждает о восприятии диапазона 0–100 как процентов. Для небольшой собственной проверки полезнее сопоставить оценки с наблюдениями, чем назначать универсальный проходной балл по случайной таблице из интернета.

Если участник с оценкой 60 не нашёл комментарий преподавателя, сохраните эту связь как повод исследовать маршрут. Она ещё не доказывает, что именно комментарий объясняет весь балл. Для усилий при отдельном обращении в поддержку используйте отдельный подход Customer Effort Score; не смешивайте его результат с SUS в одном среднем.

Повторите измерение после конкретного изменения

Выберите одно проверяемое улучшение, например пояснение места, где появляется обратная связь. Сохраните дату и версию. В следующей проверке используйте ту же форму, похожие задачи и явно опишите состав участников. Если в первый раз отвечали новички с телефона, а во второй — сотрудники школы с компьютера, рост среднего нельзя уверенно приписать изменённой инструкции.

Не ограничивайтесь новым числом: проверьте, находят ли люди нужный раздел и понимают ли следующий шаг. Для начала достаточно внешней формы и отдельной таблицы; встроенный автоматический расчёт SUS в Umhub здесь не предполагается. Результатом станет воспроизводимый отчёт о восприятии кабинета с понятной процедурой, проверенной арифметикой и конкретным решением для следующего пилота.