Модель CIPP: как оценивать онлайн-курс до, во время и после запуска

Начните с решения, для которого нужна оценка

В руководстве Дэниела Стаффлбима по CIPP выделены оценка контекста, входных ресурсов и подходов, процесса и результатов: Context, Input, Process, Product. Модель предназначена для оценки программ и их улучшения. Эти направления можно использовать в зависимости от задачи; они не обязательно становятся четырьмя последовательными экзаменами.

Для небольшой школы сначала сформулируйте управленческий вопрос. В нашем вымышленном примере команда проверяет пилот курса по подготовке описаний товаров: повторять программу, изменить сопровождение или пересмотреть саму потребность? Решение будет принято после пилота, но часть данных нужно собрать ещё до первого урока.

Создайте короткую рабочую карту с колонками «вопрос», «источник», «когда получаем», «кто разбирает», «какое решение поддерживает». Не начинайте со списка всех доступных показателей платформы. Если число открытий страницы не влияет на обсуждаемое решение, оно может остаться дополнительным контекстом.

Проверьте контекст и саму потребность

В примере заказчик жалуется на ошибки в описаниях. До создания упражнений попросите несколько обезличенных образцов и уточните, какие ошибки мешают работе. Возможно, авторы не различают проверяемую характеристику и рекламное обещание. Но возможна и другая причина: в исходном справочнике противоречат друг другу размеры или состав товара.

Для первого случая курс может включать разбор и практику редактирования. Для второго требуется решение о качестве исходных данных. Добавление лекции не исправит неверный справочник. Зафиксируйте, какую часть проблемы программа действительно берёт на себя и какое внешнее условие должен обеспечить заказчик.

В карте оценки запишите конкретный вопрос: «Какие затруднения связаны с действиями автора, а какие с отсутствующей информацией?» Источниками станут образцы, объяснения редактора и разговор с участниками. Сохраняйте примеры, на которых основан вывод; одна общая жалоба руководителя не описывает опыт всей группы.

Сравните подходы и достаточность ресурсов

Input относится не только к перечню ресурсов, но и к выбору способа реализации. В нашем сценарии сравним самостоятельную программу с образцами и вариант с двумя проверками работы куратором. Для каждого определим, как участник получит обратную связь именно на различение характеристики и неподтверждённого обещания.

Проверим условную нагрузку. Для двенадцати учеников две проверки по пятнадцать минут составят 12 × 2 × 15 = 360 минут, то есть шесть часов. Если куратору выделено только четыре часа, в плане уже есть дефицит двух часов, даже без общих вопросов и организационной работы.

До старта нужно изменить размер группы, объём сопровождения или доступное время. Не оставляйте скрытый дефицит до итогового отчёта, где он превратится в объяснение задержек. Такой расчёт является иллюстрацией проверки выполнимости, а не нормативом времени проверки любого задания.

Наблюдайте, как программа проходит фактически

Process помогает сопоставить замысел с проведением. Сохраняйте даты выдачи материалов, фактические раунды обратной связи и существенные изменения условий. Не ограничивайтесь галочкой «урок опубликован»: для нашего варианта важно, получил ли участник предусмотренную проверку до следующей попытки.

Предположим, после первого задания команда решила заменить неясный пример. Отметьте, кто работал со старой версией, а кто с новой. Иначе различие ответов легко ошибочно объяснить подготовкой учеников. Журнал изменений нужен для понимания результата, а не для поиска виноватого в каждом отклонении.

Когда обнаружен существенный сбой, его можно исправлять во время пилота. При этом запишите причину и последствия решения. Например, перенос срока из-за задержки проверки меняет условия выполнения; это следует учитывать при сравнении с первоначальным планом.

Рассмотрите результаты и незапланированные последствия

Product шире одного среднего балла. В исходном руководстве внутри этого направления также рассматриваются охват нужной аудитории, полезность результата, его сохранение и возможность применения программы в других условиях. Для небольшого пилота выберите доступные вопросы и прямо обозначьте, какие ещё не проверены.

Нашим ближайшим свидетельством станет новое описание товара с указанием источников характеристик. Дополнительно можно выяснить, какие участники реально смогли использовать подход в своей работе. Если сведения прислали только некоторые ученики, вывод относится к ответившим; молчание остальных не подтверждает ни успех, ни провал.

Обратите внимание и на побочные последствия. Участник мог начать проверять сведения тщательнее, но теперь не укладывается в рабочий срок. Это повод разобраться в причинах и доступных инструментах. Для разделения впечатления, освоения и рабочего применения полезна модель Киркпатрика; она может дополнять эту оценку программы.

Сведите наблюдения к обоснованному решению

Подготовьте записку из четырёх коротких частей: что подтвердилось о потребности, насколько выполним выбранный подход, что произошло при проведении и какие результаты удалось наблюдать. Рядом с каждым выводом укажите источник и ограничение. Отдельно перечислите сведения, которых пока нет.

Для нашего сценария решение может звучать так: «Продолжить пилот после уточнения исходного справочника и увеличения времени куратора; проверить новые работы по прежним признакам». Это пример формы решения, не результат реального исследования. Если основная потребность не подтвердилась, допустимо пересмотреть программу, а не обязательно записывать дополнительные уроки.

Перенесите согласованные действия в план улучшений курса. Материалы обучения можно вести в Umhub, рабочую карту оценки — в отдельном документе. Данные прохождения помогают описать процесс, но не заменяют все четыре направления CIPP и не доказывают, что наблюдаемое изменение вызвано только курсом.