Метод Дельфи для программы онлайн-курса: как собрать и сопоставить экспертные оценки

Определите спорное решение

Представим короткий курс для начинающих руководителей проектов. Команда выбирает, что включить в обязательную практику: постановку задачи, оценку сроков, работу с изменениями или сложную настройку программного инструмента. Времени недостаточно для всех тем. Один опытный эксперт настаивает на инструменте, другие считают важнее работу с изменениями.

Метод Дельфи использует повторные независимые оценки, анонимность ответов для других участников и организованную обратную связь между раундами. Его назначение и варианты разобраны в руководстве RAND по проведению экспертных панелей. Метод помогает увидеть согласие и устойчивые разногласия; единодушие не гарантируется.

Сформулируйте вопрос уже списка тем: «Какие действия новичок должен уметь выполнить самостоятельно после четырёхнедельного курса?» Не спрашивайте просто, нравится ли экспертам программа. В первом случае можно обсуждать наблюдаемый результат и необходимые условия, во втором легко получить несопоставимые личные предпочтения.

Подготовьте участников и правила

Для учебного примера пригласим шесть специалистов с разным опытом: практиков, руководителя начинающих сотрудников и преподавателей, которые проверяют их работы. Это условный состав, выбранный для сценария, а не универсальная норма размера панели. До начала поясните, почему нужен опыт каждого и какую часть программы он способен оценить.

Подготовьте одинаковую справку: аудитория, входные навыки, продолжительность, итоговое задание и ограничения времени. Согласуйте два раунда и дату завершения. В нашем редакционном процессе спорные пункты после второго раунда передаются на дополнительную проверку, а не переголосовываются бесконечно ради согласия.

Организатор хранит соответствие кодов и участников отдельно. В сводке другим экспертам показываются распределения и обезличенные аргументы. В маленькой профессиональной группе авторство иногда угадывается по описанной ситуации; убирайте ненужные детали и честно объясняйте пределы анонимности. Это отдельная экспертная работа до обучения, а не открытая фасилитация учебной встречи.

Соберите первый раунд независимо

Для каждого действия предложите оценить необходимость в обязательной части по шкале от 1 до 5 и коротко обосновать ответ. Отдельно оставьте вариант «Недостаточно информации». Он не равен низкой оценке. Попросите назвать рабочую ситуацию, в которой действие необходимо новичку, и возможную предпосылку, которой пока нет в программе.

До сбора договоритесь о рабочем правиле этого проекта: пункт становится кандидатом в обязательную часть, если не менее пяти из шести экспертов выбирают 4 или 5. Дополнительно команда рассматривает содержательные возражения. Это редакционный порог для примера, а не доказанный стандарт качества курса и не правило самого метода.

Не рассылайте промежуточные ответы по мере поступления: поздние участники тогда начнут реагировать на уже видимое большинство. Уточнение непонятного вопроса передайте всем одинаково, чтобы оценки относились к одному условию.

Верните распределение и основания

Допустим, пункт «Согласовать изменение задачи» получил оценки 5, 5, 4, 4, 2, 2. Медиана равна 4, но лишь четыре из шести ответов входят в диапазон 4–5. Наш рабочий порог не выполнен. Одно среднее или медианное значение скрывает важное расхождение.

Покажите обе позиции: сторонники считают действие частым в работе новичка; возражающие полагают, что переговоры должен вести руководитель. Не сокращайте вторую позицию до «эксперты против». В следующем раунде предложите тем же участникам подтвердить или изменить оценку после чтения сводки и пояснить основание.

Если выяснилось, что люди представляли разные обязанности новичка, уточните формулировку. Например, «Зафиксировать запрос на изменение и передать руководителю последствия для срока». Пометьте это как новую редакцию пункта: изменение оценок после переписывания нельзя выдавать за чистое сближение мнений о прежнем вопросе.

Разберите второй раунд без давления

Для неизменённого пункта условные оценки второго раунда составили 5, 5, 4, 4, 4, 2. Теперь пять из шести экспертов поставили 4–5, медиана осталась равной 4. Порог выполнен, однако одно возражение сохранилось. Запишите его и проверьте, не указывает ли оно на важное ограничение аудитории.

Если кто-то не ответил, укажите реальное число участников второго раунда. Нельзя автоматически сохранить знаменатель шесть или считать отсутствие ответа согласием. В полном методическом руководстве RAND отдельно рассматриваются прекращение участия, устойчивость оценок и правила интерпретации разногласий.

Решение о программе остаётся у команды курса. Экспертное согласие не подтверждает ни спрос покупателей, ни способность учеников выполнить упражнение. Для этого нужны другие данные и проба задания с подходящей аудиторией.

Переведите вывод в проверяемую программу

Сохраните версии вопросов, состав панели по типам опыта, число ответов, распределения двух раундов и основания решений. Для включённого действия подготовьте упражнение, критерий результата и необходимое объяснение. Связь элементов удобно проверить через карту курса и зависимости уроков.

Для спорного пункта запланируйте маленькую пробу: сможет ли новичок заметить изменение срока и корректно передать его руководителю? После неё сопоставьте фактическое затруднение с экспертными предположениями. Полезный итог метода — документированные основания выбора содержания и список оставшихся вопросов, которые команда умеет проверять, а не формальная отметка «программа одобрена экспертами».