Эффект фрейминга: как проверить формулировки отчёта о пилоте курса

Отделите исходные данные от способа рассказа

Представим вымышленный пилот курса: проверены двадцать четыре работы, восемнадцать приняты с первой попытки, шесть требуют доработки. Фразы «75% работ уже приняты» и «25% работ ещё требуют доработки» описывают один набор, если статусы исчерпывают его и относятся к одной проверке. При этом они направляют внимание на разные стороны результата.

В работе Тверски и Канемана о фрейминге решений показаны изменения предпочтений при различном представлении одной задачи. Исследование не проводилось на нашем курсе. Далее предложен редакционный способ проверки отчёта, а не тест, позволяющий диагностировать психологический эффект у конкретного читателя.

Практическая цель — сделать так, чтобы за формулировкой можно было восстановить сведения и основания решения. Начните с сохранения исходной таблицы до написания убедительного заголовка для команды.

Проверьте общий знаменатель и границы события

Уточните, что означает единица наблюдения. В нашем примере считаются работы, а не люди, уроки или попытки. Если один человек прислал несколько работ, двадцать четыре записи нельзя автоматически назвать двадцатью четырьмя учениками. Укажите также дату проверки и версию задания.

Числа восемнадцать и шесть складываются в двадцать четыре. Доли равны 18/24 = 75% и 6/24 = 25%. Это делает два описания взаимодополняющими. Если есть ещё четыре непроверенные работы, исходный набор для отчёта о всех поступивших работах уже другой: двадцать восемь.

В таком расширенном наборе нельзя сохранить прежние проценты без пояснения. Можно написать: «Из 28 поступивших работ проверены 24; из проверенных 18 приняты и 6 требуют доработки». Эта запись длиннее, но сохраняет различие между результатом проверки и её охватом.

Найдите слова, которые добавляют неподтверждённый вывод

Сопоставьте две версии: «Уже 75% участников успешно освоили материал» и «Четверть группы не справилась с курсом». Обе выходят за пределы нашего исходника. Мы знаем статус работ по одному заданию, но не установили освоение всей программы и не оценили окончательный результат группы.

Подчеркните слова «участников», «освоили», «курс» и найдите основание каждого в данных. Если основания нет, верните точный предмет: работы, первая проверка, необходимость доработки. Отдельно решите, нужна ли эмоциональная оценка «уже» или «всего» для обсуждаемого решения.

Не называйте любую правку тона устранением фрейминга. Представление информации всегда имеет форму и порядок. Здесь мы проверяем равнозначность описаний и убираем неподтверждённое расширение смысла. Это уже полезный редакторский результат без заявления, что отчёт стал полностью свободен от влияния формулировок.

Покажите обе стороны и правило следующего шага

Подготовьте карточку: «Первая проверка задания 2, версия 3. Проверено 24 работы: 18 приняты, 6 требуют доработки. Для этих работ это 75% и 25% соответственно». Рядом добавьте сведения о причинах доработки, если они действительно зафиксированы проверяющим.

Дальше сформулируйте решение отдельно от описания. Допустим, команда заранее договорилась пересматривать инструкцию, если в нескольких работах повторяется одно и то же неверное понимание обязательного шага. Тогда нужно исследовать содержание шести работ, а не выбирать более приятный заголовок для процента.

Не придумывайте универсальный порог успешного пилота из наших чисел. Порог зависит от задачи проверки и последствий ошибок. Для сбора недостающих объяснений используйте вопросы после пилотного курса, сохраняя наблюдения отдельно от предположений команды о причинах.

Проверьте понимание карточки другим человеком

Дайте коллеге карточку без устного вступления и попросите назвать три вещи: что именно считали, какие результаты известны и каких сведений не хватает для решения. Если он говорит о доходимости всего курса, хотя данные относятся к одному заданию, найдите место, где текст допускает такую подмену.

Затем покажите исходную таблицу и сравните ответы. Такая проверка помогает обнаружить непонятные формулировки. Она не измеряет величину эффекта фрейминга и не заменяет эксперимент со случайным распределением участников, если ваша цель — исследовать причинное влияние двух вариантов текста.

Не спрашивайте только «стало убедительнее?». Для внутреннего отчёта полезнее вопрос «можно ли восстановить исходные результаты?». Убедительность без проверяемости может скрыть и проблему задания, и преждевременный положительный вывод.

Сохраните решение вместе с версией данных

Зафиксируйте карточку, дату среза, критерии принятия работ и принятое действие. Если часть работ после доработки получила новый статус, создайте следующий срез. Нельзя молча заменить первую попытку последней и продолжать сравнивать два отчёта как одинаковые события.

Отдельно проверяйте вопросы, которыми собираете новые данные. Например, числовая подсказка в вопросе о времени относится к другой задаче — эффекту якоря при оценке нагрузки курса. Корректное описание результатов не исправляет автоматически способ их получения.

Перед обновлением программы откройте конкретные работы, на которых основано решение. Итоговая карточка должна помогать находить следующее полезное действие: уточнить условие, добавить пример или провести новую проверку. Процент служит кратким описанием наблюдений, а готовность курса подтверждается содержательными основаниями.