Оценка тренинга пример как написать

По окончании тренинга важно оценить его эффективность. Это значит, что нужно понять, достигнуты ли поставленные цели, проконтролировать качество проведения тренинга, рассчитать эффективность затрат на обучение и определить его практическую ценность — насколько успешно новые знания и навыки применяются на рабочем месте.

Результаты оценки важны для совершенствования программы конкретного тренинга, а также для дальнейшего планирования профессионального обучения сотрудников и развития системы обучения в компании в целом. Если до начала тренинга не разработать четких методик и критериев его оценки, скорее всего, он окажется неэффективным. Методики и критерии готовит тренер или тренинг-менеджер (нередко привлекаются и непосредственные руководители будущих участников); с ними обязательно нужно ознакомить и сотрудников, направляемых на тренинг, и их непосредственных руководителей.

На сегодняшний день исходной для построения многих систем оценки эффективности обучения является модель Киркпатрика ( Donald Kirkpatrick ), предложенная автором еще в 1959 году. Исследователь выделяет четыре уровня оценки:

1. Реакций.
2. Усвоения.
3. Поведения.
4. Результатов.

Рассмотрим подробнее каждый из уровней.

1. Уровень реакций. Мотивация к обучению является критическим фактором его успешности — люди учатся лучше, когда они позитивно относятся к целям и к самой ситуации обучения, а также к тренеру. На этом уровне фиксируются субъективные мнения, суждения и оценки участников тренинга. Оцениваться может как тренинг в целом, так и его отдельные части или аспекты.

Чтобы увидеть по возможности объективную картину сильных и слабых сторон тренинга, необходимо использовать методы получения обратной связи, которые отвечают следующим критериям:

• дают полезную для анализа информацию;
• предоставляют участникам свободу высказывания;
• не являются излишне подробными (чтобы у слушателей не исчезло желание принимать участие в оценочных процедурах).

Наиболее распространенный способ получения обратной связи от группы — анкетирование . Его популярность объясняется минимальными временными затратами и низкой стоимостью; как правило, заполнение анкеты (или опросного листа) не вызывает трудностей ни у участников, ни у организаторов тренинга.

Менее известны такие способы фиксации оценок участников, как ведение дневников , написание эссе , проведение группового обсуждения или итогового занятия по завершении тренинга. Информация, полученная с помощью таких методов, менее структурирована и стандартизована, ее сложнее обрабатывать (особенно при большом количестве участников). Эти методы не только более трудоемки, но и требуют квалифицированной интерпретации собранных данных.

Главное, что нас интересует на этом уровне (при любых способах оценки) — эмоциональное состояние участников, интерес, внимание, их мнение о качестве тренинга (полезность, уровень сложности материала и упражнений).

Для изучения субъективных оценок участников можно предложить несколько апробированных автором методик (их имеет смысл использовать в основном сразу по завершении тренинга):

• опрос;
• анкетирование;
• коллаж;
• мишень или «дартс».

Опрос. Проводится в форме интервью, группового обсуждения, дискуссии. При групповом обсуждении тренер, как правило, задает схему/структуру отзыва — указывает, на какие моменты нужно обратить внимание при оценке. Например: какое самое яркое впечатление от тренинга у меня осталось; что полезного я для себя вынес; какие рекомендации могу дать себе и группе; основной вывод, который я сделал за эти дни, и т. п. Затем участники по очереди высказывают свое мнение. Подобная оценка тренинга делается сразу по завершении обучения.

Анкетирование. Участники заполняют заранее подготовленную оценочную анкету (образцы анкет см. в приложении ), в которую включен стандартизованный набор вопросов. С помощью анкеты тренер и тренинг-менеджер могут оперативно оценить такие параметры, как уровень организации тренинга, первое впечатление, вызванный интерес, качество содержания, полезность для практической деятельности приобретенных знаний и навыков и т. п. Эта информация также поможет принять решение о необходимости дальнейшего обучения внутреннего тренера или о продолжении сотрудничества с внешним.

Заполнять анкеты можно:

• по окончании каждого модуля или тренингового дня (это так называемый летучий контроль, он позволяет тонко «настраивать» программу на конкретную группу, «на ходу» оценивать эффективность новых упражнений, тренинговых материалов и методов);
• сразу по окончании тренинга (участники смогут оценить и программу тренинга в целом, и качество работы тренера);
• через несколько дней после его завершения (в таком случае участники лучше смогут оценить практическую ценность полученных знаний и умений).

Собирает анкеты тренер, тренинг-менеджер, или сами участники могут выслать их по электронной почте.

Отзывы участников при обсуждении тренинга часто бывают очень эмоциональны, но они дают достаточно фрагментарную информацию. Данные анкет, как правило, оказываются более рациональными и содержательными.

Коллаж. Во время проведения тренинга делаются фотографии, которые нужно оперативно напечатать. Участникам тренинга предлагается, используя эти снимки, иллюстрации из старых журналов, открытки и другие визуальные материалы, сделать коллаж. Тему для него задает тренер, например: «Этого я никогда не забуду…», «Это очень важно и полезно для моей профессиональной работы…» или «Что я узнал и чему научился…».

При работе над коллажем большую группу лучше разбить на несколько подгрупп, каждая из которых выполняет коллективные работы на одну-две предложенные темы (в зависимости от временных ресурсов). После завершения работы подгруппы меняются коллажами и комментируют полученные материалы. Можно устроить и общий «вернисаж». Тональность работ, выбор фрагментов, их эмоциональная окраска, общий настрой комментариев — все это качественные оценки, которые фиксируются и анализируются в дальнейшем.

Чем полезна такая форма оценки? Во-первых, в процессе работы участники самостоятельно вспоминают весь тренинг и тем самым закрепляют полученные знания, вырабатывают к ним осознанное отношение, понимают их практическую ценность.

Во-вторых, поскольку интерпретация коллажа — это проективная методика, анализ работы «не авторами» позволяет вскрыть некоторые нюансы, которые группа (или конкретный участник) не осознает.

Мишень («дартс»). Это хороший способ визуализировать оценки (и индивидуальные, и особенно — групповые). Оценочная шкала изображается на доске, флипчарте или листе ватмана в виде концентрических кругов — «мишени». Каждому кругу мишени сопоставлен балл оценки. Мишень разбивается на секторы, представляющие все рассматриваемые параметры: удовлетворенность формой подачи материала, качество преподавания, практичность материала, доступность для понимания, информативность, актуальность и т. д. Каждый участник оценивает тренинг, отмечая фломастером на мишени баллы, соответствующие его оценке каждого параметра. Можно нарисовать мишени отдельно для каждого из параметров или использовать настоящую мишень для игры в «дартс», на которую участники смогут наклеивать цветные стикеры.

Такая методика дает возможность получить наглядную и достаточно «объемную» характеристику проведенного занятия. Организаторы и тренер тоже видят (в буквальном смысле слова) насколько тренинговая группа достигла цели — попала «в яблочко» или в «молоко».

Барометр. Это хорошая методика, позволяющая оценить общую групповую «погоду» на тренинге, оперативно «измерить» какой-нибудь из его аспектов: качество, практичность, доступность материала и т. д. В этой методике используется градуированная шкала, стилизованная под всем известный гидрометеорологический прибор (отсюда и название — «барометр»). Слушатели подходят к рисунку (на доске, флипчарте или отдельном плакате) и по очереди цветными фломастерами отмечают свои оценки.

Последние две методики групповой экспресс-оценки достаточно эффективны тогда, когда на подведение итогов остается немного времени.

2. Уровень усвоения. При разработке программы тренинга ставятся реальные прагматичные цели — помочь людям повысить результативность деятельности на рабочем месте или освоить новые технологии. Поэтому на уровне усвоения оценивается, насколько усовершенствовались знания, развились умения и изменились установки участников, что они смогут использовать на своем рабочем месте.

Оценить произошедшие изменения можно только в сравнении с исходным уровнем знаний, умений и установок (или с принятыми корпоративными стандартами). Поэтому так важно еще на этапе подготовки программы тренинга параллельно разработать и четкие методики измерения результатов обучения:

• Какие знания приобрели участники?
• Какие умения были улучшены (или какие новые сформированы)?
• Какие установки изменились?

На этом этапе традиционно используются такие методы оценки, как профессиональные и поведенческие тесты, тематические опросники, контрольные упражнения, наблюдение и т. д. Оценивать прогресс участников в результате обучения необходимо индивидуально, прогресс общегрупповой работы (при необходимости) оценивается дополнительно — например, если тренинг проводился для проектной группы.

Результаты оценки на этом этапе на самом деле важнее для тренера, чем для участников, поскольку он может понять насколько эффективными оказались выбранные им стратегия и методы обучения.

3. Уровень поведения. Цель тренинга — помочь участникам усовершенствовать знания и навыки для того, чтобы лучше выполнять свою работу (на уровне корпоративных стандартов) или освоить новую технологию. Говоря о «поведении», Киркпатрик прежде всего имел в виду результаты поведения на рабочем месте , то есть — результативность. Поэтому на данном уровне важно оценить практические результаты тренинга: используются/реализуются ли приобретенные участниками знания, умения и установки в рабочих ситуациях (в отличие от учебных) и насколько эффективно они используются в рамках профессиональной деятельности.

Оценить изменения рабочего поведения «на глазок» — «иногда использует», «стал работать лучше/быстрее» и т. д., конечно, можно. Часто этим руководство и ограничивается, хотя такой «метод» мало что дает для оценки эффективности обучения. Но полезную информацию можно получить, только используя четкие методы измерения. Как правило, они разрабатываются для каждого конкретного тренинга еще на этапе планирования его программы.

Для сравнения нового рабочего поведения с прежним (или с установленными корпоративными стандартами) используются как формальные методы (квалификационный экзамен, аттестация, выполнение контрольных заданий на рабочем месте), так и неформальные (структурированное наблюдение, ведение рабочих дневников и т. д.).

Обучение сотрудников имеет смысл для организации лишь в том случае, если они не просто применяют новые знания и умения, но с их помощью работают быстрее, качественнее, результативнее. Поэтому этот вид оценки проводится только спустя некоторое время после завершения тренинга, когда участники смогут попрактиковаться в применении новых знаний и умений на рабочем месте. Этот вид оценки может проводить и тренер и тренинг-менеджер, но к нему обязательно привлекают непосредственных руководителей участников тренинга.

4. Уровень результатов. Компания вкладывает деньги в обучение своих сотрудников для того, чтобы провести определенные изменения: повысить производительность труда, снизить издержки, освоить новую продукцию, внедрить новое оборудование и технологии и т. п. Поэтому необходимо оценить влияние результатов обучения на деятельность всей организации. Это также финальная оценка тренинга в целом.

На практике достаточно трудно изолированно оценить влияние программы обучения (тем более отдельного тренинга) на изменение деятельности крупной организации. Скорее можно установить связь между обучением и организационным развитием. Тем не менее, многие организации проводят такую форму оценки, используя для этого различные бизнес-показатели (и конечные, и промежуточные): увеличение продаж, рост прибыли, сокращение издержек, увеличение доли рынка, повышение качества; снижение процента брака, количества рекламаций или жалоб клиентов, текучести кадров, числа конфликтов; повышение удовлетворенности сотрудников; формирование новых эффективных команд и т. д.

Сбор такого рода информации требует серьезной аналитической работы, времени, финансовых ресурсов и скоординированных усилий многих подразделений компании. Вряд ли стоит проводить ее для типового тренинга продаж, адресованного сотрудникам небольшого магазина, да и в крупной компании имеет смысл оценивать бизнес-эффект целостных программ обучения . Такая задача под силу корпоративному учебному центру или университету.

Итак, по мере того как мы продвигаемся с первого по четвертый уровень, процесс оценки становится все более сложным и затратным — с точки зрения и временных затрат, и финансовых. Тем не менее, его результаты исключительно важны. Чаще всего эффективность тренинга (да и многих крупных корпоративных программ обучения) оценивается только на первом уровне. Это наиболее простой вид оценки, предоставляющий наименее ценную информацию (как для тренера, так и для компании). Измерение результатов на четвертом уровне — влияние на деятельность организации в целом — дает наиболее ценную информацию, но оно значительно труднее, поэтому используется реже.

Оценка на первых трех уровнях модели Киркпатрика: реакции, усвоения и поведения является своего рода «мягким» ( soft ) измерением, в то время как менеджеры, принимающие решение о проведении тренингов и обучающих программ, предпочитают более «жесткие» ( hard ) финансовые показатели, такие как возврат на инвестиции, прибыль и т. п.

«Мягкая» оценка позволяет оценить успешность и полезность тренинга, она необходима и тренеру для усовершенствования программ, и тренинг-менеджеру — для планирования дальнейших программ обучения, и линейным менеджерам — для оценки квалификации сотрудников и определения новых рабочих заданий, и топ-менеджерам — для планирования развития человеческих ресурсов компании.

Оценить влияние результатов программы обучения на повышение эффективности организации в целом можно по различным направлениям:

• финансы ( ROI );
• клиенты (маркетинговые показатели);
• внутренние аспекты (усовершенствование бизнес-процессов);
• обучение (трансформации корпоративной культуры, поддерживающие новые ценности — изменения, инновации, личностный рост).

В последнее время с повышением роли клиентоориентированности компаний топ-менеджеры все больше внимания обращают на такие параметры, как удовлетворенность или лояльность клиентов, рассматривая их как своего рода «мягкий» вариант коэффициента возврата на инвестиции ( soft-ROI ).

При оценке эффективности тренинга необходимо иметь в виду еще один аспект этого вопроса. Хорошее первоначальное обучение позволяет команде достаточно быстро достичь приемлемого уровня выполнения работы. Однако через некоторое время производственные показатели нередко начинают ухудшаться. Часто у сотрудников, прошедших обучение, возникает чувство нереализованности своих возможностей и недовольство собой.

Причины таких негативных явлений, как правило, не связаны с тренингом, они лежат в сфере управления. Если на старом месте работы ничего не изменилось (ни организация деятельности, ни формы постановки задач, ни сферы ответственности, ни система стимулирования), работники не смогут применить там новые знания и навыки. Все это вызывает чувство неудовольствия. Готовность компании воспользоваться результатами обучения также во многом зависит от организационного климата. Нередко и само направление на обучение дает работникам ложные надежды, связанные с улучшением условий работы, продвижением по службе и т. д. Если после тренинга никаких изменений в карьере не происходит, сотрудник начинает негативно относиться не только к своим руководителям, но и к тем, кто его обучал.

Разового тренинга недостаточно для того, чтобы добиться устойчивых изменений в профессиональной деятельности или поведении сотрудников. Долгосрочный стабильный эффект дает только систематическое и системное обучение. Повысить эффективность тренинга могут специальные программы закрепления навыков (посттренингового сопровождения), помогающие отслеживать проявление новых форм поведения в реальных рабочих ситуациях, проводящие «точечное» дообучение тех, кому это необходимо.

Хорошо организованное внутреннее обучение позволяет провести диагностику сильных и слабых сторон компании, увидеть ее скрытые резервы и нереализованный пока потенциал сотрудников. Грамотно выстроенная система внутрикорпоративного обучения (разработанная с учетом целей организации в целом, задач конкретного подразделения и потребностей личности) напрямую влияет на успешность работы всей компании, улучшает ее финансовые результаты, наращивает конкурентоспособность. Она повышает мотивацию сотрудников, эффективность индивидуальной и групповой работы; позволяет новичкам ускорить адаптацию в организации, узнать специфику работы; зачисленным в кадровый резерв дает возможность быстрее приобрести навыки и знания, необходимые для продвижения.

Базарова Гули, Менеджер по персоналу

6.4.1. Оценочные анкеты по итогам тренинга

Данный метод оценки предполагает заполнение участниками анкеты обратной связи по итогам тренинга в целом или отдельных его частей (например, по завершении каждого дня).

В сообществе тренеров и HR-менеджеров к применению анкет обратной связи как инструмента оценки результатов сложилось неоднозначное отношение. Это объясняется тем, что в случае неправильного применения такие анкеты становятся всего лишь отражением степени эмоциональной удовлетворенности участников – иными словами, не более чем оценкой того, насколько им понравилось, как они провели время, и насколько хорошо их развлекал тренер. Сторонники этой точки зрения не верят, что правильное применение этого метода может дать хороший результат. Тем не менее анкеты обратной связи остаются одним из основных и наиболее распространенных инструментов оценки результативности бизнес-тренингов.

Тренер, который осознает опасность несерьезного отношения участников к такого рода анкетам, может учесть это при применении анкет и повлиять на отношение участников, настроив их на деловой лад. Чтобы повысить эффективность анкет обратной связи как метода оценки, тренер должен сделать следующее:

1. Грамотно сформулировать вопросы. Анкета обратной связи должна быть, во-первых, короткой (обычно на одну, максимум – две страницы); во-вторых – информативной для тренера с точки зрения получения материала для анализа того, насколько участники изменили свою деятельность. Обычно анкета включает три блока вопросов:

– закрытые вопросы-шкалы;

– открытые вопросы, направленные на оценку практического эффекта тренинга для участников;

– открытые вопросы, позволяющие участникам высказать обратную связь по содержанию, процессу, психологической атмосфере и любым другим аспектам проведенного тренинга.

2. Убедить участников, что заполнение анкеты – часть программы тренинга, эти сведения необходимы для ее улучшения, это их вклад в достижение бизнес-целей всей компании. Надо рассказать, каковы задачи оценки и насколько они значимы для тренера, попросить участников потратить некоторое время на заполнение анкеты, особенно в случаях, когда вопросы требуют развернутого письменного ответа. Если вы знаете конкретные примеры, когда обратная связь привела к значительным изменениям тренинговых программ или обучающих мероприятий, приведите их и обсудите с участниками.

3. Создавать свои анкеты таким образом, чтобы они соответствовали:

– специфическим задачам тренинга. Анкета может содержать общие вопросы («Что вы измените в своей практической деятельности по результатам тренинга?») или более конкретные, непосредственно связанные с темой тренинга («Какие способы вы будете использовать, чтобы преодолеть “барьер секретаря” и выйти на лицо, принимающее решение в компании клиента?»);

– интересам участников. Во-первых, анкета должна быть составлена так, чтобы участники были уверены, что ее заполнение в их интересах, и у них не возникало впечатления, будто их мнением пытаются манипулировать. Во-вторых, участники должны иметь возможность высказать обратную связь по любому аспекту тренинга, который представляется им важным. Например, в анкету может быть включен вопрос, сформулированный в максимально общем виде: «Ваши комментарии, предложения и пожелания по итогам проведенного тренинга». В-третьих, само собой, анкета должна быть составлена на языке, понятном участникам;

– способам использования результатов оценки. Если тренеру важно знать, насколько реализованы задачи тренинга, с помощью вопросов анкеты он будет выяснять, что усвоено участниками. Если ему важно получить обратную связь о том, насколько проведенный тренинг соответствует аудитории и ее ожиданиям, вопросы будут направлены на оценку отношения участников к методам тренинга и работе тренера. Если актуальна задача планирования следующего тренинга или целой программы, вопросы будут направлены на выявление ожиданий участников от последующих тренингов.

На ниже приведен пример краткой анкеты по итогам тренинга. Итоговые анкеты могут содержать различное число вопросов (в зависимости от целей). Например, могут быть добавлены вопросы-шкалы такого рода:

• Насколько цели обучения были ясны и понятны?

• Насколько содержание обучения соответствовало вашим потребностям и запросам?

• Насколько интересной и доступной была подача материала?

• Насколько много новой информации вы получили?

• Насколько комфортной для вас была психологическая атмосфера на тренинге?

• Насколько полезными и похожими на реальные ситуации были практические упражнения и игры?

• Насколько полезными и информативными были раздаточные материалы?

• Насколько хороши были организационные условия тренинга?

В анкету могут быть добавлены и различные открытые вопросы:

• Какая часть тренинга была для вас наиболее интересной и полезной? Почему?

• Какая часть тренинга была для вас наименее интересной и полезной? Почему?

• Видите ли вы препятствия для использования на практике техник и технологий, рассмотренных на тренинге? Если да, то какие?

Анкета обратной связи[20]

Тренинг «_________________________»

«___» __________ 20 ____ г.

Просим вас дать максимально развернутые оценки. Это поможет нам совершенствовать программу тренинга и повысить его эффективность.

Что вы измените в своей практической деятельности по итогам тренинга? ________________

Какие навыки и умения требуют еще более глубокого развития по окончании обучения? ________________

Что вы порекомендуете для совершенствования данной программы обучения? ________________

Спасибо!

Данный текст является ознакомительным фрагментом.

Как оценить эффективность обучения?

Сейчас обучение персонала всё чаще становится непременным атрибутом успешной организации. В компаниях учат своих сотрудников практически всему: пользованию компьютерными программами, технике продаж, знанию товара, управлению людьми, тайм менеджменту и многому другому. Учат и собственными силами, учат и с помощью сторонних преподавателей. И, как правило, не обходится без затрат времени, денег и сил.

А потому хочется видеть результат обучения, оценить, насколько оно было полезным, эффективным.

А что именно оцениваем?

Мы можем оценивать преподавателя/тренера, участников обучения, учебную программу, работу учебного отдела или тренинговой компании. 
Однако давайте сосредоточимся на результате/эффекте. 
И чтобы оценить эффективность обучения, нужно четко понимать, какого именно эффекта мы ждём: что именно должно измениться, как именно измениться? Мы хотим, к примеру, сделать так, чтобы первостольники знали особенности конкретных препаратов, или хотим, чтобы они умели об этом рассказывать клиентам? Или мы хотим, чтобы обучение стало неким толчком, зарядило сотрудников энтузиазмом? 
Чем более чёткое видение результату нас есть, тем проще потом оценить, что же получилось. (Более того, если мы это видение сможем согласовать с преподавателем / тренеров, то наши шансы на нужный результат существенно увеличатся.) 

Весь процесс оценки эффективности тогда можно выстроить следующим образом:

• Определить общие цели и задачи обучения

Примеры: дать знания медикаментов; научить технике работы с возражениями

• Определить, что именно должно измениться в поведении обучаемых людей

Примеры: легко объясняют клиенту разницу между препаратами; спокойно реагируют на возражения, задавая уточняющие вопросы

• Найти ситуации, в которых  можно увидеть, насколько цели достигнуты

Примеры: когда клиент просит объяснить, чем отличаются препараты или когда предлагает новый препарат; когда клиент возражает

• Разработка механизма оценки

Примеры: тест знаний с вопросами на отличие препаратов; наблюдение за работой; статистика продаж нового препарата; опрос клиентов

• Сбор данных

Проводим оценку разработанными механизмами из п.4

• Интерпретация результатов

Примеры: насколько изменилось знание препаратов; насколько чаще клиенты покупают новые препараты; насколько больше ситуаций, когда первостольники удачно разрешают возражения; насколько улучшились впечатления клиентов

Вы заметили, насколько разнообразными могут быть цели, результаты и методы оценки? Можно оценивать изменение уровня знаний, а можно оценивать увеличение продаж. Это про один результат или про разные? Чтобы разобраться в этом, давайте рассмотрим.

Модель Киркпатрика

Дональд Киркпатрик сформулировал 4 уровня оценки эффективности обучения:

Рассмотрим эти уровне подробнее, чтобы понять, как с помощью них получить ответ на вопрос «Какой результат от обучения мы получили?»

• Уровень 1 – Реакция обучаемого на учебный курс
• Уровень 2 – Приобретение знаний и навыков
• Уровень 3 – Изменения в рабочем поведении
• Уровень 4 – Изменения в результатах работы

Уровень 1 – Как обучаемый относится к прошедшему обучению?

Мнение, реакцию обучаемого измерить сравнительно легко.

Неформально «пробу» такой реакции можно взять, понаблюдав за обучаемыми во время обучения, послушав разговоры в «курилке», приватно побеседовав с одним-двумя участниками.

Метод формального измерения — так называемые анкеты оценки, которые заполняют обучаемые либо сразу после обучения, либо через какое-то время. Анкета может содержать, например, такие вопросы:

• Насколько актуальным для Вас было содержание курса? (оцените в процентах от 0% до 100%).
• Какие темы курса были для Вас наиболее интересны? (перечислите)
• Насколько содержание курса показалось ясным и легким для понимания? (%)
• Приобрели ли Вы на курсе знания и навыки, которые помогут Вам делать Вашу работу эффективнее? (да/нет)
• Профессионально ли преподаватель разбирается в предмете? (да/нет)
• Увидели ли Вы, как именно знания и навыки данного курса применимы в Вашей работе? (да/нет)
• Что бы Вы предложили изменить в курсе?

Анкета может быть анонимной. 

После заполнения анкеты обрабатываются для получения сводной статистики – получается достаточно полная картина «общественного мнение» и хорошее поле для анализа.

Преимущества метода:

• Если сотрудники достаточно «продвинуты» в плане всевозможных тренингов и курсов, то их мнение поможет оценить реальную полезность курса.
• Статистика анкет оценки может быть хорошей обратной связью организаторам обучения, позволит увидеть слабые места и сделать дальнейшее обучение более эффективным.

Ограничения метода:

• При анализе нужно принимать во внимание погрешность субъективности. Симпатия участников к преподавателю ещё не означает эффективность проведенного обучения. И наоборот.
• Обучаемые по определению не достаточно компетентны в теме обучения. И потому нельзя ожидать, что они смогут оценить полезность обучения. Иногда это ограничение пытаются обойти, раздавая участникам анкеты по прошествии недели после тренинга, когда эмоции схлынут, и видна будет реальная полезность всего материала в работе.

Уровень 2 – Какие знания, умения и навыки приобрел обучаемый?

1. Тест знаний – перечень вопросов с несколькими вариантами ответов. Важно, чтобы вопросы имели однозначные ответы. Пример теста (фрагмент):

Чем отличаются препараты «Иммунал» и «Экстракт эхинацеи»?

• Изготавливаются из разных видов растений
• В одном сок, в другом экстракт
• В «Иммунале» есть добавки других растений
• В «Иммунале» нет спирта

Кроме того, необходимо следить за временем, и, извините, чтобы каждый участник заполнял тест самостоятельно.

Преимущества метода:

• Проводится и обрабатывается легко и быстро
• Позволяет обнаружить пробелы в знаниях участников
• Четкий способ количественного измерения
• Немного «доучивает» на ходу

Ограничения метода:

• Оценивает только знания. Сможет ли человек применить знания в рабочей ситуации – неизвестно.

• Позволяет увидеть, как обучаемый собирается применять знания в работе

Ограничения метода:

• Нет четкой шкалы измерения
• Существенные затраты времени
• Оценивает в большей степени знания и умение излагать свои мысли. В реальной ситуации обучаемый может действовать как менее, так и более эффективно.

3. Тестовое задание – игровой метод оценки, в котором либо обучаемые выполняет задание, практически не отличающееся от рабочей ситуации. Например, делает операции на кассовом аппарате, выкладывает товар или общается с клиентом. Тестовое задание лучше проводить на рабочем месте. 
Экзаменатор кратко описывает ситуацию и предлагает обучаемому максимально применить полученные навыки и умения. При этом экзаменатор может играть роль клиента (ролевой экзамен). 
Экзаменатор старается создать непринужденную атмосферу игры, чтобы обучаемому было легко продемонстрировать навыки.

После игры экзаменатор делает пометки в специальном бланке с параметрами оценки (так называемый «чек-лист»). 
Пример: 
Экзаменатор: «Я клиент, подхожу к стойке с подгузниками. Помогите мне сделать выбор. Я подошел и Вы меня только что увидели.»

Пример чек-листа для этого случая:

Параметр	Действия 0 баллов	Действия 1 балл	Действия 2 балла
Приветствие	Не поприветствовал	Посмотрел покупателю в глаза, кивнул или поздоровался	Улыбнулся покупателю, посмотрел в глаза, поздоровался
Выявление потребностей	Потребности не выявлены, сразу начал рассказывать о том, что есть	Спросил, какие подгузники ищет	Спросил, для какого возраста, мальчик/девочка, чем раньше пользовались
Презентация	Только указал место на полке, где лежит товар.	Показал один вариант или слишком много вариантов. Описал только свойства или сказал «эти лучшие»	Показал два варианта, объяснил чем отличаются, используя свойства и выгоды
Реакция на возражения	Игнорировал или начал спорить	Признал правоту покупателя и постарался его переключить на другие преимущества, цену, скидку	Грамотно принял возражение, задал уточняющие вопросы, нашел причину возражения и помог разобраться
Завершение сделки	Бросил покупателя	Дождался решения, потом выдал товар покупателю	Помог принять решение, потом выдал товар покупателю, предложил попутные средства

Преимущества метода:

• Позволяет максимально оценить умения и навыки
• Позволяет быстро определить пробелы в обучении

Ограничения метода:

• Нужен высокий уровень профессионализма экзаменатора
• Неудобен для оценки знаний

Таким образом, для оценки второго уровня требуется больше усилий, но результат получить картину, имеющую большее отношение к реальности и сформировать дальнейший учебный план.

Уровень 3 – Как изменилось рабочее поведение обучаемого?

• Позволяет получить реальную картину клиентского обслуживания
• Позволяет делать косвенные выводы о навыках персонала

Ограничения метода:

• Актуален только для оценки обучения, связанного с работой с клиентами
• Для оценки эффекта обучения необходимо проводить «Тайного покупателя» до обучения тоже
• Затратно
• Требует тщательной подготовки, скрытой от глаз персонала
• На результаты влияет множество факторов – действия руководителя, информированность сотрудников о «тайном покупателе», интенсивность потока клиентов и так далее.

Параметр	Действия 0 баллов	Действия 1 балл	Действия 2 балла
Нахождение в зале	«Спрятался» за стойкой, шкафом	На виду у покупателя	На виду у покупателя
Реакция на посетителя	Не заметил, дождался обращения покупателя	Посмотрел на покупателя	Подошел ближе к покупателю
Приветствие	Не поприветствовал	Посмотрел покупателю в глаза, кивнул или поздоровался	Улыбнулся покупателю, посмотрел в глаза, поздоровался
Выявление потребностей	Потребности не выявлены, сразу начал рассказывать о том, что есть	Спросил, что именно ищет покупатель	Выяснил потребности: спросил, для какого возраста,  какого типа кожи, чем раньше пользовались и т.д.
Презентация	Только указал место на полке, где лежит товар.	Показал один вариант или слишком много вариантов. Описал только свойства или сказал «это лучше»	Показал два варианта, объяснил чем отличаются, используя свойства и выгоды
Реакция на возражения	Игнорировал или начал спорить	Признал правоту покупателя и постарался его переключить на другие преимущества, цену, скидку	Грамотно принял возражение, задал уточняющие вопросы, нашел причину возражения и помог разобраться
Завершение сделки	Бросил покупателя	Дождался решения, потом выдал товар покупателю	Помог принять решение, потом выдал товар покупателю, предложил попутные средства

Преимущества метода:

• Можно сочетать с дополнительным обучением на рабочем месте
• Позволяет делать косвенные выводы о навыках персонала

Ограничения метода:

• Малая достоверность данных
• Требуется квалификация наблюдателя (как минимум, прохождение обучения руководителем вместе с подчиненными)

3. Опрос руководителей – непосредственному руководителю обучаемого предлагается оценить, стали ли действия подчиненного более «правильными». Можно использовать чек-лист, на котором оценивается поведение «в среднем», можно собирать подробные письменные ответы (« Скажите, как именно изменилось общение Иванова И.И. с клиентами после тренинга?»)

Преимущества метода:

• Дешево и быстро

Ограничения метода:

• Малая достоверность полученных данных
• Риск получения «отписок»
• Требуется квалификация наблюдателя (как минимум, прохождение аналогичного обучения руководителем)

Таким образом, третий уровень даёт представление о том, как реально изменилось поведение персонала, но такая оценка требует серьезной интеграции с бизнес-процессами и серьезного вовлечения руководителей.

Уровень 4 – Какие изменения произошли в организации и/или в результатах работы обучаемого?

• Четкий способ количественного измерения

Ограничения метода:

• Более глобальные показатели (увеличение объема продаж, увеличение количества клиентов) спланировать чрезвычайно сложно, поскольку слишком много взаимосвязанных «посторонних» факторов. Лучше выделять промежуточные показатели, которые понятно как можно достичь с помощью обучения – увеличение среднего чека, объем продаж дисконтных карт и подобные показатели.
• Некоторые виды деятельности не имеют измеримых результатов (координационная, творческая, секретарская)

• Возможность адекватной экспертной оценки

Ограничения метода:

• Риск получения «отписок»

Уровень 5 (добавление Джека Филипса к модели Киркпатрика) – Возврат на инвестиции

Этот подход основан на измерении финансового результата обучения.

ROI  (return on investment) = дополнительная прибыль / затраты

Использование уровней оценки в практике

Как же всё-таки оценивать? Какие методы лучше применять?

В современной практике компании стараются совмещать максимум методов оценки. Очень многие используют методы оценки по первому и второму уровню. Достаточно часто используется «тайный покупатель». И единичные случаи подсчёта ROI.

Давайте рассмотрим несколько случаев обучения и методы оценки эффективности, дающие наибольшую отдачу в каждом случае.

Пример: обучение новому товару

Совмещаем уровни 2, 3, 4. 
2 уровень.    Тест на знание товара 
3 уровень.    Опрос руководителей: когда предлагают и что говорят 
4 уровень.    Статистика продаж нового товара

Пример: тренинг по работе с клиентами

Совмещаем уровни 1, 3, 4. 
1 уровень.    Анкета оценки 
3 уровень.    Тайный покупатель 
4 уровень.    Изменение длины среднего чека

Пример: обучение новой компьютерной программе

Совмещаем уровни 1, 2, 3. 
1 уровень.    Анкета оценки 
2 уровень.    Тестовое задание 
3 уровень.    Опрос руководителей: удалось ли подчиненным освоить программу?

Резюме

Для оценки эффективности обучения прежде всего необходимо чётко определить желаемый результат и способ его измерения.

Есть несколько наиболее просто используемых методов, которые можно сгруппировать по уровням модели Киркпатрика:

Уровень 1	Реакция	Анкета оценки
Уровень 2	Знания и навыки	Тест знаний, кейсы, тестовые задания
Уровень 3	Рабочее поведение	«Тайный покупатель», формализованное наблюдение, опрос руководителей
Уровень 4	Результаты работы	Прямое измерение результатов, опрос руководителей
Уровень 5	Финансовая отдача	Подсчет ROI

В статье использованы идеи, подходы и исследования Дональда Киркпатрика, Джека Филипса, Ральфа Тайлера, Мартина Шмаленбаха, Питера Друкера.

Методические
рекомендации об оценке эффективности тренинга

 Эти
рекомендации могут быть полезны не только тем педагогам-психологам, которые уже
имеют опыт ведения тренинговых групп, но и тем, кто делает в этом направлении
первые шаги, используя в своей практике активные методы социально-
психологического обучения.  

Эффективность
проводимого тренинга зависит от того, насколько четко ведущий представляет себе
стратегию и тактику его реализации.  

Необходимо определить:  

основные
цели тренинга;  

задачи,
которые может решить тренинг;  

представлять
себе прохождения участникам, какие значимые изменения должны возникнуть в
результате его и.  

Цели
и задачи тренинга планируются по трем основным сквозным линиям:  

тема
(содержание работы),  

группа,  

отдельный
участник.  

Тренинг
имеет свою внутреннюю структуру —  

это
этапы знакомства и разогрева,  

действия
(актуализации проблемы, предоставления новой информации и освоения новых
навыков),  

завершения
(подведения итогов).  

На
каждом этапе ведущему необходимо отслеживать состояние группы, отдельного
участника и продвижение в содержательном материале.  

Планируя
тренинг, необходимо представлять себе, кому он адресован, определить
особенности и потребности своей целевой группы. Ведущему следует уделять особое
внимание этапу формирования тренинговой группы. Как можно более точное
определение целей, задач и исходного состояния участников группы позволяет
провести точную оценку эффективности тренинга — как текущую (обмен впечатлений
и заметки тренера), так и итоговую, включающую специальные социологические
процедуры. Ведущему необходимо представлять, в какую более общую систему
деятельностей включен его тренинг, с тем, чтобы лучше понимать и управлять
самим процессом работы.  

Тренинг
считается эффективным в том случае, если он достигает поставленной цели.  

Для оценки значимых изменений в поведении
отдельных участников тренинга можно использовать опросник Форверга.   

Опросник Форверга.   

Оцените,
пожалуйста, в какой мере Вы обладаете каждым из шести перечисленных свойств во
взаимоотношениях между людьми по девятибалльной шкале.  

Балл
«5» означает, что Вы обладаете данным свойством и больше даете, чем
получаете.  

Баллы,
стоящие влево от «5», соответствуют «уменьшению» данного
свойства.  

Баллы,
стоящие вправо от «5», соответствуют его «увеличению».  

Балл
«1»- начисто лишен этого свойства.  

Балл
«9»- обладаю этим свойством в совершенстве.  

1.
Эмпатия. 1 2 3 4 5 6 7 8 9  

—
Я вижу мир глазами другого.

—
Я понимаю других.  

—
Я понимаю настроение собеседника и  

учитываю
его в общении.  

2.
Тепло и уважение. 1 2 3 4 5 6 7 8 9  

—
Я различными способами выражаю, что принимаю то, что делают другие,  

хотя
не всегда однозначно соглашаюсь  

с
ними.  

—
Я- человек, активно поддерживающий  

других.  

3.
Искренность,  подлинность. 1
2 3 4 5 6 7 8 9  

 —
Я более искренен, чем фальшив в отношениях с другими.  

—
Я не скрываюсь за ролями и фасадами,  

окружающие
знают «на чем я стою».  

—
Я остаюсь самим собой в общении с  

другими.  

4.
Конкрентность. 1 2 3 4 5 6 7 8 9  

 —
Я не могу сказать, что выражаюсь неопределенно, когда говорю с другими.  

—
Я не говорю общих фраз, не хожу вокруг да около.  

—
Стараюсь говорить четко, точно, ясно.  

5.
Инициативность. 1 2 3 4 5 6 7 8 9  

 —
Во взаимоотношениях с окружающими я больше  

действую
сам.  

—
Я первым вступаю в контакт и не жду,

когда
это сделают другие.  

—
Я спонтанный.  

—
Я проявляю инициативу по разным поводам в  

отношении
людей.  

6.
Непосредственность. 1 2 3 4 5 6 7 8 9  

 —
Я действую открыто и прямо во взаимоотношениях  

с
окружающими, не задумываюсь над тем,

как
я буду выглядеть.  

  Этап завершения и обсуждения групповой
работы: 

Пример 1: 

 Анализ
целей, средств и результатов работы в тренинге партнерского общения.  

Цель, заявленная тренером.	Индивидуальная цель участника тренинга.	Средства достижения цели.	Ожидаемые результаты.	Что может помочь (помешать) в достижении цели?	Насколько достигнуты заявленные цели

Пример
2:  

Итоговое
обсуждение групповой работы.  

Участники
по кругу делятся своими чувствами от прошедшего тренинга, говорят о своем
настроении в данный момент, о том, насколько оправдались их ожидания, что
приобрели в ходе тренинга.  

— Что понравилось?  

— Что
не понравилось?  

— Что
хотелось бы изменить?  

— Что лучше
было бы провести иначе?  

— Есть
ли желание принять участие в последующих тренингах (если они планируются)?  

Пример
3:  

«Двенадцать
слов о тренинге».  

Дорогой
друг! Напиши ведущему телеграмму из 12 слов и опиши насколько важен и интересен
был для тебя тренинг.  

Пример
4:  

«Мои
впечатления».  

Дорогой
друг! Одним словом (или одним предложением) выскажи свое отношение к тому, что
происходило на тренинге с тобой, с группой, с тренером (письменно или устно).  

Анкетирование.  

 Заранее готовится анкета, которую участники заполняют по
окончании семинара. Желательно, чтобы анкета состояла из открытых вопросов, что
позволит участникам высказаться в свободной форме. Следует попросить участников
тренинга дать ответ на каждый вопрос, не пропуская ни одного. В такую анкету
могут входить следующие вопросы:  

—
какие темы тренинга были для вас новыми;  

— по
каким темам вам не доставало информации;  

—
какие упражнения  вам запомнились  больше всего.  

Анкета оценки эффективности семинара-тренинга.  

 Пожалуйста,
заполните эту анкету.  

Ваши
ответы помогут нам лучше подготовить будущие семинары-тренинги.  

 Обведите
кружком одну из цифр:  

«1»-
«плохо», «5» — «отлично»;  

1.
Как Вы оцениваете семинар-тренинг в целом?  

1
2 3 4 5  

2.
Какая часть семинара была:  

а)
наиболее удачной  

б)
наименее удачной  

3.
Что Вам не понравилось в семинаре?  

4.
На какие вопросы Вы не успели получить ответы?  

5.
Какой процент предоставленной на семинаре информации был полезен именно Вам?  

100
80 60 40 20 0  

6.
Оцените работу тренеров по пятибалльной шкале и объясните свою оценку:  

1
2 3 4 5

 СПАСИБО!  

Пример 4:  

Анкета участника тренинга (по итогам дня).  

1.
Самое важное, что я сегодня почувствовала, узнала, поняла и не хочу забыть…………  

…………………………………………………………………………………………………  

2.
Наиболее интересная для меня информация (тема, упражнение)………………………..  

……………………………………………………………………………………………………  

3.
Я считаю, что занятие может быть улучшено следующим образом……………………..  

……………………………………………………………………………………………………..  

4.
Дополнительные комментарии  

—
о полученной информации………………………………………………………………….. 

—
о работе ведущего……………………………………………………………………………..  

—
о работе группы…………………………………………………………………………….  

5.
Какую информацию Вы хотели бы получить на следующих занятиях………………….. 

Субъективная оценка участников.  

 В
данном случае анкета включает список критериев, и участникам предлагается
оценить тренинг по этим критериям. Критериями могут быть: новизна информации,
комфортность, практическая полезность и т.д. Также критерии оценки тренинга
можно представить в виде «Я — высказываний», участники отмечают
степень согласия или несогласия с этими высказываниями или дописывают
неоконченные предложения.  

Пример 1:  

Анкета (по итогам коммуникативного
тренинга).  

«Откровенно говоря…»  

—
Откровенно говоря, я научилась…  

—
Я узнала…  

—
Я нашла подтверждение тому, что …  

—
Я обнаружила, что…  

—
Я была удивлена тем, что…  

—
Мне понравилось…  

—
Я была разочарована тем, что…  

—
Самым важным для меня было…  

Пример 2:  

Итоговая анкета тренинга партнерского общения.  

Пожалуйста,
заполните эту анкету.  

Ваши
ответы помогут нам лучше подготовить будущие тренинги. Заранее Вам благодарны!  

(оценка
производится по десятибалльной шкала).  

1.    
Насколько
представленная в тренинге информация была для Вас:  

a.     
интересна………………………….  

b.    
значима………………………………  

c.     
практически
применима………………  

1.    
Степень Вашей
познавательной активности (постановка вопросов, выполнение домашней работы,
самостоятельная работа…) (по дням)  

1)…………………..  

2)…………………..  

3)…………………..  

2.    
Комфортность
общения (по дням).  

1)…………………..  

2)…………………..  

3)…………………..  

4.
Уровень сплоченности группы  

—
на начало тренинга………………….  

—
на конец тренинга…………………..  

Ответьте,
пожалуйста, на следующие вопросы:  

5.    
Что Вам
помогало в работе?  

6.    
Что мешало?  

7.    
Ваши
пожелания, рекомендации тренеру по совершенствованию работы в группе.  

Заметки тренера.  

 По окончании семинара-тренинга или
его отдельных блоков тренер записывает, как реагировала группа на информацию
этого блока, все ли принимали участие в играх, всем ли было комфортно.
Недостатком данного метода является то, что тренер часто отвлекается от
семинара и не может сосредоточиться. Чтобы избежать этого, нужен наблюдатель,
желательно психолог или второй ведущий, который сможет фиксировать реакцию участников
на различные блоки (информационные и игровые), а также на самого тренера.  

Схема анализа тренингового занятия (заметки тренера).  

(по И.В.Вачкову).  

Для
подведения итогов каждого проведенного занятия, можно использовать предлагаемую
схему. Регулярное заполнение этого бланка позволяет накапливать тренеру важный
и интересный материал, который ему наверняка пригодиться в дальнейшем.  

1.
Тема занятия и время проведения……………………………………………………………  

2.
Состав участников занятия………………………………………………………………….  

3.
План занятия (проводимые упражнения)…………………………………………………..  

Запланировано………………………………

Реально
проведено…………………………………..  

4.
Наиболее удачные упражнения и психотехники………………………………………….  

5.
Неудавшиеся упражнения и психотехники……………………………………………….  

6.
Интересный случай на занятии…………………………………………………………….  

7.
Особенности поведения участников………………………………………………………  

8.
Ошибки, которые следует учесть…………………………………………………………..  

 Итоговая
анкета профилактического семинара-тренинга.  

Пожалуйста,
заполните эту анкету.  

Ваши
ответы помогут нам лучше подготовить будущие тренинги. Заранее Вам благодарны!  

(обведите
в кружок свой ответ).  

Утверждение	Полностью согласен	Частично согласен	Частично не согласен	Полностью не согласен
На тренинге я приобрел много новой информации по теме семинара	1	2	3	4
В ходе тренинга я чувствовал себя комфортно.	1	2	3	4
Информация, полученная на тренинге, пригодится мне в дальнейшем.	1	2	3	4
Я обязательно поделюсь с друзьями полученной информацией.	1	2	3	4
В ходе тренинга я получил ответы на все свои вопросы по заявленной теме.	1	2	3	4

Обработать
полученные результаты несложно. По каждому утверждению отметьте, каких ответов
было получено больше всего. Осталось только сделать выводы.  

Достаточно
сложно оценить знания или в ходе тренинга сформировать у участников установку
на заботу о своем здоровье. Во-первых, для этого необходима длительная работа
(минимум три дня). Во-вторых, методы исследований по изменению рискованного
поведения очень специфичны. И использовать их могут только
специалисты-социологи. Поэтому здесь очень подробно описываются только два
основных метода.  

Литература:  

1.    
Марасанов Г.И.
Методы моделирования и анализа ситуаций в социально-психологическом тренинге.
Киров,1994.  

2.    
Оганесян Н.Т.
Методы активного социально-психологического обучения: тренинги, дискуссии,
игры. — М.: Издательство «Ось-89», 2002 г. — 176 с.  

3.    
Основы
групповой работы, редакторы-составители: В.В. Зарецкий, Л.Л. Портянская, В.К.
Рябцев, В.В. Ряшина.  

4.    
Прутченков
А.С. Тренинг коммуникативных умений. М., 1993