Построение и анализ возможностей реализации корпоративной многоуровневой системы оценки эффективности обучения в СНФПО ОАО «Газпром»

В.А. Дороничев

Вопрос о необходимости оценки эффективности обучения персонала активно обсуждается среди преподавателей-консультантов и менеджеров по персоналу. К сожалению, очень часто заказчик образовательных услуг на практике сталкиваются с ситуацией, когда сотрудники посещают необходимый им семинар, получают массу положительных эмоций, однако полученные знания не используют в своей деятельности. В связи с этим встает вопрос об эффективности проведенного обучения и оправданности затраченных денежных средств. Получается, что обучение персонала состоялось, но никто не может оценить, приносит ли оно хоть что-нибудь для компании или это просто новый вид корпоративного отдыха для сотрудников. Разумеется, если возникает конфликт на эту тему, каждая из сторон во всем обвиняет противоположную. Заказчик обвиняет тренинговые компании в том, что учить они умеют и берут деньги за воздух. Те в долгу не остаются, и во всем обвиняют корпоративную культуру и личностные особенности сотрудников. Возникает масса вопросов о том: кто, как и когда должен оценить степень эффективности проведенного обучения?

Для оценки эффекта от обучения необходимо проанализировать процесс обучения. Его входными параметрами являются составляющие компетенции: общие знания, профессиональные знания, профессиональные, коммуникативные и управленческие навыки, а выходными параметрами – измененные составляющие компетенций.

Среди факторов определяющих эффективность обучения следует выделять:

1.      Личность и профессионализм преподавателя;

2.      Верно составленная программа семинара;

3.      Осознание потребности участников в обучении;

4.      Лояльность сотрудников компании;

5.      Практическая реализация полученных в процессе обучения знания (компетенции)

Разделяя подход Дональда Киркпатрика к организации оценки эффективности внутрифирменного обучения (рис. 1), мы считаем необходимым оценивать эффективность на этапе, предшествующем обучению, этапе непосредственного обучения, увязывая ее с изменениями результатов деятельности обучающегося, и на этапе профессиональной деятельности после обучения. Для этого необходимо значительно усовершенствовать опросные методы измерения эффективности, которые уже применяются в СНФПО ОАО «Газпром» в виде входного и выходного анкетирования.

 Рис. 1 – Факторы определяющие эффективность обучения по

Д. Киркпатрику

Первый этап организации оценки эффективности обучения связан с ожиданиями слушателей от предстоящего обучения и проводится с помощью входного анкетирования. Основной целью анкетирования является установление степени ознакомления обучающихся с тематикой семинара, их уровнем профессиональных и личных ожиданий. Основной задачей первого этапа является установление факторов, влияние которых на формирование и уровень учебной мотивации будет наиболее значимо. Помимо этого, еще одной целью входного анкетирования является получение сведений об образовании, квалификации, месте и стаже работы, которые в обобщенном виде помогут составить общий портрет слушателя семинара, а также окажут помощь методистам при оформлении документации после окончания обучения. Анкетирование проводиться методистом учебного центра. В дальнейшем анкетные данные обрабатываются.

Второй этап связан с реакцией обучаемых на проведенное обучение. На этой ступени собирается и анализируется информация об удовлетворенности (неудовлетворенности) участников учебного процесса. Это наиболее важный этап оценки эффективности обучения, так как на этом этапе дается комплексная и всесторонняя оценка семинара самими его участниками, которая касается полезности полученных знаний и навыков для реально осуществляемой работы, актуальности программы обучения, сложности, доступности подачи материала и т.п. Для этого предлагается использовать специально разработанную анкету-отзыв слушателя семинара, состоящей из следующих разделов:

1.  Оценка содержания обучения (количество лекционных и практических занятий, заявленных в семинаре, необходимость полученных знаний и умений для рабочего процесса, баланс между отдельными частями программы, достижение учебных целей и т.д.).

2.  Оценка эффективности методов обучения, используемых при проведении семинара (форма проведения занятий и их соотношение, качество использования технических средств обучения и раздаточных материалов и т.д.).

3.  Оценка работы преподавателя и его профессиональных навыков (навык презентации, коммуникации, обратной связи, стиля ведения занятий и прочее).

Следует отметить, что в анкете-отзыве слушатели в общем виде оценивают работу всех преподавателей. Это необходимо для формирования общей картины компетентности задействованных в проведении обучения специалистов. Более детальную характеристику работы преподавателя с индивидуальными рейтинговыми оценками слушатели дают в специальной анкете оценки работы преподавателя на семинаре, которая необходима организаторам учебного процесса для повышения качества преподавания.

На третьем этапе происходит измерение уровня усвоения учебного материала (уровня обученности слушателей). Это специфический метод измерения знаний. Информация обычно собирается с помощью экзаменов или тестовых испытаний. Они позволяют количественно измерить уровень знаний обучаемых перед обучением и сравнить их с уровнем знаний после проведения семинара.

Методов оценки прироста знаний достаточно много. Все они широко используются на практике в зависимости от уровня оцениваемых знаний. Назовем лишь некоторые из них (оценка посредством открытых вопросов; оценка посредством вопросов, требующих коротких ответов; оценка посредством целевых тестов применяется при оценке декларативных и процедурных знаний; оценка посредством вопросов множественного выбора; оценка посредством вопросов, подразумевающих ответы «да/нет»; оценка посредством анализа конкретных ситуаций применяется для оценки знаний стратегического уровня).

На четвертом этапе выясняется, применяют ли обучаемые полученные знания и навыки на рабочем месте и есть ли реальные изменения в их работе. Следует отметить, что довольно часто типичен сценарий, когда после проведения семинара производительность труда сотрудника не увеличилась, как на это рассчитывало руководство, кое-что стало делаться по новому, но большинство знаний оказалось невостребованными в реальных условиях. Знания так и не превратились в навыки.

Для того чтобы события не развивались по такому сценарию предлагается использовать такой инструмент контроля эффективности обучения как «Соглашение о применении изученного материала на практике». Оно не является юридическим документом, по большому счету это форма психологического соглашения, договоренности между администрацией и обучающимися о применении полученных во время обучения знаний.

Цели Соглашения:

1.  Повысить эффективность усвоения полученных знаний на семинаре.

2.  Мотивировать прошедших обучение продолжить работу над осмыслением полученных в ходе семинара знаний.

3.  Закрепить знания непосредственно при заполнении Соглашения.

4.  Повысить мотивацию обучающихся применять полученные знания на практике.

5.  Помочь руководителям выявить категорию сотрудников с низкой степенью мотивации.

6.  Создать возможность открытого и доброжелательного общения между руководителем и подчиненными, открытое обсуждение проблем компании (вовлечение сотрудника в процесс принятия решения, налаживание эффективной циркуляции информации в компании), установление доверительных отношений между рядовыми сотрудниками и руководителями.

Следует отметить, что такой инструмент контроля уже достаточно долгое время предлагают западные тренинговые компании своим заказчикам, среди которых фигурирует Wintershall – одно из крупнейших дочерних предприятий концерна BASF, специализирующийся на газонефтехимии.

Процедуру контроля эффективности проведенного обучения можно проводить в несколько этапов (см. рис. 2).

Рис. 2 – Алгоритм процедуры контроля эффективности проведенного обучения на уровне предприятия

Следует обратить внимание на то, что сроки проверки эффективности проведенного обучения (от заключения Соглашения до проведения мини-аттестации) зависят от сложности применения новых знаний на практике, но при этом не должны превышать шести месяцев. Об этом свидетельствуют результаты исследований отечественных и зарубежных специалистов в области корпоративного обучения, которые рекомендуют проводить аттестацию сотрудника, прошедшего обучение не ранее одного месяца и не позднее шести месяцев с момента окончания обучения. Выход за рамки указанных сроков может привести к невостребованости полученных знаний сотрудником в профессиональной деятельности.

Проведя анализ реализации системы обработки анкетных данных, можно привести четыре схемы организации этого процесса в Системе непрерывного фирменного профессионального образования ОАО «Газпром». Рассмотрим каждый из них и более подробно остановимся на их «плюсах» и «минусах».

Первый вариант связан с реализацией системы обработки анкетных данных «АНКЕТА – Учебное учреждение – Центр» (рис. 3)

Рис. 3 – Реализация системы обработки анкетных данных «АНКЕТА – Учебное учреждение – Центр»

В данном варианте предлагается следующая последовательность:

1       Анкеты централизованно тиражируются в типографии по заказу Единого центра обработки анкетных данных слушателей СНФПО ОАО «Газпром».

2       Производится адресная рассылка анкет по учебным учреждениям СНФПО. Количество высылаемых анкет должно совпадать с запланированным количеством слушателей, готовых пройти обучение в учебном учреждении.

3       Методистами учебных учреждений организуется процесс заполнения слушателями анкетных форм (входная анкета, анкета-отзыв, анкета оценки работы преподавателей на семинарах).

4       Полученные анкетные данные обрабатываются организаторами обучения на месте, в службе обработки анкетных данных. Входная анкета и анкета-отзыв переводятся в электронную форму посредством поточного сканирования и отправляются по электронной почте в Единый центр обработки анкетных данных. Анкета оценки работы преподавателей на семинарах остается в учебном учреждении и служит основой для улучшения качества преподавания учебных курсов.

5       В Едином центре специалистом проводится содержательный анализ полученных анкетных данных и составляется аналитический отчет, где, помимо отчетной статистической информации, приводятся рекомендации по повышению результативности обучения.

6        Аналитический отчет (на бумажных или электронных носителях) отправляется в Управление социального развития и подготовки кадров и в учебное учреждение, где проводился сбор анкетных данных.

7        Копии аналитического отчета (на бумажных или электронных носителях) отправляются в те общества и организации ОАО «Газпром» чьи сотрудники проходили обучение.

Положительные стороны реализации системы:

1)     Легкость и быстрота заполнения анкет слушателями (нет необходимости владения навыками работы на персональном компьютере);

2)     Оперативное реагирование на полученные пожелания и замечания слушателей в ходе перевода информации в электронную форму.

Отрицательные стороны реализации системы:

1)     Затраты на тиражирование анкет;

2)     Затраты на приобретение, установку и техническое обслуживание дополнительного оборудования (поточный сканер должен быть установлен в каждом учебном учреждении);

3)     Привлечение дополнительных человеческих ресурсов;

4)     Временные затраты на перевод анкетных данных в электронную форму.

Таким образом, данная схема реализации, несмотря на ряд положительных моментов, требует большие капиталовложения для технического оснащения (приобретение оборудование, затраты на обслуживание, заработная плата для обслуживающего персонала).

Во втором варианте предусматривается реализация системы обработки анкетных данных «АНКЕТА – Центр» (см. рис. 4)

Предусматривается следующая последовательность реализации системы:

1        Как и в первом варианте анкеты централизованно тиражируются в типографии по заказу Единого центра обработки анкетных данных слушателей СНФПО ОАО «Газпром».

2        Производится адресная рассылка анкет по учебным учреждениям СНФПО. Количество высылаемых анкет должно совпадать с запланированным количеством слушателей, готовых пройти обучение в учебном учреждении.

3        Методистами учебных учреждений организуется процесс заполнения слушателями анкетных форм (входная анкета, анкета-отзыв, анкета оценки работы преподавателей на семинарах).

4        Полученные данные в необработанном виде передаются в Единый центр обработки почтой или курьерской службой. Как и в предыдущем варианте анкета оценки работы преподавателей на семинарах остается в учебном учреждении и служит основой для улучшения качества преподавания.

5        При получении анкетных форм сотрудниками Центра проводится электронная обработка анкетных данных, их содержательный анализ и составляется аналитический отчет.

6        Аналитический отчет (на бумажных или электронных носителях) отправляется в Управление социального развития и подготовки кадров и в учебное учреждение, где проводился сбор анкетных данных.

 Рис. 4 – Реализация системы обработки анкетных данных «АНКЕТА – Центр»

 

 

7            Копии аналитического отчета (на бумажных или электронных носителях) отправляются в те общества и организации ОАО «Газпром» чьи сотрудники проходили обучение.

Положительные стороны реализации системы:

1)     Отсутствие затрат на приобретение, установку и техническое обслуживание дополнительного оборудования.

2)     Легкость и быстрота заполнения анкет слушателями (нет необходимости владения навыками работы на персональном компьютере).

Отрицательные стороны реализации системы:

1)     Затраты на тиражирование анкет.

2)     Привлечение дополнительных человеческих ресурсов.

3)     Затраты времени на пересылку анкетных данных.

4)     Затраты на услуги служб доставки.

5)     Затраты времени на перевод анкетных данных в электронную форму.

6)     Зависимость от качества работы сторонних организаций (служб доставки).

7)     Отсутствие оперативного реагирования на замечания и пожелания слушателей.

В целом данная схема реализации имеет больше отрицательных сторон, нежели положительных. Несмотря на отсутствие затрат на закупку дорогостоящего оборудования, большое количество материальных ресурсов будет уходить на услуги служб доставки. А длительные сроки обработки большого числа анкет со всех учебных учреждений, помноженные на время доставки, не позволяют говорить об оперативности.

Третий вариант предполагает внедрение Автоматизированной системы обработки анкетных данных (см. рис. 5).

Следует отметить, что необходимым условием реализации данной системы является наличие специально разработанной Автоматизированной системы сбора и обработки анкетных данных слушателей (далее – АС), подобной Автоматизированной системе «График повышения квалификации и профессиональной переподготовки руководителей и специалистов ОАО «Газпром».

 

 Рис. 5 – Реализация обработки анкетных данных с использованием Автоматизированной системы

Последовательность реализации системы такова:

1        АС устанавливается на всех персональных компьютера (ПК) в компьютерном учебном классе учебного учреждения.

2        Методист учебного центра организует доступ слушателей к АС в начале и в конце обучения.

3        Данные проведенного анкетирования сохраняются на сервере учебного учреждения и по информационным каналам передаются на сервер Единого центра обработки анкетных данных.

4        Специалистами (программист и научный сотрудник) Единого центра проводится анализ и обработка анкетных данных и составляется аналитический отчет с рекомендациями по повышению результативности обучения.

5        Аналитический отчет (в печатном или электронном виде) отправляется в Управление социального развития и подготовки кадров и в учебное учреждение, где проводился сбор анкетных данных.

6           Копии аналитического отчета (на бумажных или электронных носителях) отправляются в те общества и организации ОАО «Газпром» чьи сотрудники проходили обучение.

Положительные стороны реализации системы:

1)     Отсутствие затрат на тиражирование анкет.

2)     Отсутствие затрат на дополнительное приобретение дорогостоящего оборудования. Компьютерные классы имеются практически во всех учебных учреждениях СНФПО ОАО «Газпром».

3)     Отсутствие затрат времени на перевод анкет из бумажной в электронную форму.

4)     Оперативность передачи, обработки и анализа информации.

Отрицательные стороны реализации системы:

1)     Затраты времени на разработку АС (примерно 1 – 2 года), в зависимости от количества задействованных специалистов

2)     Затраты на техническое сопровождение АС (обновления, устранение неполадок и т.п.)

В целом, использование АС значительно упрощает процесс проведение анкетирования. Отсутствие бумажных носителей значительно сказывается на скорости передачи и обработки информации. Однако подготовительный этап (разработка самой АС) требует привлечения значительных материальных и человеческих ресурсов. Но здесь также следует сказать, что, исходя из опыта создания Автоматизированной системы «График…», этот период требуется пройти лишь однажды, а в дальнейшем использование АС оправдает себя и на ее поддержку буду расходоваться незначительные средства.

И, наконец, последний вариант реализации обработки анкетных данных предполагает задействование среды Интернет/Интранет (рис. 6).

Последовательность реализации системы:

1        На сайте Единого центра обработки анкетных данных размещают анкетные формы. Следует отметить, что в качестве такого сайта можно будет использовать уже существующий и функционирующий интернет-ресурс – «Методико-дидактический форум СНФПО с организацией корпоративного учебно-методического обеспечения» (http://mdf.snfpo.ru).

2        Методист учебного центра организует доступ слушателей к персональным компьютерам, подключенным к сети Интернет, в начале и в конце обучения.

 

Схема 12 – Развертывание обработки анкетных данных с использованием интернет-среды

3        Данные проведенного анкетирования по окончании заполнения отправляют и сохраняют на сервере Единого центра обработки анкетных данных.

4        Специалисты (программист, методист, научный сотрудник) Единого центра проводят анализ и обработку анкетных данных и составляют аналитический отчет с рекомендациями по повышению результативности обучения.

5        Аналитический отчет (в печатном или электронном виде) отправляют в Управление социального развития и подготовки кадров и в учебное учреждение, где проводился сбор анкетных данных.

6           Копии аналитического отчета (на бумажных или электронных носителях) отправляются в те общества и организации ОАО «Газпром» чьи сотрудники проходили обучение.

Положительные стороны реализации системы:

1)     Отсутствие затрат на тиражирование анкет.

2)     Отсутствие затрат на дополнительное приобретение дорогостоящего оборудования. Компьютерные классы имеются практически во всех учебных учреждениях СНФПО ОАО «Газпром».

3)     Отсутствие затрат времени на перевод анкет из бумажной в электронную форму.

4)     Наличие готового интернет-ресурса для размещения анкетных форм и создания модуля обработки анкетных данных.

5)     Оперативность передачи, обработки и анализа информации.

Отрицательные стороны реализации системы:

1)     Затраты на техническое сопровождение сайта (обновления, устранение неполадок и т.п.)

2)     Необходимость иметь компьютерные классы с выходом в сеть Интернет

Таким образом, данная схема наиболее оптимальна в условиях функционирования СНФПО, не требует больших капиталовложений (кроме как организации подключений компьютерных классов к сети Интернет, там где данное подключение отсутствует, и создания модуля считывания и обработки анкетных данных), привлечения значительного количества человеческих ресурсов (в данном случае возможна совместная работа группы из 2-3 человек, состоящая из программиста, методиста и научного сотрудника). И главное, такая система будет сочетать в себе все основные требования к организации систематизированной оценки результативности обучения, позволит опираться при анализе и разработке мероприятий по увеличению эффективности обучения не на «слова», а на конкретные данные, подкрепленные количественными показателями.

В целом, следует отметить, что описанная система многоуровневой оценки эффективности обучения с использованием методик анкетирования может стать частью общекорпоративной системы мониторинга качества представляемых образовательных услуг СНФПО ОАО «Газпром».

 

 

 

 

 

Литература

1.      Беляев А.И., Пасленов А.П. Система непрерывного фирменного профессионального образования ОАО «Газпром» как опыт построения корпоративной образовательной среды // Вестник ОНУТЦ. – 2007. - № 1. С. 2-9.

2.      Бершадский, М. Каким должен быть мониторинг учебного процесса? / М. Бершадский // Народное образование. – 2002. - № 7. – с. 81-88.

3.      Грабарь М.И. Проблема измерений и проверки гипотез при мониторинге результатов обучения / М.И. Грабарь // Стандарты и мониторинг в обучении. – 2000. - № 3. –  с. 49-54.

4.      Оценка эффективности обучения. Модель Дональда Киркпатрика // Режим доступа: http://www.hr-portal.ru/node/1623, свободный. – Загл. с экрана.

5.      Магура М., Курбатова М. Оценка эффективности обучения: практические методы // Режим доступа: http://www.hr-portal.ru/node/1633, свободный. – Загл. с экрана.