"Оценка эффективности курсов: расчетная модель"

3478
Стулов Андрей
начальник учебного центра Управления делами, Банк «Возрождение» (ОАО), г. Москва
Система дистанционного электронного обучения (СДЭО) банка «Возрождение» состоит из множества электронных курсов, с помощью которых персонал повышает свою квалификацию. От эффективности каждого из них зависит эффективность всей СДЭО. Рассмотрим, каким образом в компании оценивают этот показатель.

Для контроля качества электронного дистанционного обучения специалисты Учебного центра банка «Возрождение» регулярно проводят мониторинг этого процесса с помощью количественных и качественных показателей.

Количественные показатели - это количество разрабатываемых и принятых в эксплуатацию учебных курсов; количество сотрудников, посещающих веб-портал «Обучение и развитие»; количество сотрудников, прошедших учебные курсы.

Справка о компании

Банк «Возрождение» ведет свою историю с апреля 1991 г. Сегодня филиальная сеть банка насчитывает 169 офисов и более 600 банкоматов в 20 регионах страны. Численность персонала более 6000 человек.

Качественные показатели - это изменение уровня знаний до и после прохождения электронного учебного курса, оценка сотрудниками качества разработанных курсов, оценка руководителями качества обучения подчиненных.

Эти показатели отражают, насколько успешно система функционирует, но не раскрывают в полной мере ее эффективность (соотношение затрат на обучение с результатом). Поэтому наряду с мониторингом количественных и качественных показателей в компании используется комплексная модель оценки эффективности СДЭО собственной разработки.

Решение о создании такой модели было принято в банке еще на стадии внедрения системы, после того, как был создан первый десяток учебных курсов и началось регулярное обучение персонала. Основная цель ее разработки заключалась в том, чтобы на основании объективных данных, выраженных в цифрах, увидеть, отвечает ли новая форма подготовки персонала стратегии банка в области обучения. Кратко эту стратегию можно сформулировать следующим образом: «Каждый работник банка должен регулярно повышать свой профессиональный уровень. Учебные программы, курсы, должны быть максимально эффективными. Результаты обучения должны фиксироваться по каждому сотруднику, по каждой программе, по каждому курсу и быть доступными для проведения всестороннего анализа».

На тот момент (в 2009 году) среди описанных в профессиональной литературе практик не удалось найти примеров методики оценки СДЭО, отвечающих запросам компании (требовалась максимально понятная, простая, объективная, практичная и гибкая методика). Поэтому ключевые сотрудники Учебного центра самостоятельно занялись ее разработкой:

  • дали определение термину «эффективность электронного дистанционного обучения»;
  • составили математическую модель расчета эффективности, определив критерии, влияющие на эффективность СДЭО;
  • провели пробные расчеты эффективности и на их основе скорректировали модель расчета;
  • запустили модель в эксплуатацию.

Результаты внедрения модели подтвердили, что новая форма подготовки персонала полностью соответствует стратегии банка в области обучения. Был скорректирован процесс разработки электронных курсов, благодаря чему они стали эффективнее, а фактические сроки разработки при этом сократились по сравнению с изначально запланированными.

Рассмотрим подробнее модель оценки эффективности СДЭО банка «Возрождение».

Понятие «эффективность»

Термин «эффективность системыдистанционногоэлектронного обучения» означает процентное отношение протори (совокупность затраченных ресурсов, издержек) к полученным результатам и рассчитывается по формуле:

Эффективность = (протори: результат) х 100%.

Результатом этого отношения будет числовое значение между 0 и 100%.

Из каких же критериев складывается числитель и знаменатель дроби?

Критерии, объединенные в категорию «протори»

Протори насчитывает пять критериев, каждый из которых оценивается по десятибалльной шкале.

Чем выше балл, тем протори будет выше, т. е. затраты и издержки возрастают. Чем ниже балл, тем протори будет ниже: затраты и издержки уменьшаются. Высокий протори необходимо всеми силами снижать, а к низкому, наоборот, стремиться. Рассмотрим каждый критерий в отдельности.

Критерий 1: наличие документации к СДЭО

Если в компании существует детально прописанная нормативная документация к дистанционному обучению, то разработка учебного контента, создание учебных курсов и проведение обучения занимают минимум времени и ресурсов. Разработчики знают, что необходимо делать, как и в какие сроки. В этом случае критерий получает 1 балл (затраты низкие). В случае полного отсутствия в учебном подразделении документов, регламентирующих деятельность СДЭО, критерию присваивается 10 баллов (затраты очень высокие). Для получения минимальной оценки необходимы следующие документы.

«Политика организации электронного дистанционного обучения». Чем детальнее прописаны процедуры и требования к данному типу обучения, тем проще выстроить учебный процесс. Любой сотрудник компании от рядового работника до руководителя должен иметь возможность найти в этом документе ответы на все вопросы, касающиеся дистанционного обучения. Обязательные разделы политики:

  • кто выступает организатором обучения;
  • по чьей инициативе назначаются учебные курсы;
  • каким образом работникам назначаются учебные курсы (время, сроки, документы);
  • где, как, когда сотрудник будет проходить обучение;
  • каким образом происходит контроль;
  • как, кто, когда, кому направляет отчеты с результатами обучения;
  • зоны ответственности работников разных подразделений в области СДЭО.

«Политика разработки электронных учебных курсов». В этом документе перечисляются все стадии процесса разработки учебного курса и все требования к нему. Обязательные разделы политики:

  • кто может выступать заказчиком учебных курсов;
  • каким образом заказчик инициирует процедуру их разработки;
  • кто, как, когда формирует рабочую группу;
  • как устанавливаются сроки выполнения работ;
  • кто может выступать разработчиками курсов;
  • что может быть включено (не должно быть включено) в учебный материал;
  • как должен оформляться учебный курс;
  • какие методы дистанционного обучения существуют и как их использовать;
  • как будет тестироваться готовый курс;
  • каким образом курс будет принят в эксплуатацию;
  • как взаимодействовать с внешними провайдерами (в случае их привлечения).

Критерий 2: сложность реализации электронного курса

Критерий отражает, насколько сложно технически реализован учебный курс. Материал в нем может быть подан различными способами.

1. В виде сплошного текста. Это самый непродуктивный способ с точки зрения обучения, но самый простой с точки зрения технической реализации.

2. В виде текстового материала и различных задач, помогающих усвоить этот материал. Достаточно верное, но и достаточно затратное решение. Логику задач необходимо продумать, реализовать в электронном виде и, самое главное, понятно описать в курсе.

3. В виде бизнес-кейсов. Через решение бизнес-кейсов при помощи различных подсказок, наводящих тем, обсуждения с тьютором правильных и неправильных решений участники получают наиболее устойчивые знания. Но этот подход - самый сложный с точки зрения реализации. Для его воплощения необходимы не только яркие и интересные идеи, которые обычно в дефиците, но и грамотное техническое решение.

За наиболее простую реализацию курс получает 1 балл. За наиболее сложную - 10 баллов. Так, в программный продукт CourseLab компании WebSoft, который применяют для создания курсов в банке «Возрождение», встроены все необходимые средства для реализации самых разных способов подачи информации, в том числе сложных задач и бизнес-кейсов. Использование этих встроенных средств - яркий пример простой реализации. Пример технически сложной реализации - это применение работниками программных кодов, мультипликации и дополнительных программных средств для придания «шарма» учебному курсу. Такой подход не всегда обоснован.

Необоснованная реализация -это когда очень простой материал реализуется сложно технически, с применением дополнительного программного обеспечения. Избежать ее позволяет планирование разработки учебных курсов, предварительный анализ представленных экспертами материалов, описание целей и задач курса.

Обоснованная реализация предполагает два варианта:

  • в курсе необходимо использовать сложные способы подачи материала, например, бизнес-кейсы, видео- и мультипликационные фрагменты, которые невозможно реализовать средствами программы CourseLab;
  • сложный материал курса можно реализовать с помощью CourseLab, но заливщик контента (подробнее о задачах этого специалиста скажем далее) не знает всех возможностей программы.

В любом случае приходится использоватьдополнительное ПО, что значительно усложняет процесс. Поэтому вне зависимости от обоснованности сложная реализация получает высокий балл.

Пример

Чтобы воочию оценить разные подходы к реализации учебных курсов, можно посмотреть раздел «Конкурс-2011» на GourseLab.ru. На этом сайте размещены работы, участвующие в конкурсе российских компаний, создающих учебные курсы своими силами. Курс «Проведение презентации» банка «Возрождение» занял призовые места в трех номинациях. Он высоко интерактивен: в нем необходимо выполнять бизнес-кейсы, упражнения, решать сложные задачи. А с точки зрения технической реализации этот курс прост, поскольку полностью реализован стандартными средствами программы CourseLab.

Критерий 3: уровень сложности знаний

Учебный курс предназначен, прежде всего, для передачи знаний участнику обучения. Эти знания могут быть общеизвестными (знание правил трудового распорядка в компании, корпоративной культуры, дресс-кода и др.) и специализированными (отличительные признаки поддельных банкнот, методы их защиты, стандарт безопасности данных индустрии платежных карт и др.). Оба вида знаний могут быть как очень простыми для изучения (1 балл), так и очень сложными (10 баллов). Для последних требуются более затратные способы передачи информации.

Пример

Рассмотрим учебный курс для специалистов, занимающихся кадровым документооборотом. Прием работника - это набор достаточно сложных знаний, правил и процедур. Эти знания можно передать путем перечисления и краткого описания. Такой способ прост, но малоэффективен, потому что простое чтение не способствует быстрому и глубокому усвоению информации. Совсем другое дело -моделирование в учебном курсе процедуры принятия нового работника. При ошибках в выполнении процедуры на каждом этапе система автоматически выдает указания, благодаря которым сотрудник понимает, где именно ошибся, как исправить ошибки и что нужно сделать дополнительно. Такой способ передачи сложной информации упрощает ее восприятие, поэтому наиболее адекватен для данного вида знаний. В то же время для передачи таких простых знаний, как правила трудового распорядка в компании, не требуется применять сложные методы.

Критерий 4: Длительность разработки учебного курса

В банке «Возрождение» электронные курсы создаются согласно утвержденному на год календарному плану. На каждый из них отводится определенный срок, который рассчитывается руководителем команды разработчиков и утверждается всеми участниками этой группы. Если срок создания курса удалось значительно уменьшить относительно планируемого, то по данному критерию выставляется 1 балл. Если время превышено в несколько раз -10 баллов.

Критерий 5: квалификация разработчиков курса

Разработкой всех курсов для банка занимается команда внутренних специалистов, состоящая, как правило, из пяти человек: заказчика, архитектора, разработчика, заливщика, тести-ровщика. Если курс сложный, то к его созданию подключаются дополнительные разработчики контента, заливщики и тестиров-щики. Опишем кратко роль каждого в группе.

Заказчик курса. Ставит цели и задачи перед командой разработчиков. Принимает учебный курс. Те, кто может выступать в роли заказчика учебного курса, обычно перечислены в «Политике разработки электронных учебных курсов». Как правило, это руководители бизнес-подразделений компании.

Архитектор курса. Руководит всем проектом разработки: определяет сроки, распределяет ответственность, минимизирует возможные риски, создает совместно с разработчиком контента сценарий курса (последовательность подачи материала, определение параллельных ветвей обучения, возможных ответвлений, последовательность и объем проверочных вопросов и т. п.). Архитекторами могут быть только профессионалы, обладающие знаниями и опытом в области педагогики и обучения взрослых. Поэтому данную функцию в банке выполняют ведущие специалисты Учебного центра.

Разработчик контента. Этот специалист должен в совершенстве знать предмет курса (банковский продукт, бизнес-процесс, банковскую программу и т. п.) и уметь изложить его суть так, чтобы любой пользователь смог разобраться в предмете. Функцию разработчиков контента выполняют специалисты бизнес-подразделений банка.

Заливщик контента. В его задачу входит правильное оформление учебных материалов, их компоновка в нужном порядке, программирование необходимого количества функций и представление предварительно готовой версии курса архитектору. Последний принимает решение о передаче курса для последующего тестирования (проверки работоспособности курса) или возвращает его на доработку заливщику.

На сегодняшний день «заливкой» в банке «Возрождение» занимаются студенты 4-5 курсов вузов. Как показывает практика, они хорошо справляются с поставленными задачами. Такой подход позволяет существенно снизать затраты на разработку.

Тестировщик курса. После того как курс разработан, правильность его функционирования проверяет специалист в роли тестировщика. Его задача - выявить возможные ошибки, неточности в работе программы. Для полноценной проверки курса желательно выбирать на роль тестировщика наиболее квалифицированных специалистов тех подразделений, сотрудники которых будут в дальнейшем проходить обучение. Результаты проверки тестировщик передает заливщику и архитектору.

Чем выше квалификация специалистов, занятых разработкой курсов, тем выше балл по данному критерию и, соответственно, протори, и наоборот.

Критерии, объединенные в категорию «результат»

Любое обучение должно приводить к тому или иному результату. Для определения общего результата по каждому курсу приняты пять критериев, оценка которых по десятибалльной шкале напрямую влияет на значение результата (чем выше балл по каждому критерию, тем выше результат).

Рассмотрим каждый из критериев.

Критерий 1: оценка курса участниками обучения

В банке «Возрождение» данная процедура полностью автоматизирована. С помощью программы WebTutor компании WebSoft, на базе которой построена вся корпоративная система электронного дистанционного обучения, создан опросный лист в электронном виде. Он встроен в процесс прохождения учебного курса: прежде чем завершить обучение, сотрудник должен перейти на опросный лист и заполнить его, выставив оценки за учебный курс по двенадцати различным критериям:

1. качество материалов, изложенных в курсе;

2. актуальность темы курса для данного подразделения на момент прохождения обучения;

3. понятность изложения содержания курса;

4. достаточность информации для решения производственных задач по данной теме;

5. соответствие содержания курса повседневной практике;

6. уровень сложности контрольных вопросов;

7. соответствие контрольных заданий знаниям, полученным в ходе изучения курса;

8. удовлетворенность ожиданий после прохождения курса;

9. оценка своих знаний, полученные в ходе изучения данного курса;

10. использование полученных знаний в повседневной работе;

11. качество организации учебного мероприятия (информирование о начале, ходе и результатах курса, сроки прохождения);

12. качество работы консультантов горячей линии (помогают сотрудникам выполнять особо сложные задания - направляют, подсказывают необходимые действия).

Все оценки автоматически суммируются, и система выдает общий балл, показывающий, насколько участники обучения удовлетворены учебным курсом. Один балл за курс означает крайне низкую удовлетворенность обучением, 10 - высокую.

Критерий 2: результаты проверки знаний

Одним из критериев, отражающих эффективность обучения, служит уровень остаточных знаний, измеряемый в период от одного до трех месяцев после завершения обучения. В банке «Возрождение» оценка этого показателя проводится при помощи модуля электронного тестированияпрограммыWebTutor.

Чем выше уровень полученных знаний, тем выше балл по данному критерию. Если результат проверки знаний 100%, то критерию присваивается 10 баллов, а если результат ниже порогового значения (для каждого курса оно свое), выставляется 1 балл.

Критерий 3: прямое влияние знаний на бизнес

Перечень знаний, необходимых работникам банка, достаточно обширен: знания корпоративной культуры, банковского законодательства, требований, описанных во внутренней документации, стандартов обслуживания клиентов и др. Некоторые знания могут иметь слабое влияние на ведение бизнеса, а некоторые, наоборот, очень сильное. Например, знания в области управления продажами подразделения в случае получения их рядовым сотрудником слабо влияют на бизнес. Зато при соответствующем обучении руководителя они превращаются в мощный инструмент достижения результатов.

Баллы по этому критерию проставляют руководители подразделений, работники которых проходят обучение. Если влияние на бизнес самое высокое, они дают оценку в 10 баллов, в противном случае - 1 балл.

Критерий 4: востребованность учебного курса

Балл по этому критерию также выставляет руководитель подразделения-заказчика, исходя из того, насколько данный курс необходим для бизнеса. Если потребность в курсе и заинтересованность в нем руководителя очень высокая, то он ставит 10 баллов, если низкая - 1 балл.

Критерий 5: количество участников обучения (целевая аудитория)

В банке «Возрождение» обучение по курсам проходит централизованно. Курсы назначаются работникам руководителями бизнес-подразделений. Они должны подать электронную заявку на обучение подчиненных через веб-портал «Обучение и развитие» начальнику Учебного центра, а тот, утвердив принятые заявки, отдает распоряжение на назначение сотрудникам курсов и предоставление доступа к СДЭО администратором.

Процесс подачи заявок встроен в программное обеспечение WebTutor, что позволяет легко контролировать весь процесс обучения. В том числе общее количество принятых заявок, количество тех, кто проходит обучение в настоящее время и количество завершивших учебный курс (набравших необходимое количество баллов).

Если после завершения обучения общее количество успешно прошедших его сотрудников составляет более 900 человек, то по критерию выставляется 10 баллов, если менее 60 человек - 1 балл.

Результаты оценки эффективности

С целью представления реальных результатов оценки эффективности СДЭО для данной статьи автором выбрано семь различных учебных курсов, разработанных в разное время разными группами сотрудников. Каждому курсу были выставлены баллы в разделе протори и в разделе результаты. В итоге получилась заполненная таблица.

Оценка эффективности курсов: расчетная модель

Это важно!

Чем ближе результат вычисления к нулю, тем выше эффективность, чем ближе к 100%, тем она ниже. При этом экспериментальным путем и моделированием различных ситуаций сотрудники Учебного центра банка определили, что наиболее эффективной система СДЭО будет при получении расчетных данных близких к 30%. А при 80% и более дистанционное обучение практиче¬ски неэффективно. Этому есть практическое объяснение. При получении результатов от 30 до 50% затраты на разработку курса достаточно низкие, а результат очень высокий. Но если результаты ниже 30%, это означает, что курсы делаются практически без затрат, а такие «чудеса» встречаются редко. Эффективность от 80% и выше отра-жает затраты, превышающие принятые в банке нормы.

Из таблицы видно, что согласно полученным данным курсы 1 и 5 имеют высокую эффективность, а курсы 6 и 7 - предельно низкую. Причина в том, что курс 6 сложно реализован, в нем заложена подача сложных заданий, при этом он слабо влияет на бизнес. А курс 7 сложно реализован и очень долго разрабатывался, а количество участников обучения небольшое.

Подобный анализ эффективности позволяет понять, какие недоработки существуют в системе создания курсов, и устранить их. Представленная модель эффективности может использоваться следующим образом.

  • На стадии планирования разработки курсов. В данном случае предварительный расчет дает возможность оценить эффективность курса и оптимально распределить имеющиеся у компании ресурсы, а также отследить недостаток необходимых ресурсов и заранее решить эту проблему.
  • Во время разработки курсов. Оценка текущей эффективности позволяет принять необходимые меры по повышению эффективности курса в случае получения низкого показателя.
  • После завершения обучения для оценки реальной эффективности. Такая оценка каждого курса позволяет получить объективные данные об эффективности СДЭО в целом, увидеть проблемные зоны обучения и разработать мероприятия, направленные на их устранение и дальнейшее совершенствование всей системы.

В настоящее время описанная модель используется в компании в виде Excel-таблицы. Но уже в ближайшем будущем специалисты Учебного центра банка «Возрождение» планируют совместно с приглашенными консультантами создать на основе модели программный продукт, полностью автоматизирующий процедуру оценки.



Подписка на статьи

Чтобы не пропустить ни одной важной или интересной статьи, подпишитесь на рассылку. Это бесплатно.

Самое выгодное предложение

Самое выгодное предложение

Воспользуйтесь самым выгодным предложением на подписку и станьте читателем уже сейчас

Живое общение с редакцией

Актуально


Рассылка




PRO-personal.ru: сайт для специалистов по кадрам и управлению персоналом

Все права защищены. Полное или частичное копирование любых материалов сайта возможно только с письменного разрешения редакции сайта. Нарушение авторских прав влечет за собой ответственность в соответствии с законодательством РФ.

Свидетельство о регистрации электронных СМИ № ФС77-40332 от 23 июня 2010 года


  • Мы в соцсетях
Статья для специалистов по работе с кадрами!

Зарегистрируйтесь, чтобы продолжить чтение.

Дополнительно Вы сможете:
- прочитать еще 5600 рекомендаций по кадровой и HR-тематике
- скачать 4800 готовых образцов документов
- посмотреть 54 видеолекции по трудовому законодательству

Подарок дня: Справочник должностных инструкций по профстандартам

У меня есть пароль
напомнить
Пароль отправлен на почту
Ввести
Я тут впервые
И получить доступ на сайт
Займет минуту!
Введите эл. почту или логин
Неверный логин или пароль
Неверный пароль
Введите пароль
Зарегистрируйтесь на сайте и скачайте файл!

Это бесплатно и займет всего одну минуту! Вам станут доступны для скачивания более 2000 форм и образцов документов.

У меня есть пароль
напомнить
Пароль отправлен на почту
Ввести
Я тут впервые
И получить доступ на сайт
Займет минуту!
Введите эл. почту или логин
Неверный логин или пароль
Неверный пароль
Введите пароль
Продолжите чтение после бесплатной регистрации

Здравствуйте! Чтобы продолжить чтение статей на сайте «Pro-personal», пожалуйста, зарегистрируйтесь. Это займет менее 1 минуты, а Вы получите доступ к более чем 500 полезным статьям по управлению персоналом, важным документам и ценным советам от экспертов HR отрасли.

Читайте после регистрации:

  • Примеры составления KPI
  • Выявляем мотивы для повышения эффективности работы подразделения
  • Оценка результатов труда персонала
  • Анкета для проведения структурированного интервью
  • и другие полезные статьи

В подарок вы получите шаблоны самых востребованных и учитывающих профстандарты должностных инструкций!

У меня есть пароль
напомнить
Пароль отправлен на почту
Ввести
Я тут впервые
И получить доступ на сайт
Займет минуту!
Введите эл. почту или логин
Неверный логин или пароль
Неверный пароль
Введите пароль