Прогнозируем профпригодность: «метод контрастных групп»

5081
 Чемеков Валерий
кандидат психологических наук, директор по персоналу
Оценка кандидатов при трудоустройстве и прогнозирование профессиональной пригодности, как правило, осуществляются на основе компетенций. Это самый распространенный инструмент специалистов по человеческим ресурсам. Он имеет развитую методическую базу и богатую историю. Однако существуют и другие варианты.

Чаще всего оценку профпригодности начинают с определения профессионально-важных качеств и компетенций. На основе списка этих характеристик составляют профессиограммы или подобные документы. Однако вскоре после появления они... попадают на дальнюю полку. Опыт показывает: подбирать кадры с помощью профессиограммы или перечня компетенций неудобно, а иногда и невозможно по двум причинам.

Причина первая. Каждому руководителю, естественно, нужны лучшие работники, поэтому часто звучит требование указать в профессиограмме высокий уровень развития личностных и деловых компетенций.

Что касается моральных качеств, то работодатель, как правило, хочет видеть их в своих сотрудниках выраженными в максимальной степени. Но и требования к кандидатам, предполагающие вариативность, - опыт работы, интеллектуальный уровень, образование - обычно тоже неоправданно завышаются. Так, сегодня подавляющее большинство работодателей подбирают людей только с вузовским дипломом. Это ведет к повышению уровня компенсаций в стране и вызывает страсти в сфере ЕГЭ: практически все выпускники городских школ ориентируются на получение высшего образования.

Причина вторая.Даже если требуемые компетенции определены, причем объективным путем, и профессиограммы составлены, то возникают вопросы: как кадровику использовать такой документ? Что выбрать в качестве «измерительных инструментов» - ассессмент, тесты? Как разработать процедуру центра оценки и как затем интерпретировать полученные результаты?

Практическое применение профессиограмм затруднено еще и тем, что при смене руководства HR-департамента вводится и новый идеологический и методологический подход к описанию требований к персоналу. Зачастую проделанная работа по определению компетенций нигде не фиксируется, и отсутствие документальных «следов» заставляет нового кадровика усомниться в качестве имеющихся профессиограмм. Так или иначе, но приходится все делать заново, что, естественно, вызывает недовольство сотрудников.

Таким образом, с одной стороны, списки компетенций составляются ненаучно, требования завышаются, а с другой - не всегда есть возможность выявить эти качества у человека.

Однако «описательному» подходу к диагностике характеристик сотрудника можно противопоставить метод, который стоило бы назвать «целостным», когда работа описывается не отдельными элементами - требуемыми компетенциями, а рассматривается целиком.

Автора такого подхода - Д. Макклелланда после выхода известной статьи можно считать и «отцом» термина «компетенция». По его мнению, спрогнозировать качество работы будущего сотрудника можно следующим образом:

  • используя критериальные выборки для сравнения успешных работников с неуспешными;
  • определяя характеристики (мышление и поведение), помогающие достичь нужного результата и отличающие сотрудников двух групп.

Данный способ прогнозирования успешности получил название «метод контрастных групп». Онзаключаетсяв разработке нового опросника путем отбора пунктов из исходного теста с помощью дискриминантного анализа заданий (Item Analysis). Цель данного анализа - поиск тех вопросов исходного теста, на которые представители разных групп дают устойчиво отличающиеся ответы. Из выбранных пунктов составляют новую шкалу к исходному тесту или самостоятельный тест.

Алгоритм создания шкалы или теста таков:

1. Подбор критерия, на основании которого будет строиться прогноз.

2. Определение групп успешных и неуспешных работников.

3. Заполнение одного теста-опросника обеими группами.

4. Статистический анализ ответов.

5. Определение ключа к новому опроснику.

6. Определение «решающего правила», нормирование.

Технология действует при соблюдении двух условий:

  • наличие объективного критерия успешности работников (объем продаж, число заключенных договоров, объем привлеченных кредитов);
  • работников можно отнести к успешным и неуспешным по этому критерию. Рассмотрим подробнее перечисленные шаги.

1. Подбор критерия.

Критерий будет определять прогноз, т.е. результаты теста можно считать валидными только для оценки именно заявленного качества.

Так, при разработке теста для риелторов был выбран критерий «количество заключенных и реализованных договоров за определенный период». При стабильности вторичного рынка жилья в Москве заключение договора означает, что деньги будут заработаны и оборот сделки не играет роли. Другими словами, факт привлечения клиента и доведения сделки до конца оказался в период стабилизации рынка в столице важнее размера дохода.

При разработке шкалы оценки для сотрудников колл-центра (сервисная поддержка) крупной телекоммуникационной компании в качестве критериев были использованы данные о выполнении KPI в течение года: отсутствие повторных обращений клиентов, количество обслуженных клиентов, отсутствие нарушений технологии предоставления услуги. Шкала оценки эффективности продаж услуг по телефону в этой же организации разрабатывалась на основе KPI: объем продаж в деньгах, план по номенклатуре услуг, отсутствие жалоб клиентов.

2. Определение групп успешных и неуспешных работников.

Как правило, группа успешных сотрудников гораздо меньше по численности, чем неуспешных. Последними нередко признаются все, кто не попал в группу успешных. Но раз речь идет о «контрастных группах», то лучше создать такой контраст. И чем он больше, тем больше вероятность того, что анализ отсеет вопросы, на которые в этих группах даются разные ответы.

Группу неуспешных сформировать, как ни парадоксально, сложнее, чем группу успешных -первые быстро увольняются, а протестировать их «на выходе» бывает непросто: у них уже низкая мотивация. Поэтому важно провести тестирование «на входе» в компанию, чтобы post factum использовать полученные результаты. Поскольку неуспешные работают в компании, как правило, недолго, это гарантирует сохранение «срока годности» данных.

Имеет значение численность групп: чем они меньше, тем «контрастнее», но и тем меньше вопросов в новый тест отбирается в результате анализа. Это чревато тем, что вопросов может быть недостаточно для формирования валидной шкалы.

Чем группы больше, тем больше вопросов в полученной шкале, но и тем меньше «различающая способность» каждого из них, труднее разрабатывать «различающее правило» - находить критерий для нового теста, по которому судить о степени успешности тестируемого, т.е. сложнее минимизировать ошибки.

При создании опросника для прогноза успешности в продажах оптимальная группа успешных составила 41 человек, группа неуспешных - 55 работников; для колл-центра - 46 успешных и 26 неуспешных; для риелторов - соответственно 28 и 43.

3. Опрос членов групп.

Для выявления различий в группах применяют стандартный тест-опросник, обладающий определенными свойствами:

  • он должен быть «длинным», чтобы была высокая вероятность нахождения «различающих» вопросов;
  • должен предполагать ответы двух типов: «да/ нет», «согласен/ не согласен».

Идеально подходящие инструменты - опросники MMPI (СМИЛ) и CPI, имеющие много шкал. Во-первых, они созданы по той же самой технологии, поэтому смысл многих вопросов «отвязан» от измеряемого качества. Во-вторых, они содержат несколько десятков пунктов, которые не относятся к основным шкалам опросников, но используются в дополнительных шкалах и оставлены «про запас» для разработки новых шкал.

4. Анализ пунктов опросника.

При анализе может быть примененонесколько алгоритмов, среди которых: фи-критерий, хи-квадрат, бисериальный и тетрахорический коэффициенты корреляции. Наиболее популярным можно считать алгоритм, основанный на проверке разницы средних значений (частот ответов) в двух группах (Т-критерий).

Цель анализа - опровержение статистической «нуль-гипотезы» об отсутствии различий в средних значениях ответов на каждый вопрос в двух группах на заданном уровне значимости. Алгоритм, основанный на этой статистике, в отличие от некоторых других, легко реализовать в среде MS Excel с опорой на справочник к функциям.

Можно использовать и более простое правило: если частоты ответов на вопрос различаются в группах в пропорции 20:80, то эти вопросы можно отобрать для нового теста. Опыт, однако, показывает, что таким путем отбирается мало вопросов.

Отобранные в результате анализа пункты составляют новую шкалу или самостоятельный опросник. Обычно таких пунктов набирается от 15 до 100. На их число влияют:

  • «сила» критерия - если по нему можно достаточно четко (объективно, контрастно) выделить группы, то и различий в ответах может быть больше, так же как и вопросов в новой шкале;
  • значимость критерия - если она составляет 0,05, то различающих вопросов будет больше, чем в случае значимости на уровне 0,01. Этот показатель означает процент вероятности, с которой «нуль-гипотеза» принимается. Например, значимость критерия 0,05 означает, что есть 5% вероятности принятия гипотезы о равенстве частот ответов на вопросы в группах.

Так, идеальный опросник для прогноза успешности риелтора содержит 58 пунктов, для колл-центра - 74, для сферы телефонных продаж - 54.

5. Определение ключа к новому опроснику.

Наиболее частый ответ на вопрос теста в группе дает ключ. Так, если на вопрос чаще всего отвечают «да» или «нет» в группе успешных, то он считается прогнозирующим успешность и ему присваивается балл.

6. Определение «решающего правила», нормирование.

Есть два способа составления прогноза на основе полученного инструмента:

  • найти «пороговый» балл для отнесения кандидата к категории успешных или неуспешных, т.е. создать «решающее правило»;
  • нормировать данные, получаемые с помощью нового теста.

В первом случае тестовые данные в двух группах пересчитываются по новому ключу, и становится видно, на каком интервале данных проходит граница между баллами, набранными успешными работниками, и баллами неуспешных.

Нормирование осуществляется исходя из значительного массива данных испытуемых без разделения их на группы. Массив описывается статистиками как «среднее значение» и «стандартное отклонение». На их основе можно строить шкалу стенов, Т-баллов или Z-шкалу. Исследователь может выбрать и процентильную шкалу.

Особенности полученной шкалы

Составленные рассмотренным способом шкалы не находят применения за рамками конкретной организации, в которой они создавались.

Успех работника в компании зависит не только от профессиональных умений, но и от его соответствия ценностям, корпоративной культуре, взаимопонимания с руководством. Полученная шкала выявляет именно эти особенности испытуемого.

Но данный инструмент не покажет структуру компетенций кандидата. При интерпретации результатов такого тестирования невозможно понять, благодаря каким качествам сотрудник будет эффективным. Также тест не позволит спрогнозировать успешность соискателей, претендующих на вакансии в другие подразделения. Например, шкала, созданная для применения ее в телефонных продажах, не будет валидной для прогнозирования в сфере личных или оптовых продаж.

Вместе с тем такого рода инструмент не требует искусства интерпретации данных, кроме вывода «успешен/ неуспешен», что допускает использовать его специалистам, не являющимся психологами. Кроме того, он сокращает время на оценку кандидатов.

Пункты теста не отражают содержание прогнозируемой деятельности. Приведем в пример несколько вопросов теста для прогноза успешности работы в колл-центре, основанного на вопросах MMPI:

  • «Я люблю научно-популярные журналы по технике»;
  • «Думаю, что работа библиотекаря мне бы понравилась»;
  • «Определенно, судьба несправедлива ко мне»;
  • «Временами мне очень хотелось покинуть дом».

Эффект тестирования определяет низкую «очевидную валидность», т.е. мнение испытуемого о целях тестирования, которое обычно формируется на основании содержания вопросов. Не понимая целей опроса, кандидат лишается возможности угадывать «правильные» ответы - те, которые могут повысить его шансы успешно пройти тестирование, что увеличивает точность прогноза. В этом проявляется «великая магия» тестов: спрашивают об одном, а вывод делают совсем о другом!



Подписка на статьи

Чтобы не пропустить ни одной важной или интересной статьи, подпишитесь на рассылку. Это бесплатно.

Самое выгодное предложение

Самое выгодное предложение

Воспользуйтесь самым выгодным предложением на подписку и станьте читателем уже сейчас

Живое общение с редакцией


Опрос

Начинка для торта

  • Суфле 10.77%
  • Мусс из черной спородины 1.54%
  • Сырное "Парфе" 4.62%
  • Три шоколада 13.85%
  • Чизкейк Нью-Йорк 12.31%
  • Медовый Торт 4.62%
  • Медовый классический торт 0%
  • Фисташковое пралине 15.38%
  • Йогуртовый мусс с маскарпоне 7.69%
  • Шоколадно ментоловый мусс 6.15%
  • Черничный торт со свежей голубикой 9.23%
  • Шоколадный торт с ирландским муссом 7.69%
  • Ореховый торт 13.85%
  • Профитроли с карамелью 0%
  • Эстерхази 10.77%
  • Тирамису 15.38%
  • Мильфей 4.62%
  • Торт Мокко 7.69%
  • Десерт Павлова (без муки) 4.62%
  • Немецкий молочный торт 1.54%
  • Сметанный домашний торт 16.92%
  • Мусс из чернослива 4.62%
  • Мусс манго - малина или манго - маракуйя 9.23%
  • Норвежский торт Най 0%
  • Домашний бисквитный ягодный торт 30.77%
Другие опросы

Рассылка



PRO-personal.ru: сайт для специалистов по кадрам и управлению персоналом

Все права защищены. Полное или частичное копирование любых материалов сайта возможно только с письменного разрешения редакции сайта. Нарушение авторских прав влечет за собой ответственность в соответствии с законодательством РФ.

Свидетельство о регистрации электронных СМИ № ФС77-40332 от 23 июня 2010 года


  • Мы в соцсетях
Ознакомительный период завершен

Продолжить чтение можно после бесплатной регистрации.

В дополнение вы получите шаблоны самых востребованных и учитывающих профстандарты должностных инструкций:

  • выберите нужную инструкцию
  • скачайте ее БЕСПЛАТНО после регистрации



У меня есть пароль
напомнить
Пароль отправлен на почту
Ввести
Я тут впервые
И получить доступ на сайт
Займет минуту!
Введите эл. почту или логин
Неверный логин или пароль
Неверный пароль
Введите пароль
×
Зарегистрируйтесь, чтобы скачать

Скачивание материалов доступно только для зарегистрированных участников


У меня есть пароль
напомнить
Пароль отправлен на почту
Ввести
Я тут впервые
И получить доступ на сайт
Займет минуту!
Введите эл. почту или логин
Неверный логин или пароль
Неверный пароль
Введите пароль