Конструирование квалификационных тестов

5798
Принцип эффективной кадровой политики гласит: нужный человек на нужном месте (The right man in the right place). В соответствии с ним одна из основных задач подбора персонала - прогнозирование успешности кандидатов. Поговорим о создании методики тестирования профессиональных знаний на начальных стадиях отбора, когда требуется провести оперативный отсев претендентов, не подходящих по выделенным критериям.
Медиагруппа «Актион-Медиа» образована в 1994 г. Работает на рынке B2B изданий. Численность персонала - 940 человек.

Суть метода тестирования состоит в том, что оценщик объективно определяет уровень знаний испытуемого (впрочем, всегда присутствует стандартная погрешность измерения). На испытательном сроке этим способом можно установить степень соответствия профессиональных качеств специалиста требуемым в компании и сделать вывод о достоверности оценки при подборе. И если в организации используется эффективная тестовая методика, то провести первичную оценку профессионализма сможет и сотрудник, не владеющий специальными знаниями (что облегчает работу HR-менеджера, который при массовом рекрутинге должен закрывать множество вакансий).

Рассмотрим стадии разработки квалификационных тестов.

Этапы разработки теста профессиональных знаний

Любые тестовые методики, чтобы быть эффективными, должны обладать следующими характеристиками:1. Надежность - устойчивость результатов теста к воздействию случайных посторонних факторов.2. Дискриминативность - дифференциация испытуемых по результатам выполнения задания.3. Валидность - соответствие поставленным задачам.4. Стандартизированность - возможность определения нормативных показателей.

1. Формулирование заданий

Составлять задания можно несколькими распространенными способами (см. табл. 1).

Конструирование квалификационных тестов

При этом стоит придерживаться следующих рекомендаций:
• использовать в одном тесте разнообразные задания, поскольку это снижает утомление оцениваемого и уменьшает влияние привычки отвечать на вопросы определенного типа;
• конструировать вдвое больше заданий, чем необходимо для окончательного варианта теста, так как впоследствии часть из них, скорее всего, будет отсеяна;
• задания в тесте желательно располагать от простого к сложному. Обратный их порядок не дает возможности среднему испытуемому набрать нужное количество баллов, а это снижает достоверность результатов;
• тест должен быть сконструирован таким образом, чтобы время выполнения заданий не превышало 1-1,5 часа (это норма непрерывного тестирования знаний взрослого человека);
• задания должны быть валидными. При конструировании тестов для проверки профессиональных знаний учитываются два вида валидности: очевидная - когда у испытуемых не возникает сомнений в том, что все задания направлены на оценку указанного свойства или компетенции; содержательная - когда требуется глубокое обоснование того, что задания теста отражают все аспекты исследуемой области знаний. Оценку содержательной валидности проводят внешние и внутренние эксперты.

2. Пилотное тестирование

При формировании выборки испытуемых для проверки теста следует учитывать две важные переменные: репрезентативность (выборка должна точно отражать категорию лиц, для которых предназначен тест) и объем. Чтобы квалификационный тест был эффективным, в выборку следует включать, по разным оценкам, от 200 до 500 человек. На практике это правило трудно реализовать, поскольку HR-менеджер обычно ограничен в ресурсах. Но даже маленькая репрезентативная выборка лучше, чем полный отказ от проверки теста.

3. Анализ, оценка и выбор заданий

Цель данного этапа - отбор заданий для измерения необходимого параметра. Рекомендуется использовать два показателя:
• долю испытуемых, давших правильные (ключевые) ответы (P);
• величину корреляции заданий с общим показателем по тесту (r).

Рассмотрим процедуру по шагам:3.1. Вычисление среднего арифметического (МT) и стандартного отклонения (σ) результатов для всей группы заданий по тесту.

Среднее арифметическое (МT) определяется по формуле:

Конструирование квалификационных тестов

где Mi – общий результат по тесту i-го испытуемого;NT – общее количество испытуемых.

Стандартное отклонение (σ) рассчитывается по формуле:

Конструирование квалификационных тестов

3.2. Для каждого задания теста вычисляется:
MH – среднее значение показателя по тесту для испытуемых, давших правильный ответ;
NH – количество испытуемых, давших правильный ответ на задание;
NL – количество испытуемых, не справившихся с заданием;
Р – доля испытуемых, давших правильный ответ:

P = NH / NT,

q – доля испытуемых, не справившихся с заданием:

q = 1 – Р.

3.3. Определение среднего значения по тесту для испытуемых, давших неправильный ответ (ML):

Конструирование квалификационных тестов

3.4. Определение точечно-бисериального коэффициента корреляции каждого задания с показателем результата по тесту (r):

Конструирование квалификационных тестов

Итак, данная процедура определяет для каждого задания два важных статистических показателя:
• долю испытуемых, давших правильный (ключевой) ответ (Р);
• значение корреляции с общим показателем (r).

Окончательный выбор заданий для тестовой методики осуществляется с учетом следующих рекомендаций:1. Чем выше корреляция r, тем лучше задание. В идеале все задания должны иметь корреляцию с общим показателем не ниже 0,2.2. Удовлетворительными считаются задания со значением Р от 0,2 до 0,8. Однако в некоторых случаях в тесте можно оставить задания с показателем Р ниже 0,2, чтобы установить, кто из тестируемых наиболее успешен по определенному качеству.

Если количество отобранных заданий соответствует запланированному, можно переходить к следующему этапу. В противном случае необходимо сформулировать новые задания и повторить процедуру анализа, оценки и выбора.

4. Определение коэффициента надежности

Коэффициент надежности можно рассчитать несколькими способами. Рассмотрим пошагово технологию вычисления по формуле K-R20:4.1. Вычисление дисперсии для показателей теста (σ2). Для этого стандартное отклонение по тесту (σ) из п.3.1. возводится в квадрат.4.2. Коэффициент надежности (rkk) определяется по формуле:

Конструирование квалификационных тестов

где k – количество заданий в тесте.

Этот коэффициент должен быть не менее 0,7. Если его значение невысокое, то можно добавить к тесту задания из тех, что были отсеяны на предыдущем этапе, но имеют наилучшие показатели по статистическим критериям. Затем коэффициент надежности пересчитывается.

Если тест удовлетворяет критериям, обозначенным выше, можно сказать, что сконструирован однородный, надежный тест. Однако этих характеристик недостаточно для того, чтобы признать тест эффективным. Так, надежный тест, по которому все испытуемые показали одинаковые результаты, вряд ли будет полезен компании. Поэтому следующий шаг – определение дискриминативности теста.

5. Определение дискриминативности теста

Рассмотрим эту процедуру по шагам:5.1. Определение частоты встречаемости показателей для данного теста (fi).

Пример

В тесте 5 заданий, выборка состоит из 20 испытуемых. Предположим, что 5 баллов (правильные ответы на все задания теста) набрали 3 человека, 4 балла – 9 человек,3 балла – 6 человек, 2 балла – 1 человек, 1 балл – 1 человек, 0 баллов не было ни у кого. Таким образом, f1= 3, f2=9, f3=6, f4=1, f5=1, f6=0. ∑fi = 20.

5.2. Определение дискриминативности (δ Фергюсона) теста.

Конструирование квалификационных тестов

где n – количество заданий;fi – частота встречаемости каждого показателя.

Если значение δ превышает 0,9, то с уверенностью можно сказать, что тест является дискриминативным. Если же показатель низкий, это означает, что в тесте слишком мало простых, а также трудных заданий. Поэтому могут потребоваться новые задания.

6. Стандартизация оценок

Под стандартизацией понимается процедура определения нормативных показателей. Рассмотрим наиболее распространенный способ стандартизации. Показатель Z – это отклонение первичного, необработанного показателя Mi от среднего значения по выборке MT, деленное на стандартное отклонение распределения σ:

Конструирование квалификационных тестов

Z-показатели принимают значения от –3 до +3, среднее – 0.

Средняя норма: от – 1 до 1. В этот диапазон попадают около 70 % испытуемых. Высокая норма – выше 1, низкая – ниже 1 (приблизительно по 15 % испытуемых).

Некоторые специалисты-практики для удобства восприятия информации используют преобразованные Z-показатели, которые рассчитывают по формуле:

Конструирование квалификационных тестов

где Zt – преобразованный Z-показатель;А – среднее значение преобразованного распределения;B – стандартное отклонение преобразованного распределения.

При конструировании тестов обычно производится преобразование Z-показателей с помощью следующих шкал:1. Т-шкала Мак-Колла: А=50, В=10.2. Шкала IQ: А=100, В=15.3. Шкала «стэнайнов» (целочисленные значения от 1 до 9 – стандартная девятка): А=5, В=2.4. Шкала «стэнов» (стандартная десятка): А=5,5, В=2.

Для наглядности можно использовать форму таблицы (см. табл. 2).

Конструирование квалификационных тестов

Тогда интерпретация результатов при использовании, к примеру, шкалы IQ может быть следующей:
• Zt < 85 – низкая норма;
• 85 ≤ Zt ≤ 115 – средняя норма;
• Zt > 115 – высокая норма.

Данная технология на первый взгляд кажется сложной. Однако конструирование методики в соответствии с предложенными рекомендациями позволяет разработать уникальный корпоративный тест профессиональных знаний, удовлетворяющий требованиям валидности, надежности, дискриминативности, стандартизиро-ванности.

Для удобства расчетов можно воспользоваться компьютерными программами (например, Excel). В некоторых компаниях даже разрабатываются электронные версии тестов. Это облегчает не только обработку результатов, но и проведение тестирования. Однако следует учесть, что перевод теста из «бумажной» версии в компьютерную требует повторного исследования всех его важных характеристик.

Данная технология позволяет разработать не только квалификационные тесты по специальностям, но и, например, тесты на оценку уровня владения деловой лексикой (в том числе на иностранном языке), знания продуктов фирмы, особенностей бизнеса компании, усвоения корпоративных правил и стандартов, правовых норм, регламентирующих работу персонала и пр.

Практика применения методики

Предложенная методика конструирования квалификационных тестов использовалась на разных предприятиях в целях первичного отбора, деловой оценки персонала, подбора кандидатов в кадровый резерв. Познакомимся с опытом ее применения при построении кадрового резерва в одной из компаний.

На момент внедрения методики медиагруппа «Актион-Медиа» находилась на этапе стремительного роста, когда в ней работали всего 230 человек. И, несмотря на такой немногочисленный штат, уже тогда удавалось выпускать более 30 журналов и газет для бизнес-сообщества.

Подбор сотрудников был задачей номер один: для выпуска изданий медиагруппы требовались уникальные специалисты - эксперты в своем профессиональном направлении, умеющие хорошо писать. На рынке труда таких единицы. Для решения сразу нескольких задач и была разработана программа «Кадровый резерв», включившая комплексную оценку интеллектуального, личностного и управленческого потенциала сотрудников и соискателей на вакантные позиции в медиагруппе. Используя данную методику, можно принять решение о найме, продвижении, перемещении, рациональном использовании и профессиональном обучении работников. Кроме того, программа дает возможность людям самим оценить свой потенциал и возможность карьерного роста в рамках компании.

В созданном корпоративном тесте 5 шкал (интеллектуальные способности, уровень эрудиции, мотивация, стиль управления, личностные особенности). С помощью предложенной методики были спроектированы и проверены на качество вопросы для первых двух шкал (см. табл. 3).

Конструирование квалификационных тестов

Построение заданий для тестов и проверка программы осуществлялись более четырех месяцев. А чтобы вывести нормативные шкалы, понадобилось более 500 испытуемых. Но эффект от программы оправдал все ожидания. На сегодняшний день состоялись два выпуска участников программы. Из 12 резервистов 5 сотрудников заняли вакантные руководящие позиции.

Несмотря на то, что на рынке труда профессионалов в области В2В-медиа по-прежнему существует нехватка специалистов, благодаря программе «Кадровый резерв» эта проблема в «Актион-Медиа» решается профессионально и оперативно.



Подписка на статьи

Чтобы не пропустить ни одной важной или интересной статьи, подпишитесь на рассылку. Это бесплатно.

Самое выгодное предложение

Самое выгодное предложение

Воспользуйтесь самым выгодным предложением на подписку и станьте читателем уже сейчас

Живое общение с редакцией


Рассылка




PRO-personal.ru: сайт для специалистов по кадрам и управлению персоналом

Все права защищены. Полное или частичное копирование любых материалов сайта возможно только с письменного разрешения редакции сайта. Нарушение авторских прав влечет за собой ответственность в соответствии с законодательством РФ.

Свидетельство о регистрации электронных СМИ № ФС77-40332 от 23 июня 2010 года


  • Мы в соцсетях
Статья для специалистов по работе с кадрами!

Зарегистрируйтесь, чтобы продолжить чтение.

Дополнительно Вы сможете:
- прочитать еще 5600 рекомендаций по кадровой и HR-тематике
- скачать 4800 готовых образцов документов
- посмотреть 54 видеолекции по трудовому законодательству

Подарок дня: Справочник должностных инструкций по профстандартам

У меня есть пароль
напомнить
Пароль отправлен на почту
Ввести
Я тут впервые
И получить доступ на сайт
Займет минуту!
Введите эл. почту или логин
Неверный логин или пароль
Неверный пароль
Введите пароль
Зарегистрируйтесь на сайте и скачайте файл!

Это бесплатно и займет всего одну минуту! Вам станут доступны для скачивания более 2000 форм и образцов документов.

У меня есть пароль
напомнить
Пароль отправлен на почту
Ввести
Я тут впервые
И получить доступ на сайт
Займет минуту!
Введите эл. почту или логин
Неверный логин или пароль
Неверный пароль
Введите пароль