Достоверность, связанная с критерием

Коэффициент отбора не единственный фактор, который влияет на получение выгод от отбора персонала. В силу того что идеальный отбор встречается редко (так как он зависит от идеальной взаимосвязи между методом отбора и связанным с критерием средством измерения выполнения работы), необходимо уменьшать предположения о результатах среднего выполнения работы успешными кандидатами. Поскольку коэффициенты валидности (см. Главу 4) отражают реальные взаимосвязи между методом отбора и связанным с критерием средством измерения выполнения работы, их можно использовать, чтобы уменьшить прогнозируемые результаты среднего выполнения работы отобранными кандидатами. Например если бы показатель валидности был равен нолю, то даже при отборе верхних 25 процентов кандидатов, базирующемся на их показателях метода отбора, их показатели выполнения работы могли бы распределяться по всему диапазону со средним выполнением в средней точке дистрибуции (0 = 1,28 х 0). Однако если бы показатель достоверности, связанной с критерием, метода отбора был равен 0,5, мы могли бы ожидать, что при коэффициенте отбора 0,25 среднее выполнение работы отобранными кандидатами было бы 0,64 средних отклонений выше среднего (1,28 х 0,5). Возможные выгоды от отбора персонала возрастают пропорционально показателям валидности применяемого метода отбора. Следовательно, чем выше показатели достоверности, связанной с критерием, метода отбора, тем больше потенциальные финансовые выгоды. Как уже объяснялось, очевидно, что при показателе валидности, равным 1,0 (то есть при идеальном отборе), среднее выполнение работы отобранной группой составляет 1,28 средних отклонений выше среднего (1,28 х 1).

Денежное выражение

До момента оценки реальных финансовых прибылей от отбора персонала необходимо подсчитать денежное выражение одного среднего отклонения (SDy) выполнения работы. Основываясь на определенных эмпирическим путем взаимосвязях между средней заработной платой и средней производительностью, Хантер (Hunter) и Шмидт (Schmidt) (1982) предложили, что по методу приближенного подсчета денежное выражение одного среднего отклонения выполнения работы (SDy) эквивалентно значению, составляющему от 40 до 70 процентов от заработной платы по конкретной вакансии. Однако поскольку лица, принимающие решения, больше доверяют оценкам с завышением погрешностей, применение метода приближенного подсчета в большинстве случаев допускает ошибку со стороны осторожности, используя 40 процентов от заработной платы в качестве точки отсчета при подсчете SDy. Преобразовать среднее отклонение выполнения работы в денежное выражение несложно. Например годовой исходный оклад в £ 14000 даст нам оценку SDy в размере £5600 в год. В предыдущем примере улучшения выполнения работы были оценены в 0,64 средних отклонений. В денежном выражении, так как SDy базируется на годовой заработной плате, финансовая прибыль составила бы £3584 в год на кандидата (£ 5600 х 0,64). Таким образом, добавленная стоимость от хорошего отбора для организации может оказаться весьма значительной.

Формулы полезности

Полная формула финансовой прибыли, полученной от отбора персонала, может быть выражена так:

U = (CDy)(Zx)(r) - С

 

где CDy — денежное выражение одного среднего отклонения выполнения работы; Zx — среднее выполнение работы (в единицах среднего отклонения) отобранной группы (то есть стандартизированный показатель выполнения работы); г — коэффициент валидности; а С — затраты на процедуру отбора. Когда получены оценки всех параметров, становится относительно просто подсчитать потенциальные финансовые прибыли (ROI), умножив каждый параметр на другие.

Однако в уравнение надо также включить два добавочных фактора. Они связаны с тем, сколько работников планируется нанять, и в какой срок это надо сделать. Это важно потому, что системы отбора редко используются для отбора только одного работника, и большинство работников остаются в организации на довольно долгое время. Следовательно, оценки полезности должны отражать эти факторы. Ниже предлагается пример с решением, где показан подбор выпускников на пять управленческих вакансий стажеров:

(a) предположим, что коэффициент отбора составляет 1:4 или 0,25 (стандартизированный показатель выполнения работы в результате составит 1,28 (Zx) средних отклонений выше среднего);

(b) предположим, что в процедуре отбора использовались психологические тесты и ситуационные интервью с валидностью 0,5 (г);

(c) предположим, что заработная плата для рассматриваемой вакансии составляет £ 14000. CDy, равный £5600, базируется на правиле 40 процентов;

(d) предположим, что средний срок найма (Т) для существующих работников составляет 3 года;

(e) предположим, что планируется заполнить пять вакансий (N);

(f) предположим, что суммарные прямые затраты на кандидата (С) составляют £500.

 

Финансовая прибыль (ROI) в расчете на одного работника за год составит

= (Zx)(r)(SDy) –С = [1,28 х 0,5 х £5600] - £500 = £3084

 

Общий предполагаемый финансовый доход (ROI) для организации от найма пяти менеджеров-стажеров за следующие три года составит

= (ROI) (T) (N) = Общий ROI = £ 3084 х 3 года х 5 стажеров = £46260.

 

Таким образом, в этом примере каждый отобранный менеджер-стажер «стоит» более 3000 в год для организации по сравнению с произвольно отобранными работниками. Предположим, что все пять кандидатов оставались в организации на 3 года и совместно они принесли ей дополнительные £46000. Можно провести более реалистичное сравнение (чем сравнение с произвольным отбором), сопоставив выгоды от предполагаемой новой процедуры отбора и выгоды существующей процедуры. Например, если ранее использовались неструктурированные интервью с валидностью только 0,2, то выгоды составляли:

 

ROI = (SDy) (Zx) (r) – С = [1,28 х 0,2 х £5600] - £500 = £933,60 на кандидата

Общий ROI = (ROI) (N) (T) = £933,60 x 5 стажеров х З года = £14004,00

 

Маловероятно, что организация будет инвестировать в процедуру отбора, чтобы использовать ее только один раз; скорее всего принятая процедура отбора будет использоваться для будущих кандидатов, и, следовательно, принесет в дальнейшем гораздо больший доход на вложения.

СЛОВАРЬ ТЕРМИНОВ

Альфа Кронбаха— коэффициент достоверности многоэлементных измерений, показывающий внутреннюю устойчивость измерения.

Анализ затрат и результатов— практический способ оценить желательность выполнения определенного ряда действий.

Анализ полезности— общий метод, применяемый для описания, прогнозирования и объяснения полезности или желательности вариантов решения; анализ возможности использования информации при принятии решений. В данном случае этот метод применяется для исчисления соотношения прибылей и затрат, связанных с рядом действий, обычно выраженных как

Анализ содержания работы— общий термин, применяемый для обозначения методологии систематического распознавания атрибутивных характеристик работы (работ).

Астрология— псевдонаука, утверждающая, что расположение планет определяет поведение и характер человека.

Биографические данные— биография кандидата.

Внешняя достоверность— восприятие, насколько верно происходит оценка при тестировании.

Графология— исследование почерка. Первоначально графологией занимались судебные эксперты, выявляя с ее помощью подделанные подписи и пр. В нашем случае, применительно к отбору персонала, это псевдонаука; ценность графологии в процессе тестирования личности кандидатов сомнительна и недоказанна.

Групповое упражнение «Без лидера»— ролевая игра, участники которой оцениваются по своим способностям к коммуникации и разрешению проблем. Обычно применяется в центрах оценки кандидатов во время процедуры отбора.

Демографические данные— в нашем случае это распределение работников в соответствии с их полом, возрастом, расовой принадлежностью, социально-экономическим статусом и другими факторами.

Дипломированный психолог BPS— профессиональный психолог, занимающийся практической психологией, обладающий соответствующей квалификацией и опытом работы, зарегистрированный в реестре психологов, издаваемым Британским психологическим обществом (British Psychological Society — BPS). Дипломированные психологи BPS ведут свою деятельность в соответствии с Кодексом поведения и несут ответственность перед BPS. Письменным обозначением их причастности к BPS служит аббревиатура «CPsychol». Специализация обозначается аббревиатурами (например Осс (Occupational — профессиональный), Clin (Clinical — клинический), Ed (Educational — педагогический), Foren (Forensic — судебный), Couns (Counselling — консультант)), помещенными между «С» и «Psychol». Некоторые дипломированные психологи BPS не используют эти аббревиатуры, хотя имеют право пользоваться ими.

Должностная инструкция— официальный документ, разрабатываемый на основе анализа содержания работы и описывающий конкретные задачи и виды деятельности, выполняемые работником; а также производимую продукцию и минимальные требования к компетенции кандидата. Требования к персоналу и критерий оценки кандидата определяются на основе должностной инструкции.

Достоверность— общее обозначение, применяемое для описания надежности способа измерения или теста. В сущности, показывает пределы, в которых метод отбора дает одинаковые результаты при неоднократном применении в равных условиях. Основным принципом является устойчивость измерения. Важный оценочный критерий.

Достоверность повторного тестирования— соотношение между показателями одного и того же теста, проведенного дважды с одним лицом. Показывает неизменность теста через определенный промежуток времени.

Достоверность, связанная с критерием— соотношение между тестированием в процессе отбора и выполнением работы, рассматриваемое по какому-то отдельному критерию (например суммарное качество выполнения). Насколько близко тестирование соответствует последующему выполнению, определяется предсказательной достоверностью тестирования.

Затраты на кандидата— суммарные прямые затраты на подбор и отбор каждого кандидата. Используется в анализе эффективности отбора персонала для того, чтобы рассчитать соотношение прибылей и затрат.

«Инвентаризации» личности— мероприятия, имеющие целью измерить личностные характеристики кандидата. Часто используется в процедурах отбора. Существует множество различных теоретических подходов определения важнейших характеристик, но общепринятыми являются пять структурных компонентов личности: экстра-вертность, интровертность, готовность к выполнению поручений, добросовестность, открытость новому опыту.

Интервью— используется при отборе персонала для оценки пригодности кандидата. Существует много форм интервью, но лучшие результаты последовательно достигаются при помощи структурированных методов.

Интервью, основанное на версии шаблонной модели поведения— тип структурированного интервью, фокусирующего внимание на вопросах, касающихся поведения кандидата в прошлом.

Интерпретируемость— рамки, в границах которых количественные показатели теста поддаются интерпретации и имеют ясное значение. Важный оценочный стандарт для системы измерения.

Количество вакансий— количество открытых вакансий компании-работодателя. Используется в анализе полезности отбора персонала для исчисления соотношения прибылей и затрат.

Количество X Качество— Стоимость (т.е. SDy XZxXr XtrXVn-C)

Компетентность— способность лица продемонстрировать свое умение выполнять отдельные задания или заниматься определенными видами деятельности в соответствии с требуемыми стандартами, например с Национальными профессиональными стандартами (National Vocational Qualifications — NVQs).

Конструктивная достоверность— степень соответствия между тем, что должно быть измерено с помощью теста, и реальностью. В сущности, это оценка того, насколько структура системы тестирования соответствует своим конечным целям.

Корреляция— взаимосвязь между двумя (или более) факторами, при которой рост одного фактора сопровождается систематическим ростом или падением другого.

Коэффициент корреляции— статистический показатель, выражающий значение взаимосвязи между двумя факторами (например критериями отбора и выполнением работы). Чем сильнее взаимосвязь, тем дальше от 0 находится коэффициент корреляции; его максимальный диапазон от — 1 до + 1.

Коэффициент Кудера — Ричардсона— коэффициент внутренней устойчивости, обычно получаемый при помощи дихотомических ответов — показателей тестов (например простой формат подсчета «да/нет»)

Коэффициент отбора— отношение числа вакансий к числу кандидатов (например наличие четырех кандидатов на каждую вакансию означает, что коэффициент отбора равен 0,25). Используется для выведения среднего показателя выполнения (Z>x), применяемого в анализе полезности отбора персонала для исчисления соотношения прибылей и затрат.

Критерий— стандарт, в соответствии с которым производится суждение или оценка. При отборе персонала стандарт обычно отражает какой-либо аспект выполнения работы.

Мета-анализ— статистический метод компоновки результатов многих научных исследований с небольшими объемами выборок с целью заключения выводов, основанных на больших выборках. Этот метод также охватывает проблемы, связанные с ошибками выборочного исследования и другими методологическими артефактами.

Метод отбора— способ измерения, используемый для оценки и управления подбором кандидатов. Выбор подходящего метода отбора должен отталкиваться от важных характеристик работы и выводиться из анализа содержания работы. Методы отбора с высокой достоверностью, связанной с критерием: центры оценки потенциала кандидатов, структурированные интервью, пробные задания и психометрическое тестирование. Методы отбора с относительно низким уровнем достоверности, связанной с критерием: неструктурированные интервью, рекомендации, дипломы и свидетельства об образовании, графология и астрология.

Мультимодальное интервью— тип структурированного интервью, использующего многочисленные методы оценки. Заслуживает внимания, поскольку объединяет в себе лучшее от интервью, основанного на версии ситуационной модели поведения, и от интервью, основанного на версии шаблонной модели поведения. Внимание фокусируется как на поведении в прошлом, так и на намерениях кандидата.

Неблагоприятный эффект— возникает, когда метод отбора приводит к результатам, неблагоприятным для одной или нескольких специфических референтных подгрупп.

Нормальное распределение— теоретически ожидаемая колоколообразная вероятностная кривая распределения, полученная вследствие выборки на примере популяции, в которой могут произойти любые события. Вершина кривой показывает среднее значение. Расстояние от среднего значения представляет собой среднее отклонение (68 процентов показателей будут всегда находиться в пределах плюс-минус одного среднего отклонения).

Обратная связь— информация о выполнении тестов кандидатами, которая выдается им по окончании процедуры отбора. Обычно выражается в показателях их сильных и слабых сторон. Обратная связь должна быть конструктивной.

Оценка равных по положению— метод оценки, когда равные по положению лица или коллеги оценивают чьи-то действия. Предполагается, что равные по положению лица обладают лучшими возможностями, чтобы понимать повседневное поведение члена их группы.

Оценка супервайзера— оценка выполнения какого-либо аспекта (аспектов) работы лица, производимая его супервайзером / менеджером (непосредственным руководителем).

Оценочные стандарты— стандарты, при помощи которых оценивается качество системы измерения или процедуры отбора. Важные критерии измерительной системы: достоверность, валидность, интерпретируемость и практичность. Критерии процедуры отбора: эффективность, производительность и соотношение прибылей и затрат.

Позиционная система количественных показателей— ранжирует кандидатов по отношению друг к другу. Обычно основывается на данных стандартной таблицы, содержащей предыдущие показатели тестов или измерений других кандидатов.

Показатель Z— стандартный показатель со средним значением 0; средним отклонением 1; с диапазоном от +3 до — 3. Часто используется в качестве базового для показателей на базе 9, 10, показателя Т (например умножить Z на 10 и прибавить 50 для получения показателя Т).

Показатель на базе 10— преобразованный стандартный показатель со средним значением 5,5; средним отклонением 2; с диапазоном от 1 до 10.

Показатель на базе 9— преобразованный стандартный показатель со средним значением 5; средним отклонением 2; с диапазоном от 1до 9.

Показатель на базе критерия— предельный показатель, указывающий абсолютный уровень выполнения по отношению к определенному критерию (например сдал/ не сдал экзамен на водительские права).

Показатель Т— преобразованный стандартный показатель со средним значением 50; средним отклонением 10; с диапазоном от 20 до 80.

Полиграф— прибор, измеряющий физиологические симптомы беспокойства (например повышенное потоотделение или сердечный ритм и т.д.). Часто используемое название — «детектор лжи». При отборе кандидатов полиграф используют для того, чтобы обнаружить нечестных претендентов. Степень его достоверности невысока. В США его использование для отбора персонала запрещено.

Предельный показатель— уровень, являющийся показателем, прошел кандидат тестирование или нет. Определяется двумя основными чертами: количеством и качеством требуемых кандидатов. Его величина зависит от достоверности, связанной с критерием теста.

Пригодность— относится к потенциалу кандидата, его способности достичь успехов в определенной области или же приобрести требуемый уровень квалификации.

Притворство— как правило, выражает «социальную желательность»; относится к попыткам создания ложного впечатления посредством неискренних ответов на вопросы во время процедуры отбора.

Пробные задания— практические тесты — методы отбора, отражающие специфические особенности работы и содержащие задания, сходные с реальными. Объединяют в себе примеры типов поведения на работе. Включают упражнения, применяемые в центрах оценки кандидатов (например упражнение «Входящая корреспонденция», групповая ролевая игра «Без лидера» и др.), тестирование навыков печати и т.д.

Прогнозирующая достоверность— статистический коэффициент, отражающий, насколько точно тест или метод отбора прогнозирует отдельный аспект (или аспекты) выполнения работы успешного кандидата (например показатели, полученные в результате ролевой игры «Без лидера», и поведение кандидата, связанное с лидерством, на работе).

Процедура отбора— любой метод отбора, сочетание методов или процедура, используемая в качестве основы для принятия решения о найме.

Процентильный показатель— показатель, представляющий собой процентное отношение показателей в выборке, которые находятся ниже него. Например показатель теста кандидата «60-й процентиль» указывает, что 60 процентов показателей других кандидатов находятся на уровне этого показателя или ниже него. (Например: если 60-й процентиль представляет показатель 25, тогда 60 процентов кандидатов имеют показатели 25 или ниже).

Психометрия— измерение психологических качеств. Включает тестирование всех сторон внутреннего мира кандидата: интеллект, личные свойства и особенности характера, определяющие личность, склонности, способности и т.д.

Реалистичное представление работы— предоставление кандидату детальной реалистичной информации о работе. Хорошо информированные кандидаты редко увольняются после того, как уже начали работать. Таким образом, реалистичное представление работы сокращает издержки, связанные с текучестью кадров.

Рекомендации— информация о кандидате, предоставляемая «третьими лицами», в основном подтверждающая сведения, сообщенные кандидатом. Степень ее полезности не очень высока, за исключением случаев предоставления детальной информации о работе. Характеризуется высокой степенью структурированности и выражает большей частью факты, а не личное мнение.

Самооценка— оценка кандидатом своих способностей и компетенции, обычно в сравнении с другими.

Самооценка инициативности и производительности— выражает, «насколько велика способность кандидата предпринимать необходимый образ действий в предполагаемых рабочих ситуациях». Тесно связана с широким спектром типов поведения на работе.

Система количественных показателей на базе стандарта— используется для интерпретации показателей одного кандидата по отношению к показателям других. Часто показывается как процентиль или стандартный показатель.

Ситуационное интервью— тип структурированного интервью, фокусирующийся на намерениях кандидата. Базируется на теории постановки целей.

Согласующаяся достоверность— соотношение между количественными прогнозируемыми показателями и результатами целевого измерения, полученными в одно и то же время (например соотношение между количественными показателями, полученными имеющимися работниками во время тестирования в процессе отбора и их выполнения работы).

Содержательная достоверность— степень, до которой содержание тестирования соответствует его цели и функции. Содержание теста может быть визуализировано в качестве модели элементов, заданий или типов поведения, отражающих рассматриваемую область (например арифметический тест будет включать цифровые элементы)

Соотношение прибылей и затрат— количественное соотношение предполагаемых убытков или прибылей, ожидаемых вследствие некоторых действий, и связанных с ними издержек.

Среднее отклонение— квадратный корень из среднего квадрата (колебаний) ряда количественных показателей. Другими словами, индикатор величины отклонения от среднего в ряду показателей.

Средний квадрат— среднее значение ряда квадратов отклонений от среднего. Другими словами, колебания, связанные с рядом показателей.

Средний количественный показатель— это сумма всех показателей (например теста), разделенная на общее количество показателей. Демонстрирует основную тенденцию.

Срок найма— средняя продолжительность найма для существующих работников. Используется в анализе полезности отбора персонала для исчисления соотношения прибылей и затрат.

Стандартная таблица— таблица цифр, с помощью которой показатели теста кандидата можно сравнить с показателями тестов других кандидатов. Эти таблицы обычно включают пересчет в процентиль и стандартный показатель. Строительство стандартных таблиц требует наличия минимум 400 кандидатов, а также большого внимания и тщательности.

Стандартный показатель— показатель, указывающий место, где находятся показатели кандидата по отношению к среднему показателю от числа всех кандидатов отдельного теста.

Тест на способность к обучению— один из видов тестов-заданий, включающий структурированные и контролирующие обучение периоды. Используется главным образом для оценки потенциала к обучению неопытных кандидатов.

Тестирование честности— включает использование детектора лжи и «бумажное» тестирование, с тем чтобы определить, склонен ли кандидат к нечестному и вредоносному поведению.

Тесты на осведомленность— суррогат квалификационного теста, определяющий количество информации о работе, которым владеет кандидат. При этом от кандидата не требуется демонстрировать навыки поведения, связанные с этой работой.

Технология этапа проектирования— в данном случае это рамки, в пределах которых проводится систематическое усовершенствование всех процедур отбора организации, а также отдельных методов отбора, принимая во внимание практические и технические требования и ограничения.

Требования к персоналу— официальный документ, создаваемый на основе анализа содержания работы и определяющий навыки и качества, требуемые от кандидата.

Упражнение «Входящая корреспонденция»— ролевая игра, по условиям которой кандидаты получают папку с документацией (письмами, докладными записками и др.) и должны разрешить конкретные проблемы.

Центр оценки кандидатов— этот термин используется для описания процесса отбора, в котором применяются многообразные методы и привлекаются многочисленные эксперты, чтобы обеспечить всестороннюю оценку кандидата. Этот термин не имеет отношения к географическому местонахождению.

Центральная точка распределения— средний количественный показатель (т.е. средний показатель всех кандидатов, прошедших тестирование).

Шкала оценки— способ количественной оценки, помогающий оценить отдельные качества.

Шкала оценок по типам поведения— шкала оценок, состоящая из двух частей: четкого определения оцениваемой характерной черты и описания явных, поддающихся наблюдению типов поведения, отражающих эту характерную черту. Типы поведения отмечаются на разных уровнях шкалы; начиная с того, что кандидат делать не может, и заканчивая тем, что он умеет делать.

Эффект снисходительности— склонность оценивать качество в позитивной манере, независимо от его реального состояния.

g — ментальная способность, лежащая в основе всех отдельных и индивидуальных способностей, проявляемых в конкретных ситуациях. Измеряется при помощи тестирования способностей к познанию (например вербального, числового, пространственного).

SDy— предполагаемая наличная стоимость одного среднего отклонения выполнения работы. В одном из исследований указывается, что SDy приблизительно равняется 40 процентам вознаграждения, выплачиваемого за отдельную работу. Используется в анализе полезности отбора персонала для исчисления соотношения прибылей и затрат.

Z — стандартизированный показатель выполнения, выраженный в единицах среднего отклонения, выведенный из частного ординаты и коэффициента отбора. Используется в анализе полезности для исчисления соотношения прибылей и затрат.

БИБЛИОГРАФИЯ

Aguinis, Н., Henle, С. A. and Beaty, J. С. (2001) 'Virtual Reality Technology: A new tool for personnel selection'. International Journal of Selection and Assessment, 9, 70 — 83.

Amos, A. (2000) Going to Work on the Web. Warwick, UK: Association of Graduate Recruiters.

Anderson, N. and Shackleton, V. (1990) 'Decision making in the graduate selection interview: A field study'. Journal of Occupational Psychology, 63, 63-76.

Argote, L. and McGrath, J. E. (1993) 'Group processes in organization: Continuity and change'. In: C. L. Cooper and I. T. Robertson (eds) International Review of Industrial and Organizational Psychology, Vol. 8. Chichester: John Wiley.

Arvey, R. D. and Campion, J. E. (1982) 'The employment interview: A summary and review of recent literature'. Personnel Psychology, 35, 281-322.

Asher, J. J. and Sciarrino, J. A. (1974) 'Realistic work-sample tests: A review'. Personnel Psychology, 27, 519 — 533.

Bandura, A. (1977) Social Learning Theory. Englcwood Cliffs, NJ: Prentice-Hall.

Bandura, A. (1986) Social Foundations of Thought and Action. Englewood Cliffs, NJ: Prentice-Hall.

Banks, M. H., Jackson, P. R., Stafford, E. M. and Warr, P. B. (1983) 'The job components inventory and the analysis of jobs requiring limited skill'. Personnel Psychology, 36, 57 — 66.

Barclay, J. M. (1999) 'Employee selection: A question of structure'. PersonnelReview, 28, 134- 151.

Barrick, M. R. and Mount, M. K. (1991) 'The Big Five personality dimensions and job performance: A meta-analysis'. Personnel Psychology, 44, 1 — 26.

Barrick, M. R. and Mount, M. K. (1996) 'Effects of impression management and self-deception on the predictive validity of personality constructs'. Journal of Applied Psychology, 81, 261 — 272.

Bartram, D. A. (1994) 'Computer-based assessment'. In: C. L. Cooper and I. T. Robertson (eds) International Review of Industrial and Organizational Psychology, Vol. 9. Chichester: John Wiley.

Bartram, D. A. (ed.) (1995) The Review of Personality Assessment Instruments (Level B) for Use in Occupational Testing. Leicester: EPS Books.

Bartram, D. and Lindley, P. A. (1994) Psychological Testing: The BPS 'Level A' Open Learning programme. Leicester: BPS Books.

Bartram, D., Lindley, P. A., Foster, J. and Marshall, L. (1990) Review of Psychometric Tests for Assessment in Vocational Training. Leicester: BPS Books.

Bauer, T. N. and Aimen-Smith, L. (1996) 'Green career choices: the influence of ecological stance on recruiting'. Journal of Business & Psychology, 10, 445-458.

Baxter, J. C, Brock, В., Hill, P. С and Rozelle, R. M. (1981) 'Letters of recommendation: A question of value'. Journal of Applied Psychology, 66, 296-301.

Bedford, T. (1988) 'Justifying the costs of assessment centres'. Guidance and Assessment Review, 4, 1—3.

Belbin, R. M. (1981) Management Teams: Why they Succeed or Fail. London: Heinemarm.

Ben-Shakhar, G. (1989) 'Non-conventional methods in personnel selection'. In: P. Hcrriot (ed.), Assessment and Selection in Organizations. Chichester: John Wiley.

Ben-Shakhar, G., Bar-Hillel, M., Bille, Y., Ben-Abba, E. and Flug, A. (1986) 'Can graphology predict occupational success? Two empirical

studies and some methodological ruminations'. Journal of Applied Psychology, 71, 645-653.

Bentler, P. M. (1989) EOS Structural Equations Program Manual, Los Angeles: BMDP Statistical Software.

Bethell-Fox, C. E. (1989) 'Psychological testing'. In: P. Herriot (ed.), Assessment and Selection in Organizations: Methods and Practice for Recruitment and Appraisal. Chichester: John Wiley, pp. 307 - 330.

Bliesner, T. (1996) 'Methodological moderators in validating biographical data in personnel selection'. Journal of Occupational and Organizational Psychology, 69, 107— 120.

Blum, M. L. and Naylor, J. С (1968) fndustrial Psychology: Its Theoretical and Social Foundation. New York: Harper and Row.

Boara, R. and Sparrow, P. (1992) Designing and Achieving Competency. London: McGraw-Hill.

Boudreau, J. W. (1989) 'Selection Utility Analysis: A review and agenda for ftiture research'. In: J. M. Smith and I. T. Robertson (eds), Advances in Selection and Assessment. Chichester: John Wiley, pp. 227 — 257.

Boudreau, J. W. and Rynes, S. L. (1985) 'Role of recruitment in staffing utility analysis'. Journal of Applied Psychology, 70, 354 — 366.

Boyatzis, R. E. (1982) The Competent Manager: A Model for Effective Performance. New York: John Wiley.

Brannick, M. Т., Michaels, С. Е. and Baker, D. P. (1989) 'Construct validity of in-basket scores'. Journal of Applied Psychology, 74, 957-963.

Bretz, R. D. Jr. and Judge, T. A. (1998) 'Realistic job previews: a test of the adverse self-selection hypothesis'. Journal of Applied Psychology, 83, 330-337.

Brinkman, J. A. (1983) 'Een klassifikatiesystem voor arbeids-analysemethoden'. (A classification system for job analyses methods). Technische Hogeschool, Eindhoven, Holland. Vakgroep Organisatie psychologie (Organizational Psychology Workgroup).

British Psychological Society (1993) Graphology in Personnel Assessment. Leicester: BPS.

British Psychological Society (1994) Level В Standards in Occupational Testing. Steering Committee on Test Standards. Information Pack Leicester. BPS.

Brodt, S. E. (1990) 'Cognitive illusions and personnel management decisions'. In: C. L. Cooper and I. T. Robertson (eds), International Review of Industrial and Organizational Psychology, Vol. 5. Chichester: John Wiley.

Burt, C. (1940) The Factors of Mind. London: University of London Press.

Cabrera, E. F. and Raju, N. S, (2001) 'Utility analysis: current trends and future directions'. International Journal of Selection and Assessment, 9, 92-102.

Callinan, M. and Robertson, I. T. (2000) 'Work Sample Testing'. International Journal of Selection & Assessment, 8, 278 — 260.

Campion, J. E. (1972) 'Work sampling for personnel selection'. Journal of Applied Psychology, 56, 40 — 44.

Campion, M. A., Pursell, E. D. and Brown, В. К. (1988) 'Structured interviewing: Raising the psychometric properties of the employment interview'. Personnel Psychology, 41, 25 —42.

Cascio, W. F. and Phillips, N. F. (1979) 'Performance testing: Arose among thorns?'. Personnel Psychology, 322, 751—66.

Civil Service Commission (1987) Review of Executive Officer Recruitment. London: HMSO.

Clapham, M. M. and Fulford, M. D. (1997) 'Age bias in assessment center ratings'. Journal of Managerial Issues, 9, 373 — 387.

Cleary, T. A. (1968) 'Test bias: Prediction of grades of negro and white students in integrated colleges'. Journal of Educational Measurement, 5, 115—124.

Collins, J. C. and Porras, J. I. (1996) Built to Last: Successful Habits of Visionary Companies. London: Century Business Books.

Connerley, M. L. (1997) 'The influence of training on perceptions of recruiters' interpersonal skills and effectiveness'. Journal of Occupation and Organizational Psychology, 70, 259 — 272.

Conoley, J. С and Kramer, J. J. (eds) (1989) The Tenth Mental Measurements Yearbook. Lincoln, Ncbr.: Buros Institute of Mental Measurements.

Conway, J. M., Jako, R, A. and Goodman, D. F. (1995) 'A meta-analysis of interrater and internal consistency reliability of selection interviews'. Journal of Applied Psychology, 80, 565 — 579.

Costa, P. T. and McCrae, R. R. (1985) Manual for the NEO Personality Inventory. Odessa, Fla.: Psychological Assessment Resources Inc.

Cronbach, L. J. (1951) 'Coefficient alpha and the internal structure of tests'. Psychometrika, 16, 297-334.

Cronbach, L. J. and Glesser, G. C. (1965) Psychological Tests and Personne Decisions. Urbana. University of Illinois Press.

Cronbach, L. J. and Meehl, P. E. (1955) 'Construct validity in psychological tests'. Psychological Bulletin, 52(4), 281-302.

Cronshaw, S. F. (1997) 'Lo! The stimulus speaks: The insider's view on Whyte and Latham's "The Futility of Utility Analysis'". Personnel Psychology, 50, 611 -615.

Cureton, E. E. (1971) 'The stability coefficient'. Educational and Psychological Measurement, 31, 45 —55.

Daniels, I. (2000) Recruitment. IPD Survey Report. London: CIPD.

De Witte, K. (1989) 'Recruiting and Advertising'. In: P. Herriot, Assessment and Selection in Organisations (Chichester: John Wiley).

Development Dimensions (1975) Catalogue of Assessment and Development Exercises. Pittsburgh: Development Dimension.

Dobson, P. (1989) 'Reference reports'. In: P. Herriot (ed.), Assessment and Selection in Organizations. Chichester: John Wiley.

Downs, S. (1968) 'Selecting the older trainee: A pilot study of train-ability tests'. National Institute of Industrial Psychology Bulletin, 19-26.

Downs, S. (1985) Testing Trainability. NFER-Nelson Personnel Library, Windsor.

Drakeley, R. J. (1989) 'Biographical Data'. In: P. Herriot (ed.), Assessment and Selection in Organizations: Methods and Practice for Recruitment and Appraisal. Chichester: John Wiley, pp. 439-454.

Drakeley, R, Herriot, P. and Jones, A. (1988) 'Biogiaphical data, training success and turnover'. Journal of Occupational Psychology, 61, 145-152.

Driver, R. W, Buckley, M. R. and Frink, D. D. (1996) 'Should we write off graphology?'. International Journal of Selection and Assessment, 4, 78.

Drucker, P. (1986) The Frontiers of Management. New York: Dutton.

Dulewicz, V. (1989) 'Assessment centres as the route to competence'. Personnel Management, November, 56 — 59.

Edwards, A.G. and Armitage, R. (1992) 'An experiment to test the discriminating ability of graphologists'. Personality aud Individual Differences, 13, 69-74.

Eysenck, H. J. and Nias, D. К. В. (1982) Astrology: Science or Superstition? London: Temple Smith.

Fay, С. Н. and Latham, G. P. (1982) 'Effects of training and rating scales on rating errors'. Personnel Psychology, 35, 105— 116.

Feltham, R. 1989 Assessment centres. In: P. Herriot (ed.) Assessment and Selection in Organizatons: Methods and Practice for Recruitment and Appraisal. Chichester: John Wiley, pp. 439 — 454.

Ferguson, E. and Cox, T. (1993) 'Exploratory factor analysis: A user's guide'. International Journal of Selection and Assessment, 1, 84-94.

Fine, S. A. and Wiley, W. W. (1977) An Introduction to Job Analysis. Kalamazoo, Mich.: Upjohn Institute for Employment Research.

Finlay, W. and Coverdill, J. E. (2000) 'Risk, opportunism and structural holes: how headhunters manage clients and earn fees'. Work & Occupations, 27, 377-405.

Flanagan, J. C. (1954) 'The critical incident technique'. Psychological Bulletin, 52, 327 - 358.

Fletcher, C. (1991) 'Candidates' reactions to assessment centres and their outcomes: A longitudinal study'. Journal of Occupational Psychology, 64, 117- 127.

Francis-Smythe, J. and Smith, P. M. (1997) 'The psychological impact of assessment in a development center'. Human Relations, 50, 149—167.

Franzee, V. (1996) 'Do your job-applicant tests make the grade?'. Personnel Journal, 75, 16.

Furnham, A., Steele, H. and Pendleton, D. (1993) 'A psychometric assessment of the Belbin Team-Role Self-Perception Inventory'. Journal of Occupational and Organizational Psychology, 66, 259 — 260.

Gatewood, R. D., Gowan, M. A. and Lautenschlager, G. J. (1993) 'Corporate image, recruitment image, and initial job choice decisions'. Academy of Management Journal, 36, 414 — 427.

Gaugler, B. and Thornton, G. C. (1989) 'Number of assessment center dimensions as a determinant of assessor accuracy'. Journal of Applied Psychology, 74, 611 -618.

Gaugler, В., Rosenthal, D. В., Thornton, G. С and Bentson, С (1987) 'Meta-analysis of assessment center validity'. Journal of Applied Psychology, 72, 493 - 511.

Gauquelin, M. (1978) Cosmic Influences on Human Behavior, 2nd edn. New York: AST.

Gauquelin, M. (1980) Spheres of Destiny. London: Dent.

Gauquelin, M, Gauquelin, F. and Eysenck, S. B. G. (1979) 'Personality and position of the planets at birth: An empirical study'. British Journal of Social and Clinical Psychology, 18, 71 — 75.

Goltz, S. M. and Giannantonio, С. М. (1995) 'Recruiter friendliness and attraction to the job: The mediating role of inferences about the organization'. Journal of Vocational Behavior, 46, 109 — 118.

Gough, H. G. (1984) 'A managerial potential scale for the California Psychological Inventory'. Journal of Applied Psychology, 69, 233-240.

Guerrier, Y. and Riley, M. (1992) 'Management assessment centres as a focus for change'. Personnel Review, 21, 24 — 31.

Guilford, J. P. and Fruchter, B. (1978) Fundamental Statistics in Psychology and Education. New York: McGraw-Hill.

Harris, M. M. and Schaubroeck, J. (1988) 'A meta-analysis of self-supervisor, self-peer, and peer-supervisor ratings', Personnel Psychology, 41,43-62.

Hazer, J. T. and Highhouse, S. (1997) 'Factors influencing managers' reactions to utility analysis: Effects of SDy method, information frame, and focal intervention'. Journal of Applied Psychology, 82, 104-112.

Heneman, R. L., Wexley, K. N. and Moore, M. L. (1987) 'Performance-rating accuracy: A critical review'. Journal of Business Review, 15,431-448.

Hennessy, J., Mabey, В., Warr, P. (1998) 'Assessment Centre Observation Procedures: An Experimental Comparison of Traditional, Checklist and Coding Methods'. International Journal of Selection and Assessment, 6, 222.

Hermelin, E. and Robertson, I. T. (2001) 'A critique and standardization of meta-analytic validity coefficients in personnel selection", Journal of Occupational and Organizational Psychology, 74, 253-277.

Herriot, P. (1981) 'Towards an attributional theory of the selection interview', Journal of Occupational Psychology, 54, 165— 173.

Herriot, P. (1989) Recruitment in the Nineties. London: IPM.

Herriot, P. and Rothwell, C. (1981) 'Organizational choice and decision theory. Effects of employers' literature and selection interview'. Journal of Occupational Psychology, 54, 17 — 31.

Hesketh, B. and Robertson, I. T. (1993) 'Validating personnel selection: A process model for research and practice'. International Journal of Selection and Assessment, 1, 3— 17.

Hill, S. (1991) 'How do you manage a flexible firm? The total quality model'. Work, Employment and Society, 5, 397 — 415.

Hogan, J., Hogan, R. and Busch, С. М. (1984) 'How to measure service orientation'. Journal of Applied Psychology, 69, 167 — 173.

Hogan, J. and Quigley, A. M. (1986) 'Physical standards for employment and the courts'. American Psychologist, 41, 1193—1217.

Horn, R. (1991) 'MAILBOX: a computerized in-basket task for use in personnel selection'. European Review of Applied Psychology, 41, 325-328.

Hough, L. M., Eaton, N. K., Dunnette, M. D., Kamp, J. D. and McCloy, R. A. (1990) 'Criterion-related validities of personality constructs and the effects of response distortion on those validities'. Journal of Applied Psychology, 75, 581 —595.

Howard, G. S. and Dailey, P. R (1979) 'Response-shift bias: A source of contamination of self report measures'. Journal of Applied Psychology, 62, 144-50.

Huffcutt, A. I. and Roth, P. L. (1998) 'Racial group differences in employment interview evaluations'. Journal of Applied Psychology, 179-189.

Hunter, J. E. and Hirsh, H. R. (1987) 'Applications of meta-analy-sis'. In: C. L. Cooper and I. T. Robertson (eds), International Review of Industrial and Organizational Psychology, Vol. 2. Chichester: John.Wiley.

Hunter, J. E. and Hunter, R, F. (1984) 'Validity and utility of alternative predictors of job performance'. Psychological Bulletin, 96, 72-98.

Hunter, J. E. and Schmidt, F. L. (1982) 'Fitting people to jobs: The impact of personnel selection on