Подсчет баллов


мер, оценки получены от подчиненных и равных по служебному положению) высчитывались средние оценки для каждого измерения эффективности (в целом, в рамках задания и связанной с межличностными взаимоотношениями). Для анализа данных рейтинги по ИЭР были заменены их обратными величинами, вследствие чего большей воспринимаемой эффективности соответствовал более высокий рейтинг.
Подсчет баллов по НЗВР. Он, как и в большинстве тестов на ситуационные рассуждения (Chan Schmitt, 1998; Motowidlo et al., 1990), основан на мнении экспертов. Вопросы постулируют проблемные ситуации, которые ведут к различным интерпретациям и решениям. Соответствующая интерпретация и решение зависят от знания субъекта, как решить данную проблему, что приобретается преимущественно с опытом.

Следовательно, соответствующий стандарт для оценки уровня ответов создает группа опытных и достигших успеха практиков.
В качестве экспертов мы привлекли группу офицеров, представлявших каждый из исследуемых уровней. Эти военные продемонстрировали выдающиеся успехи, определяемые по армейской системе оценки достижений, продвижения и отбора. Мы привлекли к осмыслению НЗВР 59 экспертов, которые являются командирами батальонов, 29 командирами роты, 50 командирами взвода.

На основе полученных от экспертов данных были созданы экспертные профили, которые включали среднее значение и стандартное отклонение от оценок экспертов для каждого варианта ответов. Степень согласия экспертов рассматривалась как удовлетворительная, стандартные отклонения колебались в пределах между 1-2 пунктами 9-точечной шкалы.
Определив близость рейтингов каждого респондента к рейтингам экспертов, подсчитали квадратичные отклонения ответов, данных участниками на каждый вопрос, от экспертного значения. Затем были суммированы отклонения по всем вариантам ответов.
Исходя из выявленных различий мы определили две корреляции. Во-первых, за некоторые опции респонденты могли подвергнуться "штрафу", поскольку их рейтинги существенно отклонялись от экспертных оценок, в то время как сами эксперты расходились во мнениях о том, что это подходящий ответ. Таким образом, нужно учесть те варианты, относительно которых эксперты пришли к меньшему согласию, чтобы признать их недостаточный вес в измерении неявных знаний командиров.

Следовательно, мы оценили квадратичное отклонение с помощью обратной величины межэкспертного стандартного отклонения.
Во-вторых, квадратичные отклонения устанавливались для различных типов оценок, данных частью респондентов (с использованием всего диапазона шкал и необъективности оценки), которые могли приводить к искусственно завышенным расхождениям. Мы обсчитывали итоговую оценку каждого респондента, которая отражала сумму всех отклонений для всех вопросов. После этого полученный общий балл разделили на среднюю величину стандартного отклонения в оценках респондента, выявленных в вариантах ответов на вопросы. Чтобы поддержать согласованность между переменными, мы отразили результирующие оценки по НЗВР таким образом: вычли каждую оценку из максимальной, в результате чего
-| более высокая оценка по НЗВР представляла ответы, сходные с экспертными, и, следовательно, большее неявное знание.
Внутренняя согласованность НЗВР. Поскольку существуют три разных версии НЗВР, мы отдельно проанализировали данные разных уровней, следуя одной и той же общей процедуре. Во-первых, необходимо гарантировать, что опросник НЗВР является надежным инструментом измерения неявных знаний. Такого рода тесты, как и большинство из аналогичных, предусматривающих ситуационное суждение, отличаются от традиционных измерений знания тем, что в основу их положены не слишком ясно определяемые, сложные проблемные ситуации (Le-gree, 1995).

Каждая проблема может рассматриваться по своей сути как имеющая множество решений, предполагающих комбинацию знаний, умений и способностей (Chan Schmitt, 1998). Благодаря вопросам анкеты можно реально измерить различные области знания, отдельные из которых индивидуально приобретены, а другие нет. Сложность вопросов анкеты неявных знаний не позволяет добиться высокой степени внутренней логичности, согласованности.

Следовательно, не надо искать такого же уровня надежности, равной традиционным тестам на знания или способности.
Мы подсчитали коэффициент а-значений для каждой версии НЗВР. Мы также рассмотрели коэффициенты корреляции между всеми вопросами (item-total correlation) для выявления вопросов, которые меньше всего соответствовали остальному опроснику. Мы более тщательно проверили вопросы, чей коэффициент корреляции со всеми примерами составлял менее 0,15, и удалили их, определив, что они не соответствуют концептуальному определению неявных знаний или являются узконаправленными (т. е. принадлежащими к сфере отдельной специальности, например обращению с химическим оружием).
Все первоначальные версии НЗВР, определенные для командиров взвода, роты и батальона, имели а-значения не превышавшие 0,80. В версии для уровня взвода убран один вопрос, который слабо коррелировал с опросником, будучи слишком узким по своей сути; окончательная версия состояла из 15 вопросов (сс = = 0,69). Из НЗВР уровня роты исключены два вопроса, слабо коррелировавших с остальными и при дальнейшем рассмотрении показавших неадекватность критериям неявного знания; окончательная версия состояла из 18 вопросов (а = 0,76). Из опросника, определенного для уровня батальона, устранено пять вопросов, имевших низкий уровень корреляции со всеми остальными вопросами и соответственно оцененных как слишком узкие по своей сути или представляющих общие знания (а следовательно, не отражая неявные); окончательная версия состояла из 11 вопросов (а = 0,66). Хотя указанные параметры надежности ниже, чем у традиционных тестов на знания и способности, они находятся в обычном для измерений оценки ситуации диапазоне от 0,5 до 0,8 (Legree, 1995).

Поскольку полученные нами параметры достоверности попадают в этот диапазон, мы рассмотрели их как значимые для внутренней согласованности нашего исследовательского инструментария.
Рейтинги эффективности руководителя. На следующем этапе мы исследовали взаимосвязь оценок в рамках ИЭР по трем измерениям командной деятельное-



Содержание  Назад  Вперед