Экспертные оценки, ранговая корреляция и конкордация



Пусть в процессе системного анализа нам пришлось учитывать некоторую величину U, измерение которой возможно лишь по порядковой шкале (Ord). Например, нам приходится учитывать 10 целей функционирования системы и требуется выяснить их относительную значимость, удельные веса.
Если имеется группа лиц, компетентность которых в данной области не вызывает сомнений, то можно опросить каждого из экспертов, предложив им расположить цели по важности или “проранжировать” их. В простейшем случае можно не разрешать повторять ранги, хотя это не обязательно — повторение рангов всегда можно учесть.
Результаты экспертной оценки в нашем примере представим таблицей рангов целей:

Таблица 3.2
Эксперты
1
2
3
4
5
6
7
8
9
10
Сумма
A
3
5
1
8
7
10
9
2
4
6
55
B
5
1
2
6
8
9
10
3
4
7
55
Сумма рангов
8
6
3
14
15
19
19
5
8
13

Суммарный ранг
4.5
3
1
7
8
9.5
9.5
2
4.5
6
55


Итак, для каждой из целей Ti мы можем найти сумму рангов, определенных экспертами, и затем суммарный или результирующий ранг цели Ri. Если суммы рангов совпадают — назначается среднее значение.
Метод ранговой корреляции позволяет ответить на вопрос — насколько коррелированны, неслучайны ранжировки каждого из двух экспертов, а значит — насколько можно доверять результирующим рангам? Как обычно, выдвигается основная гипотеза — об отсутствии связи между ранжировками и устанавливается вероятность справедливости этой гипотезы. Для этого можно использовать два подхода: определение коэффициентов ранговой корреляции Спирмэна или Кендэлла.
Более простым в реализации является первый — вычисляется значение коэффициента Спирмэна

Rs = 1 - ; {3 - 9}

где di определяются разностями рангов первой и второй ранжировок по n объектов в каждой.
В нашем примере сумма квадратов разностей рангов составляет 30, а коэффициент корреляции Спирмэна около 0.8, что дает значение вероятности гипотезы о полной независимости двух ранжировок всего лишь 0.004.
При небходимости можно воспользоваться услугами группы из m экспертов, установить результирующие ранги целей, но тогда возникнет вопрос о согласованности мнений этих экспертов или конкордации.