5.6. Оцінка ступеня узгодженості думок експертів

За даними таблиці 5.5 L=6(3; 3; 3); (8.5; 8.5); (1.5; 1.5); (7; 7;7); (9.5; 9.5), (6.5; 6.5).

Звідси tl1=3; tl2=2; tl3=2; tl4=3; tl5 =2; tl6=2.

Для визначення коефіцієнта конкордації  використовуємо дані табл. 5.5.

Проміжні розрахунки показані в табл. 5.9.

Таблиця 5.9

ВИЗНАЧЕННЯ СЕРЕДНЬОЇ СУМИ РАНГІВ та квадратів відхилень суми рангів від середньої суми

Розрахуємо результати проміжних розрахунків, підставляючи в формулу коефіцієнта конкордації.

Коефіцієнт конкордації приймає значення від 0 до 1. Чим більше значення коефіцієнта конкордації, тим вище ступінь узгодженості думок експертів. При Ккон=1 є повна узгодженість думок експертів; якщо К=0, то узгодженість практично відсутня.

Статистичне значення коефіцієнта конкордації провіряється по критерію Пірсона

На основі раніше розрахованих даних

Розраховане значення x2p співставляється з табличним значенням xT2 для n-1 ступенів свободи та довірчої ймовірності (Р=0,95 або Р=0,99). Якщо x2p > х2, то коефіцієнт конкордації істотний, якщо ж x2p < х2, то необхідно збільшити

кількість експертів. Для наведеного прикладу при 10-1 ступенів свободи та Р=0,95 xT2 =16,92, а для Р=0,99 xT2 =21,67.

І в тому, і в іншому випадках    x2p > х2, отже, коефіцієнт конкордації

статистично істотний.

При оцінці узгодженості думок експертів важливо визначити, в якій мірі кожний експерт впливає на узагальнену узгодженість групи. Для цього послідовно з розрахунків виключається один експерт та обчислюється коефіцієнт конкордації без врахування думок виключеного експерта.

В табл. 5.10 наведені коефіцієнти конкордації, що розраховані без врахування думок одного з експертів.

Таблиця 5.10

Коефіцієнт конкордації, обчислений шляхом послідовного виключення одного з експертів

Отже, виключення першого чи другого експерта сприятливо впливає на узгодженість думок експертів. Навпаки, виключення 4-го експрета знижує загальну узгодженість всієї групи, а виключення 3-го експерта практично не впливає на зміну показника узгодженості експертів.

Виключати з розрахунків окремих експертів, що мають оригінальну точку зору, необхідно з великою обережністю. В процесі багатотурової експертизи можливі випадки, коли такі експерти привернуть на свій бік значну частину групи.

Розкид думок експретів, рівень якого по суті відображає узгодженість думок, оцінюється, окрім коефіцієнта конкордації, за допомгою інших статистичних показників, в тому числі

а) дисперсія оцінок, даних j-му напрямку

Mj визначається за формулою (5.13), а їх значення наведені в табл. 5.8, п.3. Для прикладу розрахуємо дисперсію оцінок по 1-му напрямку (Mj=92.5)

б) коефіцієнт варіації оцінок, даних j-oму напрямку

Для першого напрямку коефіцієнт варіації оцінок складе

в) загальна дисперсія оцінок

де

г) загальна дисперсія рангів

Загальна дисперсія оцінок та рангів відображає узагальнену характеристику узгодженості думок експертів по всіх напрямках, в той час як показники, які розраховані в п.п. а); б) - тільки по окремих напрямках.

В табл. 5.11 наведені результати розрахунків дисперсії оцінок та коефіцієнтів варіації оцінок по всіх напрямках, обчислених аналогічно першому напрямку.

Для визначення загальної дисперсії можна скористатися даними табл. 5.8 п.1 та п. 2.

(Оскільки 4-й експерт не оцінив 9-й напрямок, то для останнього Mj=10-1=9).

Аналогічно визначається загальна дисперсія оцінок в балах тільки замість величин рангів використовуються відповідні величини кількості балів.

По використаним в прикладі даним ао =509,091. Наведена вище система показників відображає ступінь узгодженості думок в загальному або по окремих напрямках.

Значний інтерес представляє показник узгодженості думок кожного окремо взятого експерта з думками кожного із решти експретів.

Ступінь збігу думок двох експертів визначається за допомогою коефіцієнта парної рангової кореляції між оцінками двох будь-яких експертів X і Р та інформаційної міри збігу думок (Устюжанінова).

Коефіцієнт парної рангової кореляції між оцінками двох експертів визначається за формулою

де^; - різниця по модулю величин рангів оцінок j-го напрямку, поставлених експертами

де  - показники зв'язаних рангів оцінок експертів    X і Р, що

визначаються аналогічно, як і для коефіцієнта конкордації.

Коефіцієнт парної рангової кореляції може приймати значення: . Якщо Р=1, то це відповідає повному збігу думок двох експертів. Значення P=-1 означає, що думки експертів відносно ранжування важливості напрямків (факторів, пареметрів) взаємно протилежні.

Обчислимо коефіцієнт парної рангової кореляції для перших двох експертів. Для зручності та наочності чисельник формули (5.24) розрахуємо в таблиці (таблиця 5.12)

Таблиця 5.12

Розрахунок квадрата різниці величин рангів оцінок двох експертів

Зв'язані ранги відповідно дорівнюють

Підставимо результати проміжних розрахунків у формулу (5.24) і обчислимо коефіцієнт парної рангової кореляції між оцінками 1-го та 2-го експертів

В табл. 5.13 наведені коефіцієнти парної рангової кореляції між оцінками всіх можливих пар експертів.

Таблиця 5.13 Матриця коефіцієнтів парної рангової кореляції

Із значень коефіцієнтів парної рангової кореляції виходить, що ступінь збігу думок між парами експертів достатньо велика, особливо між 2-м, 3-м та 4-м експертами.

Інформаційна міра збігу думок (Устюжанінова) обчислюється за формулою