9.3. Використання експертизи під час аналізу проблем

9.3. Використання експертизи під час аналізу проблем

До методу експертних оцінок звертаються тоді, коли інші методи не дають змоги вивчити ситуацію достатньо, або дана ситуація повторюється та добре знайома експерту, а суб’єктивні оцінки можна перевірити іншими методами.

Велике значення для ефективного використання методу експертних оцінок має:

підбір експертів-спеціалістів і забезпечення їх інформацією;

зменшення психологічного впливу на судження кожного експерта;

застосування доцільних методів впорядкування отриманих експертних оцінок.

До основних методів експертного оцінювання відносять анкетування та інтерв’ю, дискусію, метод Дельфі (методи опитування). Консультаційна діагностика використовує також методи вимірювання.

Орієнтовно можна визначити основні етапи організації і проведення експертного оцінювання. Їх послідовність і склад змінюються залежно від реальних умов і обмежень:

визначення цілі експертизи і розробка організації та методики процедури опитування. На цьому етапі встановлюються завдання, що мають бути вирішені; терміни виконання робіт; фінансове і матеріальне забезпечення; місце і час проведення опитування; кількість турів опитування; форма його проведення; порядок фіксації і збирання результатів;

формування групи спеціалістів-аналітиків (організаторів експертизи), визначення їхніх прав і обов’язків;

відбір експертів і формування експертних груп;

проведення опитування;

визначення методики обробки даних опитування: завдання і строки обробки, процедури і алгоритми, матеріальне забезпечення проведення обробки;

аналіз і обробка інформації, отриманої від експертів;

синтез об’єктивної (статистичної) інформації і інформації, отриманої в результаті експертизи, з метою приведення її в форму, зручну для прийняття рішень, ознайомлення з результатами експертизи організацій і осіб.

Головним етапом сумісної роботи групи управління і експертів є опитування. Основним змістом опитування є :

постановка завдання і формування переліку питань;

інформаційне забезпечення;

відпрацювання експертами думок, оцінок, прогнозів;

збирання результатів.

Головним завданням організації опитування є забезпечення максимальної інформованості та максимальної творчої активності і самостійності експертів. Необхідно намагатись довести до кожного експерта по можливості всю інформацію, що стосується явища, яке підлягає аналізу.

Інформація від експертів може бути отримана двома принципово різними шляхами:

збирання інформації здійснюється кожним експертом окремо, незалежно від інших. У цьому разі експертом заповнюються спеціальні анкети, проводяться інтерв’ю тощо. Такий шлях досить широко використовується в масових дослідженнях;

другий шлях полягає в тому, що декілька експертів обговорюють той чи інший аспект явища, що аналізується, і формують колективну точку зору. Практика показала, що саме в такий спосіб можна отримати цікаву і нетривіальну інформацію експертного характеру, яка не може бути отримана іншим шляхом.

Визначаються три типи задач, що вирішуються в процесі опитування експертів:

якісна та/або кількісна оцінка заданих об’єктів;

побудова нових об’єктів;

оцінка нових об’єктів.

З метою вирішення цих задач використовують наступні види опитувань: дискусію, анкетування та інтерв’ювання, метод Дельфі. На вибір того чи іншого виду опитування впливають наступні фактори: мета і завдання опитування; сутність і складність проблеми, що аналізується; вичерпність та достатність вихідної інформації; вимоги щодо обсягів та достатності інформації, отриманої в результаті опитування; час, відведений на опитування і експертизу в цілому; допустима вартість експертизи; кількість експертів в групі.

Анкетування полягає у пред’явленні експертам опитувальних листів-анкет, на питання яких вони мають дати відповіді в письмовій формі. Анкетування може бути очним та заочним. Усі питання анкет можна класифікувати за змістом та за формою. За змістом питання поділяються на три групи:

об’єктивні дані про експерта (вік, освіта, посада, вчений ступінь, спеціалізація, стаж роботи тощо);

основні питання по суті явища, яке аналізується;

додаткові питання про експерта, що дозволяють визначити джерела інформації і аргументації експерта, самооцінку компетентності експерта.

За формою питання поділяються на такі категорії:

відкриті (вільні);

закриті («так», «ні», «не знаю»);

з «віялом» відповідей.

Питання з «віялом» відповідей надають експерту можливість вибору одного із запропонованих об’єктів, до цієї ж форми відносяться питання-завдання на ранжування об’єктів, на оцінку їх вагомості, значимості в балах, на оцінку ймовірності певної події.

Відкритими або довільними називаються питання, відповідь на які може бути дана у довільній формі. Відкриті питання найбільш доцільні в першому турі опитування, оскільки дозволяють широко охопити проблему, яка підлягає аналізу, виявити спектр точок зору та думок експертів. Недоліком відкритих питань є занадто широкий діапазон і неконкретність відповідей, що може призвести до їх неспівставлюваності. Кількісна обробка таких відповідей часто буває неможливою.

Дискусію доцільно проводити для вирішення завдань, що не потребують точної кількісної оцінки об’єктів, параметрів, альтернатив. Кількість учасників дискусії може складати від декількох до 20—30 чоловік.

Процедура підготовки та проведення дискусії може бути розділена на три етапи: визначення і формулювання предмета дискусії і порядку її проведення, а також підготовка учасників дискусії; безпосередньо дискусія; підбивання підсумків, фіксація і обробка результатів дискусії.

На першому етапі члени групи управління вирішують наступні питання:

виявлення різних аспектів проблеми, що аналізується, ролі і значущості факторів, пов’язаних з нею, визначення головних із них;

формулювання мети дискусії і вимог до експертів;

відокремлення суперечливих питань та аспектів проблеми від безперечних.

Головуючий повинен відокремлювати серйозні суперечки, які мають глибинні причини, від особистих, що не стосуються проблеми. Такого роду суперечки мають без зволікань припинятись, і, по можливості, зніматись емоційна напруга.

Одним з різновидів дискусії є метод комісії. Він полягає у відкритій дискусії з обговорюваної проблеми для вироблення єдиної думки експертів. Колективна думка визначається в результаті відкритого або таємного голосування. В деяких випадках до голосування не вдаються, виявляючи результуючу думку в процесі дискусії. До переваг даного методу відносять: можливість більшої інформованості експертів, оскільки при обговоренні експерти наводять обґрунтування своїх оцінок, і зворотний зв’язок — під впливом отриманої інформації експерт може змінити початкову точку зору.

До основних недоліків методу відноситься відсутність анонімності, а також внаслідок проявів конформізму дискусія може звестись до полеміки найбільш авторитетних експертів.

Ще один різновид дискусії — метод суду. Відповідно до цього методу частина експертів виступає у ролі захисту певної альтернативи і наводить аргументи на її користь, частина намагається виявити негативні сторони, а частина регулює хід експертизи і виносить кінцеве рішення. Метод суду має ті ж недоліки і переваги, що й метод комісії.

Головними завданнями експертів, як при дискусії, так і при анкетуванні, є, в більшості випадків, порівняння і оцінка деяких об’єктів, факторів чи варіантів дій і вибір найбільш доцільних з них.

Основними перевагами анкетування є можливість управління ступенем спілкування експертів з метою отримати від них самостійні продумані судження та кількісні оцінки.

Вартість дискусії і затрати часу на неї, як правило, менші, ніж анкетування, оскільки останнє потребує більшої і складнішої роботи по його підготовці, проведенню і обробці результатів, а також висуває високі і специфічні вимоги до кваліфікації організаторів експертизи. Специфічність вимог полягає в тому, що хоча б дехто з них крім високої підготовки по темі опитування повинні мати досвід проведення анкетування і обробки його результатів.

Анкетування є найбільш ефективним і розповсюдженим методом опитування, оскільки дозволяє якнайкраще поєднувати інформаційне забезпечення експертів із самостійною творчою діяльністю. Широкі можливості регулювання і контролю спілкування експертів дозволяють звести до мінімуму небезпеку конформізму. В той же час повної незалежності експертів при анкетуванні досягти також неможливо. Перш за все на оцінки експертів впливають інтереси його відомства, організації, відомі експерту позиції авторитетних для нього людей, повідомлення йому оцінок і аргументації інших експертів тощо.

Небезпека конформізму експертів при дискусії набагато більша ніж при анкетуванні, оскільки можливості обмеження і регулювання спілкування експертів значно менші. Дискусію доцільно проводити на першому етапі вивчення проблеми для виявлення можливих шляхів її вирішення.

В ході дискусії відбувається узгодження позицій експертів, в результаті чого відпрацьовується єдина думка групи, яка фіксується як результат експертизи. Однак слід зауважити, що узгодженість позицій може бути результатом тиску з боку ведучого або одного з експертів. Отже, група в своїх висновках може керуватись логікою компромісу, а не однією лише логікою проблеми, що аналізується.

Метод Дельфі є одним з основних методів проведення експертиз. З одного боку його можна розглядати ж різновид анкетування, з іншого — він представляє собою групу методів, об’єднаних загальними вимогами до організації експертних процедур і форми отримання експертних оцінок. Основними особливостями цього методу є:

повна відмова від особистих контактів експертів та колективних обговорень;

багатотурова процедура опитування експертів;

забезпечення експертів інформацією, включаючи обмін інформацією між ними після кожного туру опитування, при збереженні анонімності оцінок, аргументації та критики;

обґрунтування відповідей експертами на прохання організаторів.

Процедура опитування за методом Дельфі полягає в анкетуванні експертів за допомогою опитувальних листів чи зовнішніх пристроїв ЕОМ в декілька турів з обробкою результатів анкетування в кожному турі і інформуванням експертів щодо цих результатів. На практиці традиційно обмежуються чотирма турами.

В першому турі опитування експерти дають свої відповіді без аргументації. Відповіді обробляються з метою визначення середньої і крайніх думок. Експертам повідомляються ці думки і проводиться другий тур опитування, в ході якого вони передивляються і при бажанні змінюють відповіді, які дали в першому турі. Крім цього, експерти повинні пояснити, чому вони змінили чи не змінили свої відповіді.

Отримані після другого туру нові середні і крайні думки, а також вся аргументація зі збереженням анонімності повідомляється експертам, і проводиться третій тур опитування, в ході якого експерти знову передивляються відповіді і аргументують свої рішення. Наступні тури аналогічні.

Головною перевагою методу Дельфі є створення умов, що забезпечують найбільш ефективну роботу експертної комісії. Це досягається завдяки анонімності процедури, можливості отримати додаткову інформацію щодо предмета експертизи, можливості коректування своїх суджень з урахуванням проміжних усереднених оцінок і аргументації експертів, що дали крайні оцінки.

Безпосередня оцінка являє собою процедуру приписування об’єктам числових значень в шкалі інтервалів. Експерту пропонують поставити відповідно до кожного об’єкта точку на безперервній числовій осі, наприклад, на відрізку від 0 до 10.

Внаслідок недостатньої вичерпності інформації, що часто має місце в експертному оцінюванні через зниження точності вимірювання, замість неперервної числової осі розглядають бальну оцінку.

Послідовне порівняння являє собою комплексну процедуру вимірювання, що поєднує в собі ранжування і безпосередню оцінку.

Парні порівняння, безпосередня оцінка і послідовне порівняння мають різні якості, але приводять до близьких результатів. Експериментальна порівняльна оцінка цих методів показала, що в ряді випадків найбільш ефективним є комплексне застосування всіх методів для вирішення одного завдання. При цьому слід враховувати, що найбільш простим методом, який потребує мінімальних витрат, є ранжування, а найбільш трудомістким — метод послідовних порівнянь.

Обробка і оцінка результатів є вихідною інформацією експертизи. Метою обробки є отримання узагальнених даних і нової інформації, що міститься в прихованій формі в експертних оцінках. На основі результатів обробки формується рішення проблеми. Залежно від цілей експертного оцінювання і обраного методу вимірювання при обробці результатів виникають наступні основні проблеми:

побудова узагальненої оцінки об’єктів на основі індивідуальних оцінок експертів;

визначення відносної вагомості об’єктів;

узгодження думок експертів;

оцінка надійності результатів обробки.