5.7. Аналіз результатів опитування експертів
Завершальним етапом експертної оцінки є аналіз результатів опитування, що служать інформаційним та рекомендаційним матеріалом для прийняття управлінських рішень. Аналізу повинні підлягати не лише система статистичних оцінок, але й весь хід проведення експертизи: визначення цілей, підбір експертів, складання опитувальних анкет, організація проведення опитування. Всі етапи експертизи повинні бути ретельно проаналізовані, щоб виявити всі негативні моменти і виключити їх в майбутному. Система статистичних характеристик, отриманих за результатами обробки статистичних анкет — це лише сукупність показників, «сировина», що потребує вмілого та професіонального осмислення, оцінки, тлумачення, від яких, в кінцевому результаті, залежить успіх та практична цінність всієї експертизи.
Методика проведення аналізу результатів опитування експертів залежить, по-перше, від виду експертизи - індивідуальної чи колективної, а по-друге, від напрямку експертизи - визначення часу здійснення певної події, оцінка очікуваних в майбутньому величин параметрів об'єктів (процесів, явищ); оцінка відносної важливості фактора (напрямку); оцінка питомої ваги різних видів рішень та ін.
Враховуючи певну обмеженість індивідуальних експертних оцінок, їх результати необхідно співставляти з існуючуми поглядами на досліджувану проблему та результатами прогнозованих оцінок інших спеціалістів.
За результатами експертизи слід провести якісну оцінку кожного члена експертної групи. При цьому слід виходити не тільки від визнання та популярності окремих спеціалістів, а і від їх відношення до справи: точності, добросовісності, акуратності, творчого підходу, переконаності в своїй правоті, що може бути аргументована.
Необхідно дотримуватися досить важливого правила: жоден із спеціалістів не повинен бути виключений з експертної групи за формальними правилами (наприклад, за показниками узгодженості думок) без зваженого аналізу суті питання. Історія науки та техніки неодноразово ілюструє факти, що, на перший погляд, парадоксальні ідеї та висновки містять в собі нові фундаментальні відкриття.
Багато експертів являються, як правило, крупними спеціалістами тільки в своїй області. Тому їх висновки слід розглядати в більш широкому контексті, наприклад, з перспективами розвитку економіки підприємства (регіону, країни).
Іншими словами, висновки експертів слід пов'язувати із зовнішніми факторами, що визначають майбутнє прогнозованого об'єкта. Не слід забувати, що існує своя "цехова" зацікавленість експертів, свої інтереси, які не завжди
При оцінці якості опитувальних анкет, яку доцільно провести після закінчення експертизи, необхідно в першу чергу визначити: по-перше, на скільки перелік питань та їх зміст дозволяє з'ясувати суть досліджуваної проблеми та, по-друге, на скільки коректно, правдиво, однозначно, не суперечливо поставлені власне самі питання, чи не було випадків непорозуміння з деякими питаннями.
Система статистичних характеристик, як результат обробки опитувальних анкет групи експертів, визначається тим, в якому напрямку проводиться експертиза.
Так, для оцінки часу здійснення події або очікуваної величини параметра в першу чергу визначаються середні величини, структурна середня (мода, медіана) квартілі (верхній та нижній). Крім перелічених, для оцінки очікуваної величини параметра можна використати залежність
деТ оч - очікувана величина параметра; Тн [ - найбільш ймовірна величина параметра; Тmin,Tmax- відповідно мінімальна та максимальна величина параметра.
Середні величини дозволяють оцінити орієнтовану дату здійснення події (величина параметра). За допомогою квартілей або коливання середньої можна визначити проміжки, в яких можуть знаходитись прогнозовані проблеми (час здійснення події, параметри).
Якщо в якості досліджуваної величини служить, наприклад, параметр якого-небудь приладу, то наявність інтервалу його значень дозволяє, з врахуванням технічних можливостей, створити сімейство приладів з різними величинами прогнозованого параметра.
Сукупність статистичних характеристик, одержаних в результаті обробки даних опитувальних анкет з оцінкою відносної важливості напрямку (фактора,
параметра) дозволяє проводити аналіз в декількох напрямках. Тут на перший план виходить проблема - вибору напрямку дослідження, вибору найбільш важливого фактора, приорітет певним параметрам пристроїв і т. д. Результати аналізу цього напрямку опитування орієнтовані на вибір оптимальних варіантів перспективних розробок та стратегічних рішень. При проведенні аналізу оцінок відносної важливості напрямків (факторів, параметрів) не слід орієнтуватися тільки на кількісну сторону досліджуваних проблем, але і звертати увагу на реальні можливості реалізації тих чи інших рішень, як з організаційно-технічного боку, так і з економічної доцільності.
Аналіз показників узгодженості думок експертів дозволяє виявити експертів, чия думка відрізняється від думки більшості,згрупувати експертів, думка яких співпадає, сформулювати групи з різними точками зору.
Результати такого аналізу, які представлені експертам в анонімному вигляді, тобто без зазначення прізвищ експертів багато в чому сприяє зближенню точки зору експертів в процесі проведення експертизи, або, навпаки, залишатися на своїх позиціях, сформулювавши для цього достатньо вагомі аргументи.
В процесі проведення аналізу результатів опитування експертів слід практикувати широке використання графіків, гистограмм, часових шкал, діаграм, таблиць та інших статистичних зображень.
В якості прикладу розглянемо організацію проведення та аналіз результатів експертних оцінок перспектив розвитку відеотермінальної техніки-символьно - графічних дисплеїв та напівтонових дисплеїв (станцій обробки зображень).
Зміст опитувальних анкет орієнтовано на визначення перспектив засобів відображення інформації, оптимальних значень технічних та ергономічних характеристик, ранжування технічних характеристик, областей застосування. Анкети направлені в обчислювальні центри; НДІ, що займаються проблемами обчислювальної техніки; вищі навчальні заклади, включаючи і військові, де є
кафедри обчислювальної техніки; підприємства-виробники обчислювальної техніки.
Всого підготовлено та направлено:
анкет по оцінці технічних та ергономічних параметрів символьно-графічних дисплеїв та напівтонових дисплеїв - 588шт.;
анкет по оцінці відносної важливості параметрів та напрямків розвитку зазначених пристроїв по 283 анкети.
В процесі аналізу всі експерти умовно розділені на три групи: представники вузів; підприємства та організації; військові навчальні заклади та військові частини. Запропонована диференціація експертів орієнтована на те, щоб, з одного боку, оцінити точку зору представників науки - цивільної та військової, а з іншого боку - виробників та споживачів пристроїв.
Враховуючи тенденцію зниження вартості персональних ЕОМ (ПЕОМ) та вплив цього процесу на перспективи розвитку символьно-графічних дисплеїв, експертам було задано питання "Чи поступляться дисплеї місцем ПЕОМ?" 26.2% опитаних відповіли на питання "так", тобто дисплеї "поступляться"місцем ПЕОМ. Разом з тим, 76.9% експертів вказали на те, що дисплеї дістануть свій розвиток, тільки на якісно новому рівні. Остання точку зору узгоджується з думкою західних спеціалістів, які в результаті аналізу прийли до висновку, що в умовах необхідності наявності великих ЕОМ для формування баз даних питання про те, що символьно-графічні термінали "вмирають" і заміняться на ПЕВМ, в значній мірі надумане. Основні виробники стверджують, що продаж терміналів зростає більш інтенсивно, ніж показали дослідження ринку. Особлива увага звертається на високоінтелектуальні термінали. Припускається, що до 2000р дисплейні термінали будуть приблизно на 80% робочих місць, а в управлінні та діловиробництві - на 60%.
При створенні нових видів дисплеїв необхідне постійне покращення певних характеристик. Опитування показало, що з перерахованих в анкеті характеристик (ергономічних, економічних, конструкторських, технологічних, екологічних, показників безпеки та надійності) експерти віддали перевагу в
порядку пріоритетності в першу чергу показникам надійності, ергономіки, конструкторсько-технологічним характеристикам. Вимоги до надійності пристроїв значно підвищуються. Так, показник "середнє напрацювання на збій", на думку 33% споживачів повинна знаходитись в межах 500-1000 годин, хоча більшість опитаних (52%) вважають, що цей показник повинен бути в межах 2000-5000 годин; вимоги 15% дуже високі та досягають значення від 10 до 50 тис. год.
Дослідження вимог до параметрів зображення однокольорового дисплєя показали, що 22% опитаних вважають оптимальним розмір екрану по діагоналі З5-36см; 32% - розмір екрану по діагоналі 40-42см; 32% опитаних вказали розмір екрану по діагоналі для багатокольорових дисплеїв 40-41см і тільки 14% - 35-36см.
У відношенні кількості символів на екрані, як важливого технічного показника дисплею, дослідження показали, що 57% опитаних вважають оптимальним кількість символів в межах 1920-2000, а 38% - в межах 2000-5000. Приклади наведені тільки по двох параметрах, хоча в дослідженні їх кількість значно більша.
На питання про напрямок розвитку дисплейної техніки в частині створення відеотерміналів загального користування або для вирішення конкретних задач біля 70% експертів віддали перевагу першому напрямку, тобто універсальним дисплеям, причому серед "військової" частини експертів ця точка зору переважає в порівнянні з "цивільною" частиною експертів: 78.3% проти 47.4%.
Основними областями використання символьно-графічних дисплеїв, на думку експертів, які відповіли на питання, є:
автоматизовані системи управління (технологічними процесами, організаційно-економічні);
системи автоматизації проектування, включаючи розробку проектно-конструкторської документації;
автоматизовані навчальні системи, тобто створення дисплейних класів для організації навчального процесу;
організація, ведення баз даних, інформаційно-пошукові системи та ін.
Бальна та рангова оцінки символьно-графічних дисплеїв показали, що експерти проранжували окремі параметри по мірі зменшення важливості в наступній послідовності (приводяться найбільш важливі показники по середному значенню балів):
необхідність наявності псевдографічного режиму;
наявність функціональних, вільно програмованих користувачем клавіш;
необхідність віддалення пристрою від ЕОМ;
колір свічення символів та фону;
наявність різних форматів екрану;
На питання другої анкети про створення вітчизняних станцій обробки зображення (СОЗ), 95.2% опитаних вважають таку розробку досить таки актуальною. Найбільш важливими експерти вважають такі характеристики як надійність, функціональні та ергономічні, тобто та ж послідовність в частині важливості узагальнюючих характеристик, що і по символьно-графічним дисплеям.
На питання, в якому напрямку слід розвивати СОЗ - створення універсальних чи спеціалізованих пристроїв - думка експертів розділилась таким чином: 75% вважають, що більш перспективним являється створення універсальних СОЗ, 25% - спеціалізованих. "Військова частина" повністю за створення універсальних СОЗ; цивільна частина розділилась у відношенні 2:1 на користь універсальних СОЗ.
На питання про область використання станцій обробки інформації, експерти визначили такі напрямки:
геофізична розвідка корисних копалин;
обробка аерокосмічних знімків при геологічних дослідженнях та картографії;
система автоматизованого проектування та рішення аеродинамічних задач;
обробка зображень в гідролокації;
діалогова обробка цифрової інформації про місцевісць;
моделювання літаючих апаратів та ін.
Проведена також бальна оцінка важливості окремих параметрів пристрою.
Досвід проведення експертних оцінок в області відеотермінальної техніки показав, що в першу чергу необхідно узагальнювати структуру та зміст опитувальних анкет та підтримувати постійний прямий контакт з експертами для своєчасного отримання необхідної інформації.
Дані, які одержані в результаті обробки опитувальних анкет, служать розробникам пристроїв інформаційним та рекомендуючим матеріалом в процесі створення відеотермінальної техніки, яка найбільш повно відповідає тенденції розвитку засобів відображення інформації та потребам споживачів.