4.4. Альтернативні підходи до визначення кількості інформації
4.4. Альтернативні підходи до визначення кількості інформації
Статистична теорія інформації пов’язує поняття інформації зі зниженням невизначеності (ентропії) стану об’єкта. Підходи й математичний апарат для кількісного визначення інформації та ентропії, що їх розробили К. Шенон та Н. Вінер, виявилися корисними в технічних застосуваннях (теорії зв’язку) — оптимізації кодування, передавання, зберігання інформації тощо.
Їхні праці з теорії інформації сприяли розумінню того, що не існує абсолютної інформації про об’єкт, визначення інформації залежить від вибраної моделі об’єкта. Оскільки залежно від мети дослідження вибирають різні моделі з різним описом станів об’єкта, то й з’ясування інформації про об’єкт залежить від мети та завдань дослідника. Адже в одних і тих самих даних міститься різна кількість інформації для різних завдань управління.
Однак статистична теорія інформації не набула поширення для задач обробки інформації, призначеної для управління економічними об’єктами. Це пояснюється тим, що її підходи не враховують специфіки економічної інформації (зокрема, відкидаються змістовні взаємозв’язки, ігнорується зміст та корисність інформації для досягнення мети — цінність, доцільність).
Наприклад, кількість інформації на символ є лише усередненою мірою невизначеності появи цього символа. Тому загальна кількість інформації, що міститься в деякому повідомленні (І = –Spilogpi), ніяк не пов’язується зі змістовністю і корисністю цієї інформації для одержувача.
Інформативність повідомлень для одержувача залежить від його сфери інтересів, роду занять, мети дослідження тощо. Отже, необхідно враховувати різні аспекти оцінки кількості інформації: не лише за формально-структурними ознаками, а й за змістом та практичною цінністю для одержувача.
Однією з найбільш важливих властивостей інформації є її корисність. Але бути корисним може тільки те, що має сенс для даної системи. Реальні (зокрема, економічні) системи перебувають у процесі постійного перетворення, причому будь-яке елементарне перетворення в системі є подією. Кожна подія супроводжується повідомленням, яке є інформаційним еквівалентом події. З огляду на сказане інформація — це повідомлення, яке має сенс для даної системи. Але значення будуть мати тільки ті повідомлення, які обмежують різноманітність поводження досліджуваної системи в напрямку її пристосування до середовища.
Наведемо деякі інші міркування та підходи до визначення кількості інформації.
Семантичний підхід. Один із методів обчислення кількості семантичної інформації полягає в тому, щоб визначати її через так звану логічну імовірність, що являє собою ступінь підтвердження тієї чи іншої гіпотези. При цьому кількість семантичної інформації, що міститься в повідомленні, зростає зі зменшенням ступеня підтвердження гіпотези. Отже, якщо логічна ймовірність дорівнює одиниці, тобто якщо вся гіпотеза побудована на відомих даних та цілком підтверджується повідомленням, то таке повідомлення не приносить адресатові нічого нового і семантична інформація дорівнює нулю. (Наприклад, повідомлення «Волга впадає в Каспійське море».) І навпаки, зі зменшенням ступеня підтвердження гіпотези (чи, інакше кажучи, апріорного знання) кількість семантичної інформації, що її доставляє повідомлення, зростає.
З описаним підходом до визначення інформаційної змістовності повідомлень стикається запропонована Ю. Шрейдером ідея, що ґрунтується на врахуванні «запису знань» (тезауруса) одержувача.
Тезаурусом (грец. «скарб») називають словник, в якому наведено не тільки значення окремих слів, а й змістовні зв’язки між ними (наприклад, тлумачний словник Даля). У розглядуваному контексті під тезаурусом розуміють деякий узагальнений довідник, що визначає рівень знань одержувача про повідомлення. При цьому повідомлення, що містять нову для одержувача інформацію, змінюють, збагачують його тезаурус.
Якщо повідомлення не вносить нічого нового в тезаурус одержувача, то природно вважати, що змістовна семантична інформація дорівнює нулю. Якщо одне з двох повідомлень змінює тезаурус незначно, а друге вносить до нього істотні зміни, то природно вважати, що друге повідомлення є змістовнішим, несе в собі значно більший обсяг семантичної інформації. При цьому під зміною тезауруса слід розуміти не тільки появу нових понять, а й встановлення нових зв’язків між ними, ліквідацію застарілих понять чи зв’язків тощо.
Прагматичний підхід. Визначаючи інформацію, ми зазначали, що однією з властивостей інформації є використання її у процесах управління. А коли інформація використовується для управління, то її, природно, належить оцінювати з позицій корисності, цінності, доцільності для досягнення поставленої мети управління.
Тому кожне одержуване ланками управління повідомлення важливо оцінювати не з погляду пізнавальних характеристик, а з прагматичного, тобто з боку корисності чи цінності для виконання функцій управління.
Виходячи з таких міркувань, А. Харкевич запропонував міру цінності інформації Iц визначати як зміну ймовірності досягнення мети в разі отримання цієї інформації:
,
де р0 — початкова (до отримання відомостей) імовірність досягнення мети;
р1 — імовірність досягнення мети після отримання інформації.
При цьому можливі три різні випадки:
1. Отримана інформація не змінює ймовірності, тобто p1 > p Þ
Þ Іц = 0. Таку інформацію називають порожньою.
2. Якщо імовірність досягнення мети збільшується: p1 > p0 Þ
Þ Іц > 0, то прагматична інформація зросла.
3. Якщо ймовірність зменшилася: p1 < 0 Þ Iц < 0, це означає, що отримана інформація є негативною, тобто дезінформацією.
Зауважимо, що прагматичні та семантичні оцінки важко розмежувати, а в деяких випадках вони збігаються.
Контрольні запитання та завдання
Дайте визначення терміна «ентропія».
Доведіть, що максимальна ентропія досягається при рівноймовірних результатах випробувань.
Як пов’язані між собою ентропія та інформація з погляду статистичної теорії інформації?
Що означає «умовна ентропія»? Сформулюйте її властивості.
Сформулюйте принцип необхідної різноманітності Ешбі.
Охарактеризуйте підходи до визначення кількості інформації.