Інформати́вність озна́к — величина, яка кількісно характеризує придатність ознак (або їх набору) X для розпізнавання класів об'єктів. При цьому передбачається, що пред'явлені для розпізнавання об'єкти представляються сигналами х в просторі ознак .
У розпізнаванні образів як інформативність ознак використовуються умовна ентропія, ймовірність помилки розпізнавання, дивергенція Кульбака, дисперсійна міра і інші величини. Найчастіше зустрічається умовна ентропія :
,
де — множина класів, — ознаки, — номер класу, — сигнал в просторі ознак , — густина ймовірності появи сигналу , — апостеріорна ймовірність класу за умови спостереження сигналу .
У разі, коли ознаки дозволяють безпомилково указувати клас, умовна ентропія дорівнює нулю. При порівнянні двох наборів ознак інформативнішим є той, який характеризується меншою умовною ентропією. На практиці використовування інформативності ознак ускладнене через невідому ймовірність і .
При виборі інформативних ознак частіше за все виходять з властивостей тих сигналів, які збираються класифікувати. Облік властивостей сигналів дозволяє приблизно судити про розподіли ) і і знаходити достатньо інформативні ознаки. Інформативність набору ознак слід відрізняти від інформативності окремих ознак набору.
Тільки у тому випадку, коли ознаки незалежні за умови окремих класів, інформативність набору ознак рівна сумі інформативності окремих ознак. В цьому випадку на підставі інформативності окремих ознак можна складати самі інформативні набори. Якщо ознаки залежні, інформативність ознак не виражається через інформативність окремих ознак, а вибір самих інформативних наборів по інформативності окремих ознак стає неможливим.
Див. також Теорія розпізнавання образів ТЕІ (ініціатива кодування тексту) Література
Ковалевский В. А. Задача распознавания образов с точки зрения математической статистики. В кн.: Читающие автоматы и распознавание образов. К., 1965; Кульбак С. Теория информации и статистика. Пер. с англ. М., 1967 [библиогр. с. 364—381].
Т. К. Винцюк.