Что такое информационная энтропия. И для чего е ввели в теорию информации?

Answer 1

Определение энтропии по Шеннону сами найдите в Википедии, OK?
Ввели примерно вот для чего. Мера хаоса - это да, но это еще и способ измерять кол-во информации.

Например, если у меня есть бит, который в 70 процентов случаев единичка и в 30 ноль, то сколько это в среднем информации в реале? Если я зипом (а он оптимален для таких задач, т. к. использует кодирование Хаффмана) пожму миллион таких независимых бит, то сколько в среднем вожно выиграть по размеру?

Вобще тут еще теория вероятностей (даже статистика) пересекается с теорией информации. Например, в статистике можно условно сказать, что чем меньше Вы знаете о характере распределения случайной величины, тем выше у распределения предполагается энтропия. Если знаете, что случайная величина всегда принимает фиксированное значение, то вы знаете про не всё, а энтропия будет ноль. Если Вы вобще ничего не знаете, то выбираете единственное распределение с максимальной энтропией на сответствующем множестве при сответсвующих ограничениях. Нормальное на прямой, равномерное на отрезке, пуассоновское на множестве натуральных чисел, экпоненциальное на луче и тп.

Answer 2

информация имет свойство расширяться, т. е. увеличиваться. и вот е стало так много что требуется целая неделя для того, чтобы найти нужную. И вот мы из первого слоя информации выбираем нужную (второй слой) , накапливаем и е становится так много, что требуется целая неделя для поиска необходимой информации. И так без конца. мы упорядочиваем, а она нагромождается и мы этим не довольны.

Answer 3

Например, из русского (и не только) текста можно выкинуть все гласные буквы, но при этом содержащаяся в нем информация - "понятность" для получателя текста - пострадает лишь частично. Действительно, в "мх сдт н птлк" смутно угадывается "муха сидит на потолке". Если же убрать согласные, оставив гласные, то дело плохо - гласных в нашем алфавите гораздо меньше согласных. Другими словами, появление гласной буквы в тексте сравнительно не сильно уменьшает неопределенность относительно собщения. Численно энтропию в данном случае можно определить как обще кол-во информации в исходном тексте (т. е. в настоящем тексте, из которого ничего не выкидывали) , которая приходится на один символ/группу символов.

Здесь при желании можно проследить связь со старой доброй энтропией из стат. механики (логарифм статистического веса макросостояния) . Но это уже давайте сами разбирайтесь)

Answer 4

Наверное, для того чтобы понимать, что информация, как и энергия, подчиняется своим законам. Энтропия - это, вобще-то, хаос. Разрушение созданных систем.