Почему в информатике под объемом информацией понимают кол-во уменьшившегося незнания, а не кол-во самой информации?

5 года назад от SheenaGabel2

1 ответ

0 голосов
вобще все это пустая болтовня, попытки авторов учебников объяснить на пальцах вполне конкретное понятие шенноновской инфоромации и энтропии ученикам, не знающим базовых понятий.

"мера неопределенности" - энтропия. E=Сумма по всем возможным исходам (-p*log p) , где p - вероятность этого исхода.

получение информации (например, собщения) меняет значения вероятностей и эту меру неопределенности. Информацией называется изменение энтропии в результате получения собщения. Всего-то.

Но для понимания невредно знать теорию вероятностей, а хорошо бы и формулу Байеса.

Тут еще важный момент: кол-во информации зависит от приемника! Если вы уже знаете, что Волга впадает в Каспийское море, то собщение "Волга впадает в Каспийское море" не содержит для вас ни бита информации.
5 года назад от Madge03D8882

Связанные вопросы