Чтобы энтропия системы равнялась на "0" надо знать 100 информации. А я знаю 90. Какого энтропия каждых остальных?

Question

Для того, чтобы информационная энтропия системы была равно на "Нуль" я должен знать 100 информации. А я знаю 90. Какого энтропия каждых остальных (равновероятны) ?

Answer 1

Чтоб хранить всю информацию о системе, нужно иметь 100 дискет.
А у тебя только 90 записано. Сколько не хватает? 10, правильно!

Для каждого из 20 независимых одинаково распределенных недостающих нужна половинка дискеты, вот как. Нужно просто 10 дискет на 20 остальных поделить, кажется, по Шеннону.

Примерно так, да. Какого энтропия каждого остальных? Да такого! Каков вопрос, таков и ответ, кажется, по Шеннону.