Почему В формуле Шеннона используется логарифм?

Question

На одном сайте написано что используется т. к. логарифм адитивен для независимых источников, но что это значит? Прошу помогите, препод завалил, сказал что если не отвечу на этот вопрос курсач не примет (

Answer 1

Пусть собщение имет N равновероятных вариантов (если случайно выбирать его содержимое) . Хотелось бы как-то определить удобную функцию для количества информации, содержащимся в собщении:
f (N) , (N = 1)
На не накладывают требования:
1) чтобы количество информации росло с ростом количества вариантов собщения:
f ' (x) 0, (x = 1)
2) чтобы количество информации в собщении, имеющем всего 1 вариант, было равно нулю:
f (1) = 0
3) чтобы информация в двух собщениях была суммой информаций каждого из собщений (та самая адитивность) . Если в первом собщении число вариантов N, во втором M, тогда при объединении их в одно обще собщение число вариантов N * M. Тогда информации в каждом из собщении:
f (N) , f (M)
в одном общем собщении:
f (N * M)
и мы хотим, чтобы:
f (N * M) = f (N) + f (M)
А дале замечаем, что логарифм удовлетворяет сразу всем трем свойством. Потому его оказалось естественно использовать для данных целей.

Answer 2

Чувак, в Вике в статье про информационную энтропию и шенноновскую информацию есть док-во того факта, что при аксиоматическом определении энтропии в е формуле обязательно лезет логарифм.

Но идея-то на поверхности лежит.
У тебя вероятности независимых событий перемножаюся, когда считаешь вероятность их пересечения.
И при вычислении совместной плотности независимых величин тоже произведение лезет.
А логарифм - та самая единстенная штука, которая позволяет перейти от умножения к сложению.

Если ты хочешь, чтоб информация о независимых событиях была адитивной, тебе нужен логарифм.
Чтоб вместо умножения вероятностей складывать информации.
1 байт + 2 байта = 3 байта
Ну или возьми другие единицы информации - наты, например, чтоб логарифм покрасиве натуральным сделать.