Объясните, что такое энтропия? Чтобы было понятно, простым языком.

Answer 1

Если в двух словах, то
 Энтропия — это то, как много информации вам не известно о системе
 Например, если вы спросите меня, где я живу, и я отвечу: в России, то моя энтропия для вас будет высока, всё-таки Россия большая страна. Если же я назову вам свой почтовый индекс: то моя энтропия для вас понизится, поскольку вы получите больше информации.
 Если мы знаем о чем то точно - то энтропия этого события низкая. Если же мы в чем то не уверены и у нас мало информации - энтропия высокая.