Информационная энтропия
Информационная энтропия — мощный и пожилой термин из теории информации, который был внедрён Клаудом Шенноном. Она описывает, сколько в среднем бит информации необходимо для описания исхода эксперимента с известным вероятностным распределением, что внезапно весьма мощный и значимый показатель.
Описание[править]
Шеннон разработал математическую теорию связи, которая описывала то, как можно передавать сообщения по ненадёжным каналам, где имеются потери. Надо понятно дублировать, но в каком количестве и как епта? Шеннон показал, что энтропия является единственной функцией, удовлетворяющей необходимым аксиомам. Это позволило строго определить пределы сжатия данных и пропускную способность каналов связи, что становилось актуальным и возжужжало ещё яростнее после появления Интернета.
Если X есть дискретная случайная величина, принимающая значения из счётного множества M, и имеется набор вероятностей для того, что значение окажется равно конкретному элементу множества сего, то энтропия определяется как математическое ожидание собственной информации, и таким образом редкие события как бы несут больше информации.
Из этого удалось вывести некоторые хитрозадые теоремы, например то, что средняя длина кодового слова не может быть меньше H(X) бит при безошибочном сжатии, если брать меньшее значение, то не получится однозначно раскодировать полученный код. Так же определяется и максимальная надёжная скорость передачи данных по каналу.
Именно энтропия ключа определяет его стойкость от потенциального взлома.
