Глоссарий

Понятие меры информации было введено в статистику Клодом Шенноном. Некоторое событие, которое имеет М возможных исходов x_i с вероятностью p[x_i], характеризующей вероятность появления i-го исхода, содержит в себе информацию, величина которой определяется выражением:

Ожидаемое или среднее значение этой информации равно энтропии, которая определяется следующим выражением:

Энтропия представляет собой некоторую меру "неопределенности", связанную с появлением какого-либо события. Чем выше энтропия, тем больше неопределенность его появления. Если оно является дискретным, то его энтропия будет максимальна в случае равномерного распределения, то есть когда все исходы равновероятны. Данное понятие широко применяется при разработке алгоритмов анализа данных.