Рефераты. Лекции по количественной оценке информации

Лекции по количественной оценке информации

КОЛИЧЕСТВЕННАЯ ОЦЕНКА ИНФОРМАЦИИ

            Общее число неповторяющихся сообщений, которое может быть составлено из алфавита m путем комбинирования по n символов в сообщении,

 Лекции по количественной оценке информации.                                                  (1)

Неопределенность, приходящаяся на символ первичного (кодируемого)[1] алфавита, составленного из равновероятностных и взаимонезависимых символов,

 Лекции по количественной оценке информации.                                                (2)

            Основание логарифма влияет лишь на удобство вычисления. В случае оценки энтропии:

            а) в двоичных единицах

 Лекции по количественной оценке информации

            б) в десятичных единицах

 Лекции по количественной оценке информации

где  Лекции по количественной оценке информации;

            в) в натуральных единицах

 Лекции по количественной оценке информации

где  Лекции по количественной оценке информации

            Так как информация есть неопределенность, снимаемая при получении сообщения, то количество информации может быть представлено как произведение общего числа сообщений к на среднюю энтропию Н, приходящуюся на одно сообщение:

 Лекции по количественной оценке информации                                       (3)

            Для случаев равновероятностных и взаимонензависимых символов первичного алфавита количество информации в к сообщениях алфавита m равно

 Лекции по количественной оценке информации

а количество информации в сообщении, составленном из к неравновероятностных символов,

 Лекции по количественной оценке информации                              (5)

            Для неравновероятностных алфавитов энтропия на символ алфавита

 Лекции по количественной оценке информации          (4)

При решении задач, в которых энтропия вычисляется как сумма произведений вероятностей на их логарифм, независимо от того, являются ли они безусловными  Лекции по количественной оценке информации, условными  Лекции по количественной оценке информации или вероятностями совместных событий Лекции по количественной оценке информации.

            Количество информации определяется исключительно характеристиками первичного алфавита, объем – характеристиками вторичного алфавита. Объем[2] информации

 Лекции по количественной оценке информации                                              (6)

где lср – средняя длина кодовых слов вторичного алфавита. Для равномерных кодов (все комбинации кода содержат одинаковое количество разрядов)

 Лекции по количественной оценке информации

где n – длина кода (число элементарных посылок в коде). Согласно (3), объем равен количеству информации, если lср=Н, т.е. в случае максимальной информационной нагрузки на символ сообщения. Во всех остальных случаях  Лекции по количественной оценке информации.

Например, если кодировать в коде Бодо некоторые равновероятный алфавит, состоящий из 32 символов, то

 Лекции по количественной оценке информации

            Если закодировать в коде Бодо русский 32-буквенный алфавит, то без учета корреляции между буквами количество информации

 Лекции по количественной оценке информации

т.е. если в коде существует избыточность и  Лекции по количественной оценке информации, то объем в битах всегда больше количества информации в тех же единицах.

Тема 2. Условная энтропия и энтропия объединения

            Понятие условной энтропии в теории информации используется при определении взаимозависимости[3] между символами кодируемого алфавита, для определения потерь при передаче информации по каналам связи, при вычислении энтропии объединения.

            Во всех случаях при вычислении условной энтропии в том или ином виде используются условные вероятности.

            Если при передаче n сообщений символ А появился m раз, символ В появился l раз, а символ А вместе с символом В – к раз, то вероятность появления символа А  Лекции по количественной оценке информации; вероятность появления символа В  Лекции по количественной оценке информации; вероятность совместного появления символов А и В  Лекции по количественной оценке информации; условная вероятность появления символа А относительно символа В и условная вероятность появления символа В относительно символа А

 Лекции по количественной оценке информации                             (7)

            Если известна условная вероятность, то можно легко определить и вероятность совместного появления символов А и В, используя выражения (7)

 Лекции по количественной оценке информации                                                          (8)

            От классического выражения (4) формула условной энтропии отличается тем, что в ней вероятности – условные:

 Лекции по количественной оценке информации                                                         (9)

 Лекции по количественной оценке информации                                                        (10)

где индекс i выбран для характеристики произвольного состояния  источника сообщения А, индекс j выбран для характеристики произвольного состояния адресата В.

            Различают понятия частной и общей условной энтропии. Выражение (9) и (10) представляют собой частные условные энтропии.

            Общая условная энтропия сообщения В относительно сообщения А характеризует количество информации, содержащейся в любом символе алфавита, и определяется усреднением по всем символам, т. е. по всем состояниям с учетом вероятности появления каждого из состояний, и равна сумме вероятностей появления символов алфавита на неопределенность, которая остается после того, как адресат принял сигнал

 Лекции по количественной оценке информации            (11)

            Выражение (11) является общим выражением для определения количества информации на один символ сообщения для случая неравномерных и взаимонезависимых символов.

            Так как  Лекции по количественной оценке информациипредставляет собой вероятность совместного появления двух событий  Лекции по количественной оценке информации, то формула (11) можно записать следующим образом:

 Лекции по количественной оценке информации                                              (12)

            Понятие общей и частной условной энтропии широко используется при вычислении информационных потерь в каналах связи с шумами.

            В общем случае, если мы передаем m сигналов А и ожидаем получить m сигналов В, влияние помех в канале связи полностью описывается канальной матрицей, которую мы приводим ниже:

 Лекции по количественной оценке информации

В А


2012 © Все права защищены
При использовании материалов активная ссылка на источник обязательна.