Пропускная способность канала с шумами

Передача информации по каналу с шумами

Во второй главе мы определили прирост информации, который происходит при приеме сообщения, как взятый с отрицательным знаком логарифм вероятности этого сообщения. При этом предполагалось, что сообщение принято правильно.

В реальных каналах связи сообщения искажаются шумами. Как уже не раз отмечалось, зрительные сообщения испытывают воздействия квантовых флуктуаций светового потока, флуктуаций фотохимического процесса в рецепторах, спонтанных разрядов в нервных волокнах и т. д. Шумы приводят к уменьшению количества информации, которое может быть воспринято.

Можно ввести определение прироста информации при передаче по каналу с шумами, которое будет столь же хорошо соответствовать нашим интуитивным представлениям, как и определение прироста информации для случая канала без шумов:

[Прирост информации] = log Вероятность данного события для получателя информации после приема сообщения / Вероятность данного события для получателя  до приема сообщения

Определение (47) можно записать с помощью следующих обозначений: х — переданное сообщение; y - принятое сообщение; р(х) — вероятность того, что переданное сообщение было х; р(y) — вероятность того, что принятое сообщение было y;px(y) — вероятность того, что принятое сообщение было у, если передавалось сообщение х; ру (х) — вероятность того, что передавалось сообщение х, если принято сообщение у. Здесь р(х) — априорная вероятность, не зависящая от условий передачи и представляющая собой лишь свойство самого источника сообщений. Например, если передаются значения яркости элементов изображения и х обозначает градацию яркости, то р(х) обозначает вероятность встретить градацию х в исходном изображении. Условная вероятность рх(у) характеризует воздействие шумов на сообщение. Это — вероятность того, что передаваемое сообщение х превратится вследствие флуктуаций в канале связи в то или иное сообщение у на приемной стороне. В канале без шумов наблюдалось бы однозначное соответствие между переданным и принятым сообщениями, и величина рх(у) для всех у, кроме одного, была бы нулем, а для этого единственного (достоверного) сообщения была бы равна единице. р(у) — найденная на приемной стороне вероятность того, что принятое сообщение есть у, независимо от того, какое сообщение передавалось, рy(х) — условная вероятность того, что если на приемной стороне принято сообщение у, то на входе было сообщение х. В канале без шумов можно было бы безошибочно судить по принятому сообщению у о переданном х. Приняв сообщение у в канале с шумами, мы можем говорить о том, что было передано то или иное сообщение х, лишь с некоторой вероятностью ру(х).

Вместо определения (47) теперь можно написать
[Прирост информации] = —log р (х) -)- log py (х) (48)
Если бы шумы отсутствовали, можно было бы достоверно судить после приема сообщения о том, что передано: py(x) =1, a log ру(х)—0. Тогда вместо (47) получили бы прежнюю формулу (33), согласно которой прирост информации есть — log р (х). При этом несущественно, тождественны ли значения на передающей стороне (х) соответствующим значениям на приемной стороне (у). Важно лишь, чтобы по у можно было бы однозначно восстановить х, как например по негативу можно восстановить позитивное изображение.

Из соотношения (48) видно, что прирост информации равен нулю, если

Равенство (49) обозначает, что, зная у, мы можем сказать относительно х не более, чем могли бы сказать до приема сообщения, на основании знания априорной вероятности р(х). А это как раз и значит, что никаких новых сведений об х при приеме у не получено, количество информации не увеличилось.

Равенство (48) описывает прирост информации при получении одного сообщения. Можно, как и в случае канала без шумов, найти среднее значение прироста информации. Оно равно разности средних значений членов в правой части равенства (48). Среднее значение величины —log р(х), как и раньше, есть энтропия источника сообщения, которую обозначим теперь H (х). Среднее значение величины —logру(х) надо вычислить для всех возможных случаев совместных событий — передачи х и приема у. Вероятность каждого из таких совместных событий р (х, у) будет, как известно,

Обозначим это среднее значение величины —log ру (х) через Ну(х). Его называют ненадежностью. Эта величина является мерой неопределенности того, что передано.

Скорость передачи информации, т. е. среднее значение прироста информации на одно сообщение, будет, следовательно,

Это выражение можно истолковать как количество переданных данных в сообщении за вычетом неопределенности того, что было передано.

Формулу (51) можно переписать в другом виде, если воспользоваться в соответствии с формулой (50) тем, что,

где Н (х) и Н (у) — энтропии распределения вероятностей значений на входе (х) и выходе (y) системы. Н (х, у) представляет собой энтропию распределения совместного воз никновения данной пары величин х и у.

Следующий пример хорошо иллюстрирует применение этого введенного Шенноном (Shannon a. Weaver, 1949) понятия. Пусть имеется два возможных значения 0 и 1 и передача осуществляется со скоростью 1000 элементов в секунду, причем
оба значения равновероятны, . Следовательно, источник создает сообщения со скоростью 1000 дв. ед./сек. Пусть шумы так искажают сигнал, что в среднем один из 100 элементов принят неправильно. Какова скорость передачи информации? Как указывает Шеннон, сразу хочется сказать, что эта скорость составляет 990 дв. ед./сек., т. е. просто вычесть число ошибок, однако это неправильно, так как не учитывается, что получатель не знает, где именно произошла ошибка.

Вычислим скорость передачи информации для этого случая с помощью формулы (51). Скорость создания информации источником будет  дв. ед./элемент или 1000 дв. ед./сек., как уже было отмечено. Для вычисления Ну (х) заметим следующее. Вероятность того, что передавали 0. если принята 1, есть p1(0)=0.01. Вероятность того, что передавали 0, если приняли 0, есть p0(0)=0.99. Точно так же p1(1)=0.99 и р0(1)=0.01. Отсюда Нy(х)=—0.99 log2 0.99-0.01 log2 0.01=0.081 дв. ед./элемент, или 81 дв. ед./сек. Скорость передачи оказывается
1000 — 81 = 919 дв. ед./сек.

Рассмотрим еще тот крайний случай, когда шумы столь велики, что принятое сообщение никак не связано с переданным. Независимо от того, передавался 0 или 1, вероятность принять 0 или 1 одинакова и равна 1/2. В среднем половина
принятых элементов будет и при этом принята правильно, однако это будет лишь случайным совпадением. Величина ненадежности получается равной

По-прежнему Н (х)=1 дв. ед./элемент. Следовательно,

Таким образом, несмотря на то, что в среднем половина элементов передается правильно, скорость передачи информации равна нулю — остается неизвестным, где были ошибки.