В обычных телевизионных и фототелеграфных системах изображения представлены электрическим сигналом так, что яркости каждого элемента изображения соответствует определенное значение напряжения. Каждый элемент изображения передается независимо, и не учитываются статистические связи между элементами. Вследствие этого по телевизионному или фототелеграфному каналу связи передается в действительности значительно меньшее количество информации за единицу времени, чем могло бы быть передано. Можно сказать, что эти каналы связи работают с недогрузкой, используются неэффективно.
Теория информации позволяет количественно оценить, насколько эффективно использован канал связи. Пусть, например, за единицу времени по каналу может быть передано n независимых отсчетов, имеющих т. градаций яркости.* Каждый из этих отсчетов может в предельном случае нести log2m дв. ед. информации, а всего по каналу связи можно передать
Эту величину называют емкостью, или пропускной способностью, дискретного канала без шумов.
Но как было показано во второй главе, в реальных m-градационных изображениях количество информации Н (энтропия), приходящееся в среднем на один элемент, существенно меньше, чем максимально возможное значение Hмакс=log2m. Количество информации, поступающее в среднем за секунду в канал связи (nH), будет гораздо меньше того, что мог бы передать канал,
В теории информации установлено, что пропускная способность канала связи может быть согласована со скоростью подачи информации от источника сообщений в канал, если сообщения, поступающие от источника, кодировать с учетом их статистических свойств.
Известным примером кода, построенного с учетом статистики, является телеграфный код Морзе. В этом коде более короткие комбинации сигналов, как правило, соответствуют более часто встречающимся буквам. Небезынтересно отметить, что и язык представляет собой в некотором смысле статистический код. Наиболее часто встречающиеся слова (союзы, предлоги, местоимения, названия наиболее употребительных предметов), как правило, более короткие.
Теория и методы статистического кодирования усиленно разрабатываются в связи с задачами техники связи, автоматики, счетной техники. Статистическое кодирование позволяет представить сообщение в более экономном виде, более эффективно использовать канал связи, предоставленный для передачи сообщения, или накопитель, предоставленный для его хранения. Такое кодирование как бы является извлечением информации из сообщения.
Все эти задачи, решаемые статистическим кодированием, по-видимому, имеют первостепенное значение для анализаторных систем, воспринимающих информацию из внешнего мира, в частности для зрительного анализатора. Представим себе, что зрительный анализатор не обладал бы способностью статистического кодирования потока поступающих через сетчатку сообщений и был бы в этом смысле подобен обычной телевизионной системе, не извлекающей информации из изображений, а лишь переносящей изображения из одного места в другое и в некоторых случаях записывающей их на каком-либо накопителе (например, на кинопленке или магнитной ленте). Тогда, если даже ограничиться заведомо заниженными оценками, через зрительную систему доставлялось бы из внешнего мира по крайней мере около 1 млн. отсчетов яркости элементов изображений (по числу волокон зрительного нерва) за время порядка 0.1 сек. (критическая длительность). Уже за несколько минут число таких отсчетов достигло бы величины порядка нескольких миллиардов и превысило бы число нейронов в коре больших полушарий головного мозга. Если предположить, как это часто делают, что каждый нейрон может находиться только в двух состояниях, то нетрудно убедиться, что вся емкость мозга будет израсходована на приходящие зрительные сообщения в течение нескольких минут.
Вряд ли могут возникнуть какие-либо сомнения относительно того, что в зрительной системе действительно осуществляется эффективное кодирование изображений. Однако биофизика не располагает еще достаточными сведениями об истинных механизмах такого кодирования. Имеется лишь несколько интересных физиологических фактов, которые прямо свидетельствуют о существовании в зрительной системе процессов, связанных со статистическим кодированием. Но в основном эти процессы еще не изучены, поэтому приходится прибегать к гипотезам, вытекающим из общих физиологических и кибернетических представлений.
* Согласно теореме Котельникова (см. вторую главу), это число независимых отсчетов связано с полосой частот пропускания канала связи W соотношением n=2W.