Наиболее важной общей характеристикой системы связи, определяющей количество информации, которое она в состоянии передать за единицу времени, является пропускная способность.
Пропускной способностью канала с шумами называют максимальное значение скорости передачи сообщений
Это максимальное значение соответствует случаю наилучшего согласования канала, по которому передается сообщение, и источника сообщений.
Конкретные значения пропускной способности определяются в зависимости от характеристик шума. Наибольший интерес представляет весьма общий случай, когда шум является так называемым «белым» гауссовым шумом. Термин «белый шум» употребляется в том смысле, что мощность его распределена по всему спектру равномерно (по аналогии с распределением спектральной мощности излучения в белом свете). Имеется также в виду, что спектр шума ограничен той же полосой частот, что и полезный сигнал. Распределение вероятностей амплитуд шума xш подчинено гауссову закону (так называемое нормальное распределение)
Величина σ называется стандартным отклонением. Она вычисляется как
где Рш — средняя мощность шума.
Шеннон (Shannon a. Weaver, 1949) показал, что про-аускная способность канала с полосой частот пропускания W, при средней мощности передатчика, создающего полезный сигнал, Рс и при действии помехи, представляющей собой «белый» шум со средней мощностью Рш, есть
Можно попытаться истолковать эту формулу, вывод которой имеется в любом Kvpce теории информации, с помощью следующего рассуждения, приведенного в одной из работ Шеннона (Shannon, 1949).
Рис. 51. Искажение миогоградационного сигнала шумами.
Рис. 52. Зависимость между ненадежностью и энтропией источника при заданной пропускной способности канала.
Грубо оценим количество градаций, которое можно различить на приемной стороне при действии шумов, например количество значений напряжения, которое можно хорошо различить в шумах. На рис. 51 показан пример искажения исходного многоградационного сигнала вследствие воздействия шума. Порог различения можно считать сравнимым по величине со стандартным отклонением σ. Суммарная мощность сигнала с наложенной на него помехой будет Рс+Рш. Амплитуда сигнала (например, амплитуда напряжения электрического сигнала), как известно, пропорциональна корню из мощности 
. Для числа хорошо различимых градаций приближенно получим
Число независимых отсчетов сигнала с полосой частот W за время Т будет, согласно теореме Котельникова, 2WT (см. главу вторую). Таким образом, наибольшее количество информации, которое можно передать за время Т, будет
За единицу времени будет передано
Один из наиболее важных результатов теории информации, полученный Шенноном (Shannon a. Weaver, 1949) — основная теорема для канала с шумами.
Пусть Н — энтропия источника сообщений, выраженная числом двоичных единиц информации, которое он создает в единицу времени, а С — пропускная способность канала связи, т. е. число двоичных единиц, которое может быть передано по каналу связи в единицу времени. Согласно основной теореме, если Н≤С, то существует такая система кодирования, что сообщения источника могут быть переданы по каналу с произвольно малой частотой ошибок или со сколь угодно малой ненадежностью. Если H>С, то можно закодировать сообщения источника таким образом, чтобы ненадежность была меньше, чем Н—С+ε, где ε сколь угодно мало. Но никакой метод кодирования не допускает передачи с большей скоростью, чем С, при произвольно малой частоте ошибок. Не существует способа кодирования, обеспечивающего меньшую ненадежность, чем Н—С.
Эти положения можно пояснить с помощью рис. 52. По оси абсцисс отложена энтропия источника Н (х) (средняя скорость создания информации источником, выраженная числом двоичных единиц в секунду), а по оси ординат — ненадежность Ну (х). С — пропускная способность канала. Штриховкой отмечена осуществимая область. Одна из границ ее представляет собой прямую с наклоном, равным единице. Пока сообщение может быть передано со сколь угодно малой частотой ошибок (осуществима любая ненадежность, в том числе и бесконечно малая). При Н>С, т. е. если источник создает в единицу времени больше информации, чем может пропустить канал, безошибочная передача становится невозможной. Наименьшие возможные значения лежат на наклонной прямой — границе заштрихованной области. Чем больше Н превосходит С, тем больше ненадежность.
Эти результаты, полученные Шенноном, могут показаться неожиданными. Казалось бы, при наличии шума нельзя передавать сообщения с конечной скоростью без ошибок. Чтобы уменьшить количество ошибок, можно было бы, например, прибегнуть к методу накопления, несколько раз повторяя передачу одного и того же сообщения. Но чем более жесткие требования мы будем предъявлять к правильности передачи, тем больше потребуется повторений, тем, следовательно, больше будет замедляться передача. Можно было бы ожидать, что для приближения вероятности ошибок к нулю придется бесконечно замедлить передачу, сводя, таким образом, к нулю и пропускную способность — максимальную скорость передачи информации.
И, однако, это не так. Основная теорема для канала с шумами устанавливает возможность передачи сообщений с конечной скоростью при сколь угодно малой частоте ошибок. Правда, теория не дает рецепта, как построить такую систему передачи информации. Однако она позволяет составить представление о существенных свойствах этой идеальной системы.