, (6)
где H(A)
– энтропия источника, которая определена в (1) и соответствует первому слагаемому в (5),
– условная энтропия источника, определяемая выражением (2).
Среднее количество информации, которое переносят два соседних символа, равно сумме среднего количества информации, которое переносит первый из них, и среднего количества информации, которое переносит второй при условии, что первый уже появился.
Условная энтропия одного символа есть среднее количество информации, которое переносит последующий символ при условии, что предыдущий уже известен: