Измерение информации. Содержательный подход.
Поскольку определять информацию можно по-разному, то и способы измерения тоже могут быть разными.
Информация — это знания человека. Отсюда следует вывод, что сообщение информативно (содержит ненулевую информацию), если оно пополняет знания человека.
Единица измерения информации была определена в науке, которая называется теорией информации. Эта единица называется «бит».
Неопределённость знаний о некотором событии — это количество возможных результатов события (бросания монеты, кубика; вытаскивания жребия).
Сообщение о том, что произошло одно событие из двух равновероятных, несёт 1 бит информации.
Метод поиска, на каждом шаге которого отбрасывается половина вариантов, называется методом половинного деления.
Количество информации i, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения показательного уравнения: 2i = N.
N — количество возможных событий (неопределённость знаний), i — количество информации в сообщении о том, что произошло одно из N событий.
