Информация как уменьшение неопределённости · Формула Хартли.
Содержательный подход связывает информацию с уменьшением неопределённости: чем больше вариантов событий, тем больше информации несёт сообщение о конкретном исходе.
Для равновероятных событий (p₁ = p₂ = ... = pₙ = 1/N):
где N — число равновероятных вариантов.
Смысл: I — количество бит, которое нужно передать, чтобы однозначно указать на один из N вариантов.
Оба подхода связаны через формулу i = log₂N:
Если все символы алфавита равновероятны, оба подхода дают одинаковый результат.
Условие: Из корзины с 32 одинаковыми на ощупь шарами разного цвета наугад вытаскивают один. Сколько бит информации несёт сообщение о цвете вытащенного шара?
Решение: N = 32, I = log₂(32) = 5 бит
Условие: Сообщение несёт 4 бита информации. Из скольких равновероятных вариантов был сделан выбор?
Решение: I = log₂N = 4, значит N = 2⁴ = 16 вариантов
Компьютер загадал число от 1 до N. Каждый вопрос «больше/меньше» даёт 1 бит информации. При N = 1 024 × 1 024 = 1 048 576 нужно ровно 20 вопросов!
Генерирует случайные задачи на подсчёт слов с ограничениями (тип ЕГЭ по информатике). Используй правило произведения!
Задумай объект из списка. Отвечай «Да» или «Нет». После каждого ответа журнал покажет, сколько бит информации ты передал и как сужается пространство возможных вариантов.
5 вопросов по содержательному подходу · 20 XP за каждый правильный ответ