Alterna · Глава 27 — Энтропия

Глава 27 посвящена количественному измерению информации — двум подходам (алфавитному и содержательному) и энтропии Шеннона как универсальной мере неопределённости.

ФГОСФОПОГЭ №1ЕГЭ №4,8,11

📚

Теория

27.1

Алфавитный подход

Мощность алфавита, вес символа, объём сообщения. Формула I = K × i

27.2

Содержательный подход

Информация как уменьшение неопределённости. Формула Хартли: I = log₂N

27.3

Энтропия Шеннона

H = −Σ pᵢ·log₂pᵢ. Свойства энтропии, U-кривая, связь с кодированием

27.4

Комбинаторика слов

Правило произведения, размещения, слова с ограничениями — ЕГЭ тип 8

🎯

Практика

27.5

Практикум ОГЭ/ЕГЭ

10 случайных задач из банка 100, с фильтрами и разборами

27.6

Экзамен-полигон

Квест 800 XP · Тест 10 вопросов · Пошаговый решатель

🔗

Связь с другими главами

Предыдущая глава

Глава 26 · Условие Фано — префиксные коды, алгоритм Хаффмана. Средняя длина кода стремится к энтропии Шеннона.

Следующая глава

Глава 28 · ДНФ и КНФ — нормальные формы логических функций, карты Карно, минимизация.

📝

Ключевые формулы

Понятие	Формула	Описание
Вес символа	`i = log₂N`	Бит на символ в алфавите мощности N
Объём сообщения	`I = K × i`	K символов × бит на символ
Хартли	`I = log₂N`	Информация при выборе 1 из N равновероятных
Энтропия Шеннона	`H = −Σ pᵢ log₂(pᵢ)`	Мера неопределённости источника
Max энтропии	`H_max = log₂N`	При равномерном распределении