alterna ai
ALTERNA AI / ГЛАВА 12 · CHECKPOINT

12 Checkpoint: Текст и токенизация

Проверьте понятия, ручные расчёты и причинные связи. Для прохождения самопроверки нужно не менее7из8.

Прогресс доступен при включённом JavaScript. Просмотр не равен освоению.

Восемь проверок механизма

Порог: 7 из 8. Без таймера. Баллы начисляются за ответы, не за посещение. Это локальная самопроверка; решения будут показаны после отправки.

1. JavaScript String.length считает…
2. В нашем byte vocabulary ID0 означает…
3. При overlap count пары и число замен…
4. Для восстановления текста нужно…
5. UTF-8 bytes в строке Я🙂?
6. Начальный размер byte vocabulary?
7. Token count banana после первого merge an?
8. Размер vocabulary после4успешных merges?

Результат появится после отправки всех ответов.

Исследовать и объяснить

Проверьте roundtrip кириллицы, emoji, BOM и повторных пробелов. Для aaa сравните pair count с replacements. При изменении corpus проследите, какие IDs получили новые значения и почему старые embedding weights нельзя считать автоматически совместимыми.

Сначала сформулируйте гипотезу, затем измените один параметр. Сопоставьте числа с формулой; назовите крайний случай и границу применимости. Свободный вывод не оценивается фиктивным автоматическим баллом.