alterna ai
ALTERNA AI / ГЛАВА 15 · CHECKPOINT

15 Checkpoint: Transformer и GPT

Проверьте понятия, ручные расчёты и причинные связи. Для прохождения самопроверки нужно не менее7из8.

Прогресс доступен при включённом JavaScript. Просмотр не равен освоению.

Восемь проверок механизма

Порог: 7 из 8. Без таймера. Баллы начисляются за ответы, не за посещение. Это локальная самопроверка; решения будут показаны после отправки.

1. В нашей pre-norm архитектуре LN стоит…
2. Немаскированное self-attention без positions…
3. RoPE для Q/K…
4. SwiGLU в этом decoder содержит…
5. ReLU FFN: d4,d_ff8,сbias — сколько parameters?
6. SwiGLU d4,d_ff8,безbias — сколько parameters?
7. Всего ReLU decoder:V256,d4,L1?
8. Ширина logits при vocabulary260?

Результат появится после отправки всех ответов.

Исследовать и объяснить

Сверьте counts с фактическими arrays и сравните prefixes на уровне фиксированных token IDs. Проверьте норму RoPE и общий position shift. Объясните, почему правильный decoder forward со случайными weights не является обученной языковой моделью.

Сначала сформулируйте гипотезу, затем измените один параметр. Сопоставьте числа с формулой; назовите крайний случай и границу применимости. Свободный вывод не оценивается фиктивным автоматическим баллом.