16 Checkpoint: Как обучается LLM

Восемь проверок механизма

Порог: 7 из 8. Без таймера. Баллы начисляются за ответы, не за посещение. Это локальная самопроверка; решения будут показаны после отправки.

1. Target позиции i в causal LM — это…Тот же token t_iСледующий token t_(i+1)Случайный vocabulary ID

2. Masked prompt token в среднем CE…Даёт нулевой вклад и gradientСчитается дваждыУдаляется из context

3. Validation pass должен…Обновить Adam momentsОставить weights и optimizer state неизменнымиСмешаться с train split

4. При assistant-only SFT prompt tokens…Не видны моделиВидны как context, но loss mask равен0Всегда являются targets

5. Shifted pairs для5 tokens?Ваш численный ответ

6. Perplexity при mean NLL ln4?Ваш численный ответ

7. Global norm [3,4]?Ваш численный ответ

8. LoRA trainable parameters при m=8,n=4,r=2?Ваш численный ответ

Результат появится после отправки всех ответов.

Исследовать и объяснить

Сравните masked и unmasked objective, затем выполните один реальный optimizer step. Проверьте, какие arrays изменились, и отделите train loss от validation. Для LoRA сопоставьте rank и trainable parameter budget с full update.

Сначала сформулируйте гипотезу, затем измените один параметр. Сопоставьте числа с формулой; назовите крайний случай и границу применимости. Свободный вывод не оценивается фиктивным автоматическим баллом.