05 Checkpoint: Оптимизация и численные методы

Восемь проверок механизма

Порог: 7 из 8. Без таймера. Баллы начисляются за ответы, не за посещение. Это локальная самопроверка; решения будут показаны после отправки.

1. Координаты точки loss landscape здесь означают…Настройки параметров моделиНомера токеновЦветовые каналы картинки

2. Большой learning rate может…Только ускоритьУвеличить loss и вызвать расходимостьСделать gradient точно правильным

3. Средний gradient minibatch…Всегда равен полномуМожет отличаться от полногоЯвляется случайным числом без данных

4. Второй момент gradient равен дисперсии?Да всегдаНет, для дисперсии нужен ещё квадрат среднегоТолько наGPU

5. Первый EMA momentum m приg=4,β=.9,m₀=0?Ваш численный ответ

6. Полный gradient дляθ0,targets[-1,1,3,5]?Ваш численный ответ

7. Первая координата norm-clipped[3,4] приc=2?Ваш численный ответ

8. Обновлённыйθпри decay:θ2,η.1,λ.5?Ваш численный ответ

Результат появится после отправки всех ответов.

Исследовать и объяснить

Сравните методы при одном бюджете, затем измените conditioning. Не делайте вывод о качестве LLM из одного графика. Покажите на state первого шага Adam, где исчезает начальное смещение; отдельно объясните, почему clipping и decay не одно действие.

Сначала сформулируйте гипотезу, затем измените один параметр. Сопоставьте числа с формулой; назовите крайний случай и границу применимости. Свободный вывод не оценивается фиктивным автоматическим баллом.