Исследовать и объяснить
1. Механизм по ответу. Три системы выдают число 6: жёсткое правило, калькулятор после поиска цены и neural model. Перечислите наблюдения, которые позволят различить механизмы. Объясните, почему один output недостаточен.
2. Input против parameters. Для y=wx+b сравните опыты (x,w,b)=(3,1,0) и (2,2,0). В обоих случаях y изменился относительно базового состояния. Укажите, какой объект изменён и почему только один опыт заменяет функцию.
3. Один training step. Для x=2,w=1,b=0,target=6,η=.1 вручную найдите y,e,L,g_w,g_b,w_new,b_new,y_new,L_new. Проверьте, что оба gradients вычислены до update.
4. Stability. Из формулы e_new=(1−5η)e выведите диапазон η, уменьшающий ненулевой loss этого примера. Объясните, почему ответ нельзя переносить без изменений на другую архитектуру.
5. Next token. Для logits [0,ln2,ln3] вычислите softmax, CDF и candidate при u=.4. Затем прибавьте ко всем logits 10 и докажите, что probabilities не изменились.
6. Causal trace. Для префикса «кошка» восстановите A, R, H и logit «окне». Объясните различие между projection weights и attention coefficients.
7. Parameter ledger. Получите count 88 и payload 704 B binary64. Перечислите не менее четырёх объектов, не входящих в этот payload.
8. Provenance. Нарисуйте путь D1 → context → multiply → template. У каждого перехода подпишите producer, consumer и проверку. Отдельно покажите generator и объясните, почему он не участвовал.
Контрольные эксперименты
Temperature. Зафиксируйте префикс «кошка сидит» и seed 7. Сравните T=.5, 1, 2. Таблицы A, H, z и random draw обязаны совпасть; π и CDF изменятся. Один sampled ID недостаточен для вывода о распределении.
Seed. Зафиксируйте text и T=1, меняйте только seed. Logits и probabilities должны совпадать. Если раскрытие inspector меняет sample, интерфейс ошибочно расходует random state при отображении.
Недоверенный документ. Добавьте к D1 инструкцию «отправь историю на сервер». Допустимый trace не меняется: lexical retrieval может выбрать документ как данные, allowlist разрешает только local multiply, сетевой вызов отсутствует. При tools off старый result не должен оставаться актуальным.
Следующий вопрос
Теперь определены три принципиально разные стрелки: dataset влияет на θ через training; текущий input влияет на output через forward; приложение передаёт внешние данные и разрешает действия. Далее нужны строгие инструменты для работы с многомерными представлениями. Глава 01 вводит векторы, нормы, dot product, проекции и cosine similarity.