Соединяем уже изученные операции
Учебный decoder использует pre-norm: сначала нормируется вход подслоя, затем вычисляется преобразование и добавляется residual. Для X[n,d]:
LN считает mean и population variance отдельно для каждой строки, использует eps=1e−5 и affine γ,β. Causal attention не позволяет позиции читать будущее. FFN применяется к каждой позиции с общими weights. Формы residual слагаемых совпадают.
L06 описывает original post-norm encoder-decoder: LayerNorm стоит после residual, а decoder имеет cross-attention к encoder. Здесь другая, явно заданная pre-norm decoder-only архитектура. Она включает настоящие вычисления всех компонентов, но не является точной копией GPT-2 или другой конкретной модели.
Ручной sublayer fixture. Для строки[1,−1], γ=[1,1],β=[0,0] нормированный вектор[1,−1]/√(1+eps). С одним доступным key коэффициент attention1. Если проекции identity, residual равен[1+s,−1−s],s=1/√(1+eps). Никакая операция не требует «угадать смысл» строки.
Эксперимент. Пройдите block по стадиям и сопоставьте N1,Q/K/V,A,R,N2,F,H. Параметры и активации раздельны в inspector. Веса seeded, не обучены языку. Обученный tokenizer не превращает случайные веса в LLM, способную осмысленно отвечать.