Нелинейность внутри каждой позиции
Attention связывает позиции; FFN смешивает координаты отдельной позиции. В варианте ReLU:
При X[n,d],W1[d,d_ff],W2[d_ff,d] выход снова[n,d]. Все позиции используют одинаковые weights, но разные слои имеют собственные матрицы.
SwiGLU в принятом безbias-варианте использует три матрицы:
G и U имеют[n,d_ff], произведение покоординатное. Это не matmul G·U. Down projection возвращает ширинуd. L08 сравнивает варианты при скорректированной hidden width; наша лаборатория сохраняет d_ff=2d, поэтому SwiGLU содержит больше параметров, чем ReLU.
При d=4,d_ff=8 ReLU-FFN имеет32+8+32+4=76скаляров сbias. Безbias SwiGLU имеет3×32=96. Входы и выходы одинаковой формы не означают равную стоимость.
Исследовать. Сравните две архитектуры, отслеживая полный перечень weights, gate/up/product/down. Изменение architecture control заново инициализирует модель; сравнение случайных logits не является экспериментом о качестве обученных моделей. Нельзя говорить «SwiGLU понимает лучше» только по наличию gate.