Где берётся порядок
Немаскированное self-attention без position signals перестановочно эквивариантно: перестановка входных строк переставляет выходные. Оно не «инвариантно» в смысле неизменности всей матрицы. При перестановочной матрице P выполняется Attn(PX)=P Attn(X), если Q/K/V переставлены согласованно.
Фиксированная causal mask сама задаёт ограничение порядка. Поэтому нельзя буквально переносить предыдущую симметрию на неё и объявлять, что masked decoder совсем ничего не знает о последовательности. Explicit position encoding всё равно даёт дополнительный механизм представления абсолютного или относительного положения.
Sinusoidal вариант из L06 добавляет к embedding:
Для p=0,d=4 вектор[0,1,0,1]. Он совпадает по ширине с E[t], поэтому сложение допустимо. Это не learned position table; число обучаемых параметров при таком выборе не увеличивается.
Исследовать. Переключите sinusoidal/none при неизменных IDs, архитектуре и seed. Это абляция position signal, а не обучение. Сравните input embeddings с суммой E+PE. Не обещайте, что модель с синусоидами автоматически правильно работает на любой длине: качество экстраполяции зависит от обучения и архитектуры.