01.1 Вектор и его координаты

Координаты описывают объект, но не исчерпывают его

В языковой модели токен сначала становится ID, но ID остаётся адресом: арифметика над номерами строк не обязана иметь содержательный смысл. Чтобы складывать представления, менять их масштаб и измерять согласованность направлений, нужен объект с заранее определёнными операциями. Таким объектом служит вектор. В этой главе рассматривается вещественное пространство $\mathbb R^n$ , где каждый вектор после выбора базиса записывается упорядоченным набором из $n$ чисел.

Запись $x=[3,4]^T$ можно прочитать двумя совместимыми способами. Алгебраически это координаты в выбранном порядке. Геометрически на плоскости это направленный отрезок с приращением 3 по первой оси и 4 по второй. Стрелка из $(0,0)$ в $(3,4)$ и стрелка из $(1,-1)$ в $(4,3)$ изображают один свободный вектор: у обеих разность «конец минус начало» равна $[3,4]^T$ .

Выбор начала координат относится к рисунку, а не к самому свободному вектору. Выбор базиса, напротив, определяет числа, которыми этот вектор записан. Поэтому фраза «вектор равен паре чисел» допустима только после фиксации базиса и порядка координат.

Операции задаются покоординатно

Для $x,y\in\mathbb R^n$ и $\alpha\in\mathbb R$ :

(x+y)_i=x_i+y_i, \qquad (\alpha x)_i=\alpha x_i, \qquad i=1,\ldots,n.

При $x=[3,4]^T$ , $y=[1,0]^T$ получаем

x+y=[4,4]^T, \qquad x-y=[2,4]^T, \qquad -x=[-3,-4]^T.

Геометрия суммы следует из той же формулы. Если перенести стрелку $y$ так, чтобы она начиналась в конце $x$ , её новый конец окажется в $(3+1,4+0)=(4,4)$ . Это правило треугольника. Параллелограмм даёт тот же результат, потому что перенос стрелки не меняет её приращения.

Умножение на положительное $\alpha$ сохраняет направление и меняет длину в $|\alpha|$ раз. Отрицательное $\alpha$ дополнительно обращает направление. При $\alpha=0$ получается нулевой вектор. У него есть координаты и он является нейтральным элементом сложения, но направление нулевой стрелке приписать нельзя.

Shape является частью контракта

Сложение определено только для элементов одного пространства: $[3,4]+[1,0]$ корректно, а $[3,4]+[1,0,2]$ без дополнительного правила не определено. В программном массиве shape [4096] означает одну ось и 4096 компонент, а не 4096 геометрических осей интерфейса. Двумерный рисунок показывает принцип, но формула остаётся той же при $n=4096$ .

Порядок компонент тоже является частью смысла. Если $[\text{рост}, \text{масса}]$ переставить в $[\text{масса}, \text{рост}]$ , нужно так же переставить все коэффициенты последующих операций. Иначе числовая форма сохранится, а вычисляемая функция изменится. Аналогично нельзя складывать token ID и embedding только потому, что оба представлены числами: у них разные роли и обычно разные shapes.

Инварианты, по которым проверяют реализацию

Для любых совместимых векторов должны выполняться свойства

x+y=y+x, \qquad (x+y)+z=x+(y+z), \qquad x+0=x, \qquad 1x=x.

Они позволяют тестировать код без доверия к одному примеру. Ещё одна полезная проверка: изменение только $y_2$ обязано изменить только вторую координату $x+y$ . Если изменилась первая, индексы перепутаны.

Покомпонентное сложение двух $n$ -векторов требует $n$ сложений, поэтому его арифметическая стоимость растёт как $O(n)$ . Числовой payload плотного float32-вектора равен $4n$ байт, но это не размер всего объекта в Python или вкладки браузера: контейнер, метаданные и временные значения считаются отдельно.