01.3 Как измерить длину

«Длина» должна удовлетворять правилам

На прямоугольной сетке маршрут можно измерять суммой горизонтального и вертикального перемещений; свободное движение по плоскости естественно измерять прямым отрезком; ограничение по самой большой координате задаёт ещё одну геометрию. Все эти варианты являются нормами, потому что для вектора $x$ , скаляра $\alpha$ и вектора $y$ выполняются:

\|x\|\ge 0, \qquad \|x\|=0\Longleftrightarrow x=0, \qquad \|\alpha x\|=|\alpha|\|x\|, \qquad \|x+y\|\le\|x\|+\|y\|.

Последнее свойство — неравенство треугольника. Прямой путь от начала к $x+y$ не длиннее маршрута сначала вдоль $x$ , затем вдоль $y$ . Без этих свойств произвольную функцию нельзя считать корректной длиной.

Три нормы, используемые в курсе:

\|x\|_1=\sum_i|x_i|, \qquad \|x\|_2=\sqrt{\sum_i x_i^2}, \qquad \|x\|_\infty=\max_i|x_i|.

Для $x=[3,4]^T$ :

\|x\|_1=7, \qquad \|x\|_2=5, \qquad \|x\|_\infty=4.

Это не три приближения к одному обязательному числу, а три разных определения геометрии.

Единичный шар раскрывает выбранную геометрию

Единичный шар нормы — множество $\{x:\|x\|\le1\}$ . На плоскости его граница имеет разную форму:

для $L_1$ : ромб $|x_1|+|x_2|=1$ ;
для $L_2$ : окружность $x_1^2+x_2^2=1$ ;
для $L_\infty$ : квадрат $\max(|x_1|,|x_2|)=1$ .

Нормирование ненулевого вектора делит его на выбранную норму. Точка $x/\|x\|$ лежит на соответствующей границе, но её координаты различны:

\frac{x}{\|x\|_1}=[3/7,4/7]^T, \quad \frac{x}{\|x\|_2}=[3/5,4/5]^T, \quad \frac{x}{\|x\|_\infty}=[3/4,1]^T.

Расстояние является нормой разности

Выбранная норма задаёт метрику

d_p(x,y)=\|x-y\|_p.

Для $x=[3,4]^T$ , $y=[1,0]^T$ разность равна $[2,4]^T$ , поэтому

d_1(x,y)=6, \qquad d_2(x,y)=\sqrt{20}, \qquad d_\infty(x,y)=4.

Число «расстояние равно 4» неполно без названия метрики. В $L_1$ существует много кратчайших ступенчатых маршрутов длины 6. В $L_2$ кратчайшим является прямой отрезок. В $L_\infty$ стоимость определяется наибольшим координатным отклонением.

Квадрат евклидовой нормы часто используется в loss,

q(x)=\|x\|_2^2=\sum_i x_i^2,

но сам нормой не является: $q(2x)=4q(x)$ , тогда как однородность нормы требует множитель 2. « $L_0$ » как число ненулевых компонент тоже не норма: например, масштабирование ненулевого вектора не умножает это число на $|\alpha|$ . Сумма координат без модулей не годится даже как длина, поскольку у $[1,-1]$ она равна нулю.

Масштаб признаков меняет соседство

Если первая координата измерена в метрах, а затем записана в сантиметрах, её числовой вклад в расстояние увеличится в 100 раз. Объект, ближайший по исходным единицам, может перестать быть ближайшим после смены масштаба. Поэтому стандартизация признаков является частью модели данных, а не косметикой интерфейса.

Нормирование $x/\|x\|_2$ сохраняет направление ненулевого вектора и удаляет длину. Для embeddings это иногда полезно, когда сравниваются направления, но длина может нести обученный сигнал. Нормировать автоматически безопасно только после постановки вопроса: какую информацию разрешено отбросить?