01.5 Ближайшая точка на направлении

Cosine отделяет направление от положительного масштаба

Для ненулевых $x,y$ cosine similarity определяется как

\operatorname{cos}(x,y)= \frac{x^Ty}{\|x\|_2\|y\|_2}.

Для $x=[3,4]^T$ , $y=[1,0]^T$ получаем $3/5=0.6$ , а угол равен $\arccos(0.6)\approx53.13^\circ$ . Умножение аргумента на положительное число не меняет cosine, потому что одинаковый множитель появляется в числителе и знаменателе. Отрицательный множитель обращает направление и меняет знак similarity.

Если хотя бы один аргумент нулевой, знаменатель равен нулю. Значение не определено; возвращать 0 означало бы ошибочно утверждать ортогональность или отсутствие сходства. Интерфейс должен показывать границу определения явно.

Cosine отвечает на узкий геометрический вопрос о направлении представлений. Он не гарантирует человеческую семантическую близость: смысл зависит от данных, objective, архитектуры и того, какие отношения обучение разместило в пространстве.

Проекция как ближайшая точка на прямой

Пусть $y\ne0$ . Все точки прямой, порождённой $y$ , имеют вид $\alpha y$ . Требуется выбрать коэффициент, минимизирующий евклидову ошибку

E(\alpha)=\|x-\alpha y\|_2^2.

Раскроем квадрат:

E(\alpha)=x^Tx-2\alpha x^Ty+\alpha^2y^Ty.

Это парабола с положительным коэффициентом $y^Ty$ . Её производная равна $-2x^Ty+2\alpha y^Ty$ , поэтому единственный минимум достигается при

\alpha^*=\frac{x^Ty}{y^Ty}, \qquad \operatorname{proj}_y x=\alpha^*y.

Тот же результат имеет геометрическое объяснение. Остаток

r=x-\operatorname{proj}_y x

ортогонален направлению $y$ , поскольку

y^Tr=y^Tx-\frac{x^Ty}{y^Ty}y^Ty=0.

Полный численный пример

Для $x=[3,4]^T$ , $y=[2,0]^T$ :

\alpha^*=\frac{6}{4}=1.5, \qquad p=\operatorname{proj}_y x=[3,0]^T, \qquad r=[0,4]^T.

Разложение $x=p+r$ состоит из ортогональных частей, поэтому

\|x\|_2^2=\|p\|_2^2+\|r\|_2^2=9+16=25.

Для произвольного $\alpha$ можно отделить неизбежный остаток от лишнего сдвига вдоль прямой:

x-\alpha y=r+(\alpha^*-\alpha)y.

Слагаемые ортогональны, следовательно

\|x-\alpha y\|_2^2= \|r\|_2^2+(\alpha-\alpha^*)^2\|y\|_2^2 \ge\|r\|_2^2.

Это доказывает минимальность проекции без ссылки на рисунок.

Прямая не зависит от длины её направляющего вектора

Если заменить $y=[2,0]^T$ на $[1,0]^T$ , коэффициент изменится с 1.5 на 3, но точка проекции останется $[3,0]^T$ . При $y\to-y$ коэффициент меняет знак, а произведение $\alpha y$ сохраняется. Геометрический объект — прямая span(y); конкретный $y$ только задаёт её параметризацию.

При $y=0$ формула проекции на направление, заданное вектором, не определена: делитель $y^Ty$ равен нулю, и нулевой вектор не задаёт направление. Проекция на заранее определённое нулевое подпространство $\{0\}$ равна нулю, но это другая постановка, в которой подпространство задано явно.

Проекции ведут к least squares, PCA и разложению сигнала на компоненты. В нижней лаборатории сравните $y$ , $2y$ и $-y$ : similarity меняет поведение при отрицательном масштабе, коэффициент $\alpha$ меняется при любой перепараметризации, а сама точка проекции на ту же прямую сохраняется. Далее матрицы позволят преобразовывать сразу все базисные направления.