Картинка не равна исходному пространству
Из трёх координат можно показать первые две, выбрать другую пару или построить PCA2D. PCA сначала центрирует строки, затем ищет направления максимальной дисперсии covariance. Проекция скрывает оставшуюся координату; сохранение положения на плоском рисунке не означает сохранение всех расстояний и углов.
В лаборатории covariance[3,3] диагонализируется небольшим Jacobi-алгоритмом. Видны eigenvalues, basis и проекции. При кратных eigenvalues базис может быть не единственным. Знак eigenvector тоже произволен: одновременное отражение оси не меняет восстанавливаемую компоненту.
Контрпример. Векторы[1,0,0] и[1,0,2] имеют одинаковые первые две координаты. На XY-графике они совпадают, но cosine в3Dравен1/√5≈.447214. Поэтому нельзя заключать «это одинаковые embeddings» только по совпавшим точкам.
Исследовать. Переключите XY,XZ,PCA. Сравните рисунок с неизменными полными cosine scores. Центрирование для PCA не должно незаметно изменить исходные E или выборку Skip-gram. Названия осей «PC1/PC2» обозначают линейные комбинации, не человеческие концепты.