Сначала центр, затем направление
Для X[N,d] вычитаем среднее каждого признака и получаем Xc. В лаборатории covariance C=XcᵀXc/N. Деление наN−1 даёт другой масштаб eigenvalues, но теже eigenvectors приN>1. Первое PCA-направление v₁ максимизирует vᵀCv при||v||₂=1 и является eigenvector крупнейшего eigenvalue. Опора: M01 §2.12.
Для точек(t,.5t),t=−2,−1,0,1,2 среднее0. C=[[2,1],[1,.5]], eigenvalues2.5и0. Главная ось пропорциональна[2,1], нормированный вектор[2,1]/√5. Все точки восстанавливаются по однойкоординате безошибки: dataset лежит на прямой.
Эксперимент. Добавьте всем y одинаковыйoffset. Центрирование должно убрать его изcovariance, а восстановленные точки сохранить новыйцентр. Добавьте поперечное возмущение: появится второе eigenvalue и ненулеваяошибка rank1. ЗнакPC может обратиться без изменения проекции; при равных eigenvalues направление не уникально.
Граница. PCA ищет дисперсию, не важность дляtarget и не «истинный смысл». Большой шумовой признак может стать первойкомпонентой. Fit mean/basis на test создаёт leakage. Следующий шаг — научиться строить нелинейные признаки внутри модели: искусственный нейрон.