Метод главных компонент

Он является одним из наиболее часто используемых методов снижения размерности. Основная его идея состоит в последовательном выявлении направлений, в которых данные имеют наибольший разброс. Пусть выборка состоит из векторов, одинаково распределенных с вектором X = (x(1), x(2), …, x(n)). Рассмотрим линейные комбинации.

Y(л (1), л (2), …, л (n)) = л (1)x(1) + л (2)x(2) + … + л (n)x(n),.

л2(1) + л2(2) + …+ л2(n) = 1.

Здесь вектор л = (л (1), л (2), …, л (n)) лежит на единичной сфере в n-мерном пространстве.

В методе главных компонент прежде всего находят направление максимального разброса, т. е. такое л, при котором достигает максимума дисперсия случайной величины Y(л) = Y(л (1), л (2), …, л (n)). Тогда вектор л задает первую главную компоненту, а величина Y(л) является проекцией случайного вектора Х на ось первой главной компоненты.

Затем, выражаясь терминами линейной алгебры, рассматривают гиперплоскость в n-мерном пространстве, перпендикулярную первой главной компоненте, и проектируют на эту гиперплоскость все элементы выборки. Размерность гиперплоскость на 1 меньше, чем размерность исходного пространства.

В рассматриваемой гиперплоскости процедура повторяется. В ней находят направление наибольшего разброса, т. е. вторую главную компоненту. Затем выделяют гиперплоскость, перпендикулярную первым двум главным компонентам. Ее размерность на 2 меньше, чем размерность исходного пространства. Далее — следующая итерация.

С точки зрения линейной алгебры речь идет о построении нового базиса в n-мерном пространстве, ортами которого служат главные компоненты.

Дисперсия, соответствующая каждой новой главной компоненте, меньше, чем для предыдущей. Обычно останавливаются, когда она меньше заданного порога. Если отобрано k главных компонент, то это означает, что от n-мерного пространства удалось перейти к k-мерному, т. е. сократить размерность с n-до k, практически не исказив структуру исходных данных.

Для визуального анализа данных часто используют проекции исходных векторов на плоскость первых двух главных компонент. Обычно хорошо видна структура данных, выделяются компактные кластеры объектов и отдельно выделяющиеся вектора.