Проекция вектора на подпространство

Проекция вектора на подпространство — вектор, разность которого с исходным вектором лежит в ортогональном дополнении данного подпространства. Задача о нахождении проекции вектора на подпространство имеет широкий спектр применения в математике: в методе ортогонализации Грама ― Шмидта, методе наименьших квадратов, методе сопряженных градиентов, анализе Фурье.

Нахождении проекции вектора на подпространство

Рассмотрим конечномерное подпространство $R^{\prime }$ евклидова пространства $R$ и произвольный вектор $f\in R$. Тогда существует и единственно разложение:

$f=g+h$, (1)

где вектор $g\in R^{\prime }$, а вектор $h$ ортогонален подпространству $R^{\prime }$.

В разложении (1) вектор $g\in R^{\prime }$ именуется проекцией вектора $f$ на подпространство $R^{\prime }$, а вектор $h$ — перпендикуляром, опущенным из конца вектора $f$ на подпространство $R^{\prime }$.

$^{*}$) Наличие (1) показывает, что все пространство $R$ есть прямая сумма подпространства $R^{\prime }$ и его ортогонального дополнения $R^{\prime \prime }$. Пусть размерности $R$ и $R^{\prime }$ соответственно равны: $n$ и $k$, тогда размерность $R^{\prime \prime }$ равна: $n-k$

Пусть в подпространстве $R^{\prime }$ дан базис $\{b\}$ $=$ $\{b_{1},b_{2},\dots ,b_{k}\}$. Найдем вектор $g\in R^{\prime }$.

Разложим искомый вектор $g$ по базису $\{b_{1},b_{2},\dots ,b_{k}\}$:

$g=a_{1}b_{1}+a_{2}b_{2}+\dots +a_{k}b_{k},$

где $a_{i}$ — коэффициенты, где $i=1,\ldots ,k$

Найдем $a_{i}$

Согласно Лемме, подчиним вектор $h$ условию ортогональности векторам $\{b_{1},b_{2},\dots ,b_{k}\}$.

Получим систему уравнений:

${\begin{cases}(h_{,}b_{1})=0\\(h_{,}b_{2})=0\\\dots \\(h_{,}b_{k})=0\\\end{cases}}$

где $(h,b_{i})$ — скалярное произведение, где $i=1,\ldots ,k$

$h=f-g$, имеем:

${\begin{cases}(f-g,b_{1})=0\\(f-g,b_{2})=0\\\dots \\(f-g,b_{k})=0\\\end{cases}}$

Учитывая, что $g=a_{1}b_{1}+a_{2}b_{2}+\dots +a_{k}b_{k},$ имеем:

${\begin{cases}(f-(a_{1}b_{1}+a_{2}b_{2}+\dots +a_{k}b_{k}),b_{1})=0\\(f-(a_{1}b_{1}+a_{2}b_{2}+\dots +a_{k}b_{k}),b_{2})=0\\\dots \\(f-(a_{1}b_{1}+a_{2}b_{2}+\dots +a_{k}b_{k}),b_{k})=0\\\end{cases}}$

Получим систему линейных алгебраических уравнений :

${\begin{cases}a_{1}(b_{1},b_{1})+a_{2}(b_{2},b_{1})+\dots +a_{k}(b_{k},b_{1})=(f,b_{1})\\a_{1}(b_{1},b_{2})+a_{2}(b_{2},b_{2})+\dots +a_{k}(b_{k},b_{2})=(f,b_{2})\\\dots \\a_{1}(b_{1},b_{k})+a_{2}(b_{2},b_{k})+\dots +a_{k}(b_{k},b_{k})=(f,b_{k})\\\end{cases}}$

Разрешая систему, к примеру, по методу Гаусса, получим выражения для искомых коэффициентов $a_{i}$, где $i=1,\ldots ,k$

Решение несовместных систем линейных уравнений

Дана система линейных алгебраических уравнений :

${\begin{cases}a_{11}x_{1}+a_{12}x_{2}+\dots +a_{1n}x_{n}=b_{1}\\a_{21}x_{1}+a_{22}x_{2}+\dots +a_{2n}x_{n}=b_{2}\\\dots \\a_{m1}x_{1}+a_{m2}x_{2}+\dots +a_{mn}x_{n}=b_{m}\\\end{cases}}$

Систему уравнений представим в матричной форме :

${\begin{pmatrix}a_{11}\\a_{21}\\\vdots \\a_{m1}\end{pmatrix}}x_{1}+{\begin{pmatrix}a_{12}\\a_{22}\\\vdots \\a_{m2}\end{pmatrix}}x_{2}+\dots +{\begin{pmatrix}a_{1n}\\a_{2n}\\\vdots \\a_{mn}\end{pmatrix}}x_{n}={\begin{pmatrix}b_{1}\\b_{2}\\\vdots \\b_{m}\end{pmatrix}}$

Получим линейную комбинацию вектор-столбцов: $A_{1}x_{1}+A_{2}x_{2}+\dots +A_{n}x_{n}=B$ , где $x_{i}$ — неизвестные (коэффициенты), где $i=1,\ldots ,n$

Пусть $m>n$. Число уравнений в системе больше числа неизвестных. Система несовместна. Не существуют $x_{i}$: $A_{1}x_{1}+A_{2}x_{2}+\dots +A_{n}x_{n}=B$.

Неизвестные $x_{i}$ определим из условия ортогональности вектора невязки $H$ $=$ $B-(A_{1}x_{1}+A_{2}x_{2}+\dots +A_{n}x_{n})$ вектор-столбцам $A_{1},A_{2},...,A_{n}$ подпространства $L$ — совокупности всех линейных комбинаций $A_{i}$, где вектор-столбец $B\notin L$.

Разложение $B=(A_{1}x_{1}+A_{2}x_{2}+\dots +A_{n}x_{n})+H$ существует и единственно. Вектор $(A_{1}x_{1}+A_{2}x_{2}+\dots +A_{n}x_{n})$ — проекция вектора $B$ на подпространство $L$.

Найденные неизвестные $x_{i}$ будут доставлять минимум $\|H\|^{2}$$=$ $(B-(A_{1}x_{1}+A_{2}x_{2}+\dots +A_{n}x_{n}))^{T}$$(B-(A_{1}x_{1}+A_{2}x_{2}+\dots +A_{n}x_{n}))$.

Подчиним вектор невязки $H$ $=$ $B-(A_{1}x_{1}+A_{2}x_{2}+\dots +A_{n}x_{n})$ условию ортогональности подпространству $L$. Согласно Лемме, имеем:

${\begin{cases}(H_{,}A_{1})=0\\(H_{,}A_{2})=0\\\dots \\(H_{,}A_{n})=0\\\end{cases}}$

где $(H,A_{i})$ — скалярное произведение, где $i=1,\ldots ,n$

$H$ $=$ $B-(A_{1}x_{1}+A_{2}x_{2}+\dots +A_{n}x_{n})$, имеем :

${\begin{cases}(B-(A_{1}x_{1}+A_{2}x_{2}+\dots +A_{n}x_{n})),A_{1})=0\\(B-(A_{1}x_{1}+A_{2}x_{2}+\dots +A_{n}x_{n})),A_{2})=0\\\dots \\(B-(A_{1}x_{1}+A_{2}x_{2}+\dots +A_{n}x_{n})),A_{n})=0\\\end{cases}}$

Следуя аксиомам скалярного произведения, получим систему линейных алгебраических уравнений (согласно — систему нормальных уравнений):

${\begin{cases}(A_{1},A_{1})x_{1}+(A_{2},A_{1})x_{2}+\dots +(A_{n},A_{1})x_{n}=(B,A_{1})\\(A_{1},A_{2})x_{1}+(A_{2},A_{2})x_{2}+\dots +(A_{n},A_{2})x_{n}=(B,A_{2})\\\dots \\(A_{1},A_{n})x_{1}+(A_{2},A_{n})x_{2}+\dots +(A_{n},A_{n})x_{n}=(B,A_{n})\\\end{cases}}$

Разрешая систему, к примеру, по методу Гаусса, получим $x_{i}$ — коэффициенты и вектор проекции $(A_{1}x_{1}+A_{2}x_{2}+\dots +A_{n}x_{n})$, который доставляет минимум $\|H\|^{2}$.

$^{*}$) Пусть $\quad A={\begin{pmatrix}A_{1},A_{2},...,A_{n}\end{pmatrix}},\quad x={\begin{pmatrix}x_{1}\\x_{2}\\\vdots \\x_{n}\\\end{pmatrix}}$.

Тогда выражение для вектора $p$ $=$ $(A_{1}x_{1}+A_{2}x_{2}+...+A_{n}x_{n})$ (проекция вектора $B$ на подпространство $L$) примет вид :

$p$ $=$ $A$$x$$(2)$. Cоответственно система нормальных уравнений примет вид: $A^{T}Ax=A^{T}B$, откуда $x=(A^{T}A)^{-1}A^{T}B$ $(3)$. Подставляя $(3)$ в $(2)$, получим $p=A(A^{T}A)^{-1}A^{T}B$, где согласно матрица $P=A(A^{T}A)^{-1}A^{T}$ называется матрицей проектирования.

Литературв

• Шилов Г.Е. Математический анализ (конечномерные линейные пространства). — Москва: Наука, 1969. — 432 с.
• Стрэнг Г. Линейная алгебра и её применение. — Москва: Мир, 1980. — 454 с.
• А. Альберт Регрессия, псевдоинверсия и рекуррентное оценивание. — Москва: Наука, 1977. — 224 с.