Задача о проекции вектора на подпространство

Задача о проекции вектора на подпространство — нахождение ортогональной проекции вектора на подпространство, разность вектора которой с исходным вектором лежит в ортогональном дополнении. Задача имеет широкий спектр применения в математике: процессе Грама ― Шмидта, методе наименьших квадратов, методе сопряженных градиентов, анализе Фурье. Она лежит в основе решения важнейших прикладных задач, к примеру, обработки данных эксперимента. Находит применение в картографии, архитектуре, компьютерной графике и физике.

Постановка задачи

Рассмотрим $R^{\prime }$ конечномерное подпространство евклидова пространства $R$ и вектор $f\notin R^{\prime }$. Тогда существует и единственно разложение:

$f=g+h$, (1)

где вектор $g\in R^{\prime }$, а вектор $h$ ортогонален подпространству $R^{\prime }$.

В разложении (1) вектор $g\in R^{\prime }$ именуется проекцией вектора $f$ на подпространство $R^{\prime }$, а вектор $h$ — перпендикуляром, опущенным из конца вектора $f$ на подпространство $R^{\prime }$.

$^{*}$) Наличие (1) показывает, что все пространство $R$ есть прямая сумма подпространства $R^{\prime }$ и его ортогонального дополнения $R^{\prime \prime }$. Пусть размерности $R$ и $R^{\prime }$ соответственно равны: $n$ и $k$, тогда размерность $R^{\prime \prime }$ равна: $n-k$

Пусть в подпространстве $R^{\prime }$ дан базис $\{b\}$ $=$ $\{b_{1},b_{2},\dots ,b_{k}\}$. Найдем вектор $g\in R^{\prime }$.

Решение задачи

Разложим искомый вектор $g$ по базису $\{b_{1},b_{2},\dots ,b_{k}\}$:

$g=a_{1}b_{1}+a_{2}b_{2}+\dots +a_{k}b_{k},$

где $a_{i}$ — коэффициенты, где $i=1,\ldots ,k$

Найдем $a_{i}$

Согласно Лемме, подчиним вектор $h$ условию ортогональности векторам $\{b_{1},b_{2},\dots ,b_{k}\}$.

Получим систему уравнений:

${\begin{cases}(h_{,}b_{1})=0\\(h_{,}b_{2})=0\\\dots \\(h_{,}b_{k})=0\\\end{cases}}$

где $(h,b_{i})$ — скалярное произведение, где $i=1,\ldots ,k$

$h=f-g$, имеем:

${\begin{cases}(f-g,b_{1})=0\\(f-g,b_{2})=0\\\dots \\(f-g,b_{k})=0\\\end{cases}}$

Учитывая, что $g=a_{1}b_{1}+a_{2}b_{2}+\dots +a_{k}b_{k},$ имеем:

${\begin{cases}(f-(a_{1}b_{1}+a_{2}b_{2}+\dots +a_{k}b_{k}),b_{1})=0\\(f-(a_{1}b_{1}+a_{2}b_{2}+\dots +a_{k}b_{k}),b_{2})=0\\\dots \\(f-(a_{1}b_{1}+a_{2}b_{2}+\dots +a_{k}b_{k}),b_{k})=0\\\end{cases}}$

Получим систему линейных алгебраических уравнений :

${\begin{cases}a_{1}(b_{1},b_{1})+a_{2}(b_{2},b_{1})+\dots +a_{k}(b_{k},b_{1})=(f,b_{1})\\a_{1}(b_{1},b_{2})+a_{2}(b_{2},b_{2})+\dots +a_{k}(b_{k},b_{2})=(f,b_{2})\\\dots \\a_{1}(b_{1},b_{k})+a_{2}(b_{2},b_{k})+\dots +a_{k}(b_{k},b_{k})=(f,b_{k})\\\end{cases}}$

Разрешая систему, к примеру, по методу Гаусса, получим выражения для искомых коэффициентов $a_{i}$, где $i=1,\ldots ,k$

Пример

Имеем значения четырёх измерений :

${\begin{array}{|c|c|}\hline x&y\\\hline 1&1\\0&0\\-1&1\\2&2\\\hline \end{array}}$

Выберем математическую модель аппроксимации данных измерений. Пусть $y=ax^{2}+bx+c$ .

Найдем коэффициенты : $(a,b,c)$

Получим систему из четырех уравнений вида :

${\begin{cases}1a+1b+1c=1\\0a+0b+1c=0\\1a-1b+1c=1\\4a+2b+1c=2\\\end{cases}}$

Запишем систему уравнений в матричном виде:

${\begin{pmatrix}1\\0\\1\\4\\\end{pmatrix}}a+{\begin{pmatrix}1\\0\\-1\\2\\\end{pmatrix}}b+{\begin{pmatrix}1\\1\\1\\1\\\end{pmatrix}}c={\begin{pmatrix}1\\0\\1\\2\\\end{pmatrix}}$

Обозначим вектор-столбцы следующим образом :

$A_{1}a+A_{2}b+A_{3}c=B$

Число уравнений в системе больше числа неизвестных. Система несовместна. Не существуют $(a,b,c)$ $:$ $A_{1}a+A_{2}b+A_{3}c=B$.

Неизвестные $(a,b,c)$ определим из условия ортогональности вектора $H$ $=$ $B-(A_{1}a+A_{2}b+A_{3}c)$ вектор-столбцам $A_{1},A_{2},A_{3}$ подпространства $L$ — совокупности всех линейных комбинаций $A_{i}$. Как было указано выше, разложение $B=(A_{1}a+A_{2}b+A_{3}c)+H$ существует и единственно. Вектор $(A_{1}a+A_{2}b+A_{3}c)$ — проекция вектора $B$ на подпространство $L$. Найденные таким образом неизвестные $(a,b,c)$ будут доставлять минимум величине невязки: $\|H\|^{2}$$=$ $(B-(A_{1}a+A_{2}b+A_{3}c))^{T}$$(B-(A_{1}a+A_{2}b+A_{3}c))$.

Имеем:

${\begin{cases}(H_{,}A_{1})=0\\(H_{,}A_{2})=0\\(H_{,}A_{3})=0\\\end{cases}}$

где $(H,A_{i})$ — скалярное произведение, где $i=1,\ldots ,3$

$H$ $=$ $B-(A_{1}a+A_{2}b+A_{n}c)$, имеем :

${\begin{cases}(B-(A_{1}a+A_{2}b+A_{3}c),A_{1})=0\\(B-(A_{1}a+A_{2}b+A_{3}c),A_{2})=0\\(B-(A_{1}a+A_{2}b+A_{3}c),A_{3})=0\\\end{cases}}$

Получим систему линейных алгебраических уравнений :

${\begin{cases}(A_{1},A_{1})a+(A_{2},A_{1})b+(A_{3},A_{1})c=(B,A_{1})\\(A_{1},A_{2})a+(A_{2},A_{2})b+(A_{3},A_{2})c=(B,A_{2})\\(A_{1},A_{3})a+(A_{2},A_{3})b+(A_{3},A_{3})c=(B,A_{3})\\\end{cases}}$

Воспользуемся свойством коммутативности скалярного произведения и запишем систему уравнений в виде:

${\begin{cases}(A_{1}^{T}A_{1})a+(A_{1}^{T}A_{2})b+(A_{1}^{T}A_{3})c=(A_{1}^{T}B)\\(A_{2}^{T}A_{1})a+(A_{2}^{T}A_{2})b+(A_{2}^{T}A_{3})c=(A_{2}^{T}B)\\(A_{3}^{T}A_{1})a+(A_{3}^{T}A_{2})b+(A_{3}^{T}A_{3})c=(A_{3}^{T}B)\\\end{cases}}$

Получим систему нормальных уравнений.

Матрицы:

$A_{1}={\begin{pmatrix}1\\0\\1\\4\\\end{pmatrix}};\quad A_{2}={\begin{pmatrix}1\\0\\-1\\2\\\end{pmatrix}};\quad A_{3}={\begin{pmatrix}1\\1\\1\\1\\\end{pmatrix}};\quad B={\begin{pmatrix}1\\0\\1\\2\\\end{pmatrix}};\quad A_{1}^{T}={\begin{pmatrix}1&0&1&4\end{pmatrix}};\quad A_{2}^{T}={\begin{pmatrix}1&0&-1&2\end{pmatrix}};\quad A_{3}^{T}={\begin{pmatrix}1&1&1&1\end{pmatrix}}$

подставим в систему нормальных уравнений и перемножим.

Получим систему линейных уравнений :

${\begin{cases}18a+8b+6c=10\\8a+6b+2c=4\\6a-2b+4c=4\\\end{cases}}$

Разрешая систему по методу Гаусса, приведем её к треугольному виду :

${\begin{cases}1a+3b+2c=2\\0a-5b-5c=-4\\0a-0b-2c=-3/5\\\end{cases}}$

Получим :

$c$ $=$ $0,3$; $b$ $=$ $0,5$; $a$ $=$ $-$ $0,1$

Возможны другие варианты математических моделей. К примеру, линейная зависимость $y=ax+b$. Наилучший выбор той или иной модели оценивается величиной невязки $\|H\|^{2}$.

$^{*}$) Пусть $\quad A={\begin{pmatrix}A_{1}&A_{2}&A_{3}\end{pmatrix}},\quad x={\begin{pmatrix}a\\b\\c\\\end{pmatrix}}$. Тогда выражение для вектора $p$ $=$ $(A_{1}a+A_{2}b+A_{3}c)$ (проекция вектора $B$ на подпространство $L$) примет вид : $p$ $=$ $A$$x$$(2)$. Cоответственно система нормальных уравнений примет вид: $A^{T}Ax=A^{T}B$, откуда $x=(A^{T}A)^{-1}A^{T}B$ $(3)$. Подставляя $(3)$ в $(2)$, получим $p=A(A^{T}A)^{-1}A^{T}B$, где согласно матрица $P=A(A^{T}A)^{-1}A^{T}$ называется матрицей проектирования.

Литература

• Шилов Г.Е. Математический анализ (конечномерные линейные пространства). — Москва: Наука, 1969. — 432 с.
• Стрэнг Г. Линейная алгебра и её применение. — Москва: Мир, 1980. — 454 с.