선형대수학 Orthogonality and Least Squares 정리/모음 (2) - Orthogonal Sets / Orthogonal Projection

Vector는 소문자 bold체로 나타냅니다(v) 소문자이면서 bold체가 아닌 경우(a)는 상수를 나타냅니다.
제곱이나 아래첨자를 업데이트 하지만 티스토리 블로그 특성상 작성이 불편하기 때문에 오타가 있을 수 있습니다.

구체적인 내용에 대한 전달이 아니라 기초적인 선형대수학의 정리를 모아놓는 포스팅입니다.

작성되는 포스팅은 모두 인프런 - 타블렛깍는노인 조범희님의 강의를 바탕으로 작성했습니다.

이전시리즈

 

2023.05.25 - [Background/Math] - 선형대수학 Linear Algebra 용어 및 기초 이론 정리/모음

2023.06.11 - [Background/Math] - 선형대수학 Orthogonality and Least Squares 정리/모음 (1) - Inner Product, Length, and Orthogonality

---

• orthogonal set : 임의의 벡터 set = {u₁ ~ u_p}를 생각하자, 임의의 두 벡터 u_i와 u_j를 내적한 결과가 모두 0이면 set A 는 orthogonal set이라고한다.

정리4.
orthogonal set A = {u₁ ~ u_p}를 생각해보자, 모든 벡터는 nonzero vector이다. 이때 set A내부 모든 벡터는 서로 linearly independent하다. 또는 Span A의 Basis이다.

 

• orthogonal Basis : W ∈ Rⁿ을 span하는 Basis 이면서 동시에 orthogonal set일때, 이 set을 orthogonal basis라고 한다.

 

 

정리5.
W ∈ Rⁿ이고 {u₁ ~ u_p}를 orthogonal basis for subspace W라고 하자. 이때 당연하겠지만, subspace W 내부의 임의의 벡터 y는 u₁ ~ u_p의 linear combination으로 표현된다.

 

• y = a₁u₁ + ... + a_pu_p라고 해보자.
• 정리5야 W를 span하는 basis들로 이뤄진 set을 이용하면 W 내부의 임의 벡터를 linear combination을 통해서 표현할 수 있음은 워낙 자명하다. 그것보다는 우리는 orthogonal basis를 알고있다면 임의의 y를 나타내는 linear combination의 weights를 명시적으로 알 수 있다는 사실에 집중해야한다.
• 이때 각각의 weigth a_j는 다음과 같이 명시적으로 계산할 수 있다.

weight 계산식

예를들어 설명해보자 u₁ = {3, 1, 1}, u₂ = {-1, 2, 1}, u₃ = {-1/2, -2, 7/2}이다. y = {6, 1, -8}일때 y를 u₁ ~ u₃의 linear combination으로 나타내시오.

y = a₁u₁ +  a₂u₂ + a₃u₃이고 각각의 a₁ ~ a₃는 위에서 보인 weight 계산식을 이용하면 쉽게 얻을 수 있다.

---

• orthogonal projection : orthogonal projection은 임의의 벡터를 어떤 벡터에 orthogonal하게 사영시키는 것인데, 개념적으로 설명하기는 어렵고 시각적으로 이해하는 것이 편하다.

R² space에서의 이미지를 생각하면서 이해하자, 시각적 도움없이 projection을 이해하기는 무리가 있다.

• Rⁿ space를 span하는 Orthogonal basis {u₁ ~ u_n}을 생각해보자.
• Rⁿ space위의 임의 벡터 y를 u₁위로 orthogonal projection한 벡터를 보통 y^(y hat)이라 표현한다.
• 그림에서는 c₁u₁으로 표현된 것이 y^이다. u₁위로 projection했기 때문에 자연스럽게 y^은 cu₁형태로 나타낼 수 있다.
• 이때 c₁은 정리5.에서 언급한대로 명시적으로 계산할 수 있다.
• 이때 y = y^ + z의 형태로 나타낼 수 있고 z는 반드시 y^에 orthogonal한 벡터이다. (그림을 보면 이해가 된다.)
• 이때 z를 u₁에 orthogonal한 y의 component라고 이야기한다.
• y를 u에 orthogonal projection한 것을 y^이라 하면 이를 다음과 같이 표기한다.

 

예를 들어보자 y = (7, 6) u = (4,2) 일때, y를 u에 projection한 y^을 구하라.

1. y^ = proj_uy = cu이다. 이때 c = 정리5.에 의해 명시적으로 계산 가능하며 2이다.
2. 따라서 y^ = 2u = (8, 4)이다.
3. y = y^ + z로 나타낼 수 있기 때문에 z = y - y^ = (7, 6) - (8, 4) = (-1, 2)이다.

이것을 그림으로 보이면 다음과 같다.

 

• orthonormal set : set A = {u₁ ~ u_p}일때, 서로가 모두 orthogonal vector이면서 모든 벡터가 unit vector이면 orthonormal이라 한다.

 

정리6.
m * n Matrix U의 column vector들이 orthonormal이다 if and only if U^TU = I이다.

 

다음과 같은 m * n Matrix U를 생각해보자.

이때 column vector들이 orthonormal하므로 자기 자신과의 내적인 diagonal term은 언제나 1이며, 서로 다른 vector간의 내적은 항상 0이다. 따라서 U^TU = I이다. 그리고 이렇게 모든 column vector들이 orthonormal vector인 경우, Matrix U를 orthogonal Matrix 라고 한다. (이유는 알 수 없지만 여러 경우에 orthonormal해야만 하는 경우임에도 orthogonal이라는 표현을 사용하는 경우들이 있다. 이 경우도 마찬가지로, orthonormal Matrix라고 하지 않고 orthogonal Matrix라고 한다. 그러나 각 column vector들은 반드시 orthoNORMAL 해야함을 기억하자.)

 

정리7.
모든 column vector가 서로 orthonormal인 m * n Matrix U를 생각해보자, 이때 Rⁿ space의 임의 벡터 x와 y에 대해 다음이 성립한다.

 

1. || Ux || = || x || (단, norm이 같다는 것이지 Ux와 x가 같은 것은 아니다.)
2. (Ux) ∙ (Uy) = x ∙ y
3. (Ux) ∙ (Uy) = 0 if and only if x ∙ y = 0

 

---

Orthogonal projection 정리5 에서 계속되는 정리, 정리5를 참고하면서 볼 것

정리8.
W ∈ Rⁿ이고 {u₁ ~ u_p}를 orthogonal basis for subspace W라고 하자. 이때 Rⁿ space의 임의의 벡터 y는 Unique한 y = y^ + z의 형태로 표현된다.

 

• 이때, y^는 반드시 subspace W 내부에 존재하며 z는 반드시 W^⊥이다.
• 정리5는 정리8 중, 특히 y가 subspace W 내부에 존재하는 특수경우이며, 이때의 z = 0이다.
• 이것을 orthogonal projection of y onto subspace W라고 한다. (proj_Wy = y^)
• 만약 정리5처럼 y가 subspace W 내부에 존재하면 proj_Wy = y이다.

 

정리9. The best approximation Theorem
W를 Rⁿ space의 subspace라고 하자, Rⁿ space의 모든 vector y와 y의 W로의 onto projection y^에 대하여, y^은 W로부터 y로 향하는 가장 가까운 point이다.

 

• 따라서, W subspace 내부의 y^을 제외한 모든 벡터 v에 대해서  반드시 다음을 만족한다.

• 이때 || y - y^ ||을 y와 W의 distance라고한다.

 

정리10.
만약 {u₁ ~ u_p}가 Rⁿ subspace W의 orthonormal basis면 다음이 성립한다.

 

그리고 이 식은 다시 다음과 같이 표현 할 수 있다.