선형대수학 Orthogonality and Least Squares 정리/모음 (3) - The Gram-Schmidt Process 그람-슈미트 과정 / QR Factorization

 

Vector는 소문자 bold체로 나타냅니다(v) 소문자이면서 bold체가 아닌 경우(a)는 상수를 나타냅니다.
제곱이나 아래첨자를 업데이트 하지만 티스토리 블로그 특성상 작성이 불편하기 때문에 오타가 있을 수 있습니다.

구체적인 내용에 대한 전달이 아니라 기초적인 선형대수학의 정리를 모아놓는 포스팅입니다.

작성되는 포스팅은 모두 인프런 - 타블렛깍는노인 조범희님의 강의를 바탕으로 작성했습니다.

 

이전시리즈

 

 

2023.05.25 - [Background/Math] - 선형대수학 Linear Algebra 용어 및 기초 이론 정리/모음

2023.06.11 - [Background/Math] - 선형대수학 Orthogonality and Least Squares 정리/모음 (1) - Inner Product, Length, and Orthogonality

2023.06.11 - [Background/Math] - 선형대수학 Orthogonality and Least Squares 정리/모음 (2) - Orthogonal Sets / Orthogonal Projection

---

그람-슈미트 과정의 Basic idea부터 설명하자면, W subspace를 span하는 basis인 {u₁, u₂} 를 알고 있다고 생각하자. 그러나 u₁과 u₂는 orthogonal set은 아니다. 그럼 이때, W를 span하는 orthogonal basis를 찾을 수 있는가?

이것을 찾아가는 과정이 바로 그람-슈미트 과정이다.

다음과 같은 그림을 보자 이해하기 쉽도록 Rⁿ space를 span하는 u₁과 u₂라고 생각해보자.

그림1. (왼쪽) 그림2. (오른쪽)

그림1.에서 u₁과 u₂는 R² space를 span하지만 orthogonal basis는 아니다.

그림2. 에서 v₁과 v₂는 R² subspace를 span하면서 orthogonal basis이다. 이런 v₁과 v₂를 찾아보자는 것이다.

 

정리11. 그람-슈미트 과정
Rⁿ space의 subspace W가 주어지고, W의 basis = {x₁, ..., x_p}이다. 이때 그람-슈미트 과정은 다음과 같다.

 

• Basis이므로 x₁ ~ x_p는 linearly independent하다.
• W의 dimension = p이다.
• orthogonal basis는 v₁ ~ v_p로 표기한다.
• 증명과정은 생략

 

 

---

정리12. QR Factorization
m * n Matrix A에 대해 A의 column vector들은 linearly independent할 때, A는 QR Factorization 될 수 있다.

 

1. Q는 m * n Matrix이며 column vector는 Column space A 의 orthonormal basis인 Matrix이다. Q는 그람-슈미트 과정을 통해 쉽게 계산할 수 있다.
2. R은 n * n Upper Triangular Matrix이며 diagonal term은 반드시 non zero이다. R은 Q^TA를 통해 계산 가능하다.
3. 만약 r_kk < 0 이면 u_k와 r_kk ~ r_kn까지의 부호를 바꾼다. (동영상 설명 참고)

 

QF Factorization에 대한 간단한 예제를 영상으로 첨부하니 참고하면 이해가 편함