선형대수학 Orthogonality and Least Squares 정리/모음 (4) - Least Square Problem

Vector는 소문자 bold체로 나타냅니다(v) 소문자이면서 bold체가 아닌 경우(a)는 상수를 나타냅니다.
제곱이나 아래첨자를 업데이트 하지만 티스토리 블로그 특성상 작성이 불편하기 때문에 오타가 있을 수 있습니다.

구체적인 내용에 대한 전달이 아니라 기초적인 선형대수학의 정리를 모아놓는 포스팅입니다.

작성되는 포스팅은 모두 인프런 - 타블렛깍는노인 조범희님의 강의를 바탕으로 작성했습니다.

 

이전시리즈

 

2023.05.25 - [Background/Math] - 선형대수학 Linear Algebra 용어 및 기초 이론 정리/모음

2023.06.11 - [Background/Math] - 선형대수학 Orthogonality and Least Squares 정리/모음 (1) - Inner Product, Length, and Orthogonality

2023.06.11 - [Background/Math] - 선형대수학 Orthogonality and Least Squares 정리/모음 (2) - Orthogonal Sets / Orthogonal Projection

---

지금까지 배운 선형대수는 모두 Ax = b의 해를 찾는 과정이었다. 그러나 이렇게 정확한 해를 얻을 수 있는 실생활 문제는 없다. 따라서 우리는 근사해인 x^를 찾는다. 즉, Ax^ = b문제로 mapping하여 || b - Ax^ ||가 최소가 되는 최적해 x^를 찾는다.

 

• Least Square Solution 

m * n Matrix A가 있고 b ∈ R^m의 임의 벡터라고 하자. 이때 Ax = b의 least square solution x^ ∈ Rⁿ은 || b - Ax^ || ≤ || b - Ax ||를 만족하는 x^를 찾는 것이다. 

이때 x^은 A^TAx = A^Tb의 solution과 같다. 따라서 A^TAx = A^Tb 방정식을 풀어 x^를 찾는다.

계산 과정에서 x^는 free variable을 포함하는 General solution이 나올 수 있지만, Ax^에 대입했을 때는 반드시 단일 벡터 값이 나온다. 만약 Ax^값이 단일 벡터 point에 대한 값이 얻어지지 않고 free variable을 포함한 General solution이 얻어졌다면 계산과정에 실수가 있는 것이다.

 

정리13.
Ax = b의 Least square solution (x^)는 Ax = b의 normal equation A^TAx = A^Tb의 solution이다.

 

• A^TAx = A^Tb형태의 식을 Ax = b의 Normal Equation이라고 하며 Normal Equation은 반드시 해를 갖는다.
• 그 Normal Equation의 해가 Ax = b의 Least Square Solution이 되는 것이다.

 

---

• Least Square Error

그러나 결국 x^는 최적해이지 해가 아니므로 error는 필연적으로 존재할 수 밖에 없다. 이때의 에러는 || b - Ax^ ||이다.

 

다음 세가지 사실을 잘 기억하자

1. m * n Matrix A와 RⁿA space 내부 임의 벡터 x에 대해 Ax = 0이다. if and only if A^TAx = 0이다.
   • 간단하게 Ax = 0의 양변 왼쪽에 A^T를 곱해보면 A^TAx = 0임을 알 수 있다.
2. m * n Matrix A를 생각해보자. A^TA가 invertible할 때, Matrix A의 column vector들은 linearly independent하다.
   • A^TAx = 0라는 방정식을 생각해보자, A^TA가 invertible하다면 이때 x는 오직 trivial solution만을 가진다.
   • 이말은 다시말해 A^TA의 모든 column vector들이 linearly independent하다는 말이다.
   • 1번에서 A^TAx = 0이면 Ax = 0임을 보였으므로 Ax = 0역시 trivial solution만을 가진다는 말이다.
   • 따라서 Matrix A의 column vector들 역시 linearly independent하다.
3. m * n Matrix A를 생각해보자, A의 column vector들은 linearly independent하다. 이때 다음 세가지 조건이 만족한다.
   1. A^TA matrix 는 invertible하다.
   2. m은 반드시 n보다 같거나 크다. (m ≥ n)
   3. Rank A (= Column space A의 dimension)는 반드시 n이다.

 

정리14.
Matrix A^TA가 invertible하다. if and only if Matrix A의 column vector들이 linearly independent하다.

 

• 이때 Ax = b는 오직 단 하나의 Least Square Solution(x^)을 가지는데 x^ = (A^TA)^-1A^Tb이다.

 

정리15.
m * n Matrix A가 주어지고, column vector들은 linearly independent하다. 그리고 A = QR Factorization이 가능하다. R^m space의 모든 임의의 벡터 b에 대해 Ax = b는 Unique Least Square Solution(x^)을 가진다.

 

• 이때 x^ = R^-1Q^Tb이다.
• 그러나 실제로 문제에 적용할 때는 Rx^ = Q^Tb형태로 해결한다.

 

가능하다면, 동영상 예시 추가하기.