선형대수학 Eigenvalues and Eigenvectors 정리/모음 (1) - EigenVector / EigenValues

Vector는 소문자 bold체로 나타냅니다(v) 소문자이면서 bold체가 아닌 경우(a)는 상수를 나타냅니다.
제곱이나 아래첨자를 업데이트 하지만 티스토리 블로그 특성상 작성이 불편하기 때문에 오타가 있을 수 있습니다.

구체적인 내용에 대한 전달이 아니라 기초적인 선형대수학의 정리를 모아놓는 포스팅입니다.

작성되는 포스팅은 모두 인프런 - 타블렛깍는노인 조범희님의 강의를 바탕으로 작성했습니다.

이전 시리즈

 

2023.05.25 - [Background/Math] - 선형대수학 Linear Algebra 용어 및 기초 이론 정리/모음

 

포스팅을 이해하기 위해 참고해야 할 정리들

---

다음과 같은 Matrix A와 vector u, v를 보자

식1.

이때 각 벡터를 matrix A로 transformation해보면 다음과 같다.

u벡터는 A matrix 연산 결과가 자기자신의 곱으로 나타나지 않는다. 반면 v벡터는 A matrix 연산 결과가 2v로 자기자신의 scalar 곱으로 나타난다.

• EigenVector / EigenValue : 임의의 n*n Matrix A가 주어졌을 때, NonZero vector x에 대하여 Ax = λx를 만족할 때 x를 λ에 대한 EigenVector, λ를 EigenValue라고 한다.
  • 다른 말로 표현하면 Ax = λx (또는 (A - λI)x = 0)가 nontrivial solution을 가질 때, 해당 solution을 λ에 대한 EigenVector라고 한다.
  • 포스팅 초반부에 올려둔 정리8. 3참고!
• 상당히 헷갈릴 수 있는데, Eigenvector는 0벡터를 포함하지 않는다. 그러나 Eigenvalue는 0이어도 된다. 
• Eigenspace : 결국 Eigenvector의 존재 조건은 '(A - λI)x = 0이 nontrivial solution을 가지는가' 인데, 이때, A-λI의 Null space가 Eigenspace가 된다.
  • 이것도 참 헷갈리기 쉬운데, Null space의 정의에 의해 (Null space는 Subspace이므로) Eigenspace는 Zero vector를 반드시 포함해야한다.
  • Null space는 Ax = 0의 모든 solution set이었음을 기억하자. 만약 Null space에 대한 기억이 안나거나 모르고 있다면 먼저 Subspace에 대한 포스팅을 이해하고 와야한다.

https://biomadscientist.tistory.com/89

선형대수 Matrix algebra 용어 및 기초이론 정리/모음 (4) - Subspaces

• 정리하자면, Eigenvalue는 실수값 어떤 형태든 상관 없다. (0도 가능하다) Eigenvector는 반드시 NonZero vector이다. Eigenspace는 (A - λI)x = 0의 Null space로서 반드시 Zero vector를 포함해야 한다.

 

정리1.
Triangular Matrix가 주어졌을 때, diagonal term은 모두 EigenValue이다.

 

• TriagularMatrix는 다음과 같은 의미를 가진다

위키백과, 삼각행렬

 

예를들어 어떤 UpperTriangularMatrix A를 생각해보자. A와 (A - λI)는 다음과 같이 나타낼 수 있다.

손으로 써가면서 이해해야 이해할 수 있을 것임

pivot position관점에서 보는 EigenVector

1. 이때, Eigenvector의 정의로부터 만약 λ가 EigenValue라면 (A - λI)x = 0가 nontrivial solution을 가져야 한다. 
2. (A - λI)x = 0가 nontrivial solution을 가진다는 말을 pivot position의 관점에서 보면 pivot position이 존재하지 않는 column이 있다면, 해당 column에 대한 variable x는 반드시 free variable로 나타내어지고 이말은 반드시 non trivial solution이 존재한다는 말이 된다.
3. 다시 λ를 a₁₁, a₂₂, a₃₃(diagonal term)으로 가정해보자,
   1. λ = a₁₁일 때는 (A - λI)의 첫번째 column이 all zero가 되어 x₁이 free variable이 된다.
   2. λ = a₂₂일 때는 (A - λI)의 두번째 column이 all zero가 되어 x₂가 free variable이 된다.
   3. λ = a₃₃일 때는 (A - λI)의 세번째 column이 all zero가 되어 x₃가 free variable이 된다.
4. 정리해보면 λ(EigenValue)가 a₁₁~a₃₃(diagonal term)일 때, 그에 상응하는 EigenVector가 반드시 존재한다.
5. 따라서 임의의 Triangular Matrix A의 diagonal term은 모두 λ(EigenValue)이다.

• 단, 여기서 a₁₁~a₃₃의 값이 다르다는 조건은 없기 때문에, 각각이 서로 같을 수 있고, λ값도 같을 수 있다. 
• 따라서 임의의 n * n Matrix A가 주어졌을 때, 이에 상응하는 EigenValue는 최소 0개에서 최대 n개이다.

 

LowerTriangularMatrix A에 대해서도 diagonal term이 EigenValue임을 증명할 수 있다. UpperTriangular에서 보인 방법과는 다르게 그냥 A와 A^T가 서로 같은 EigenValue를 가지는 것을 증명하면 되는데 굳이 이 내용까지 이해할 필요는 없을 것 같고, 그냥 λ가 A의 EigenValue이면 동시에 A^T의 EigenValue이라는 사실을 기억하면 된다.

 

정리2.
n*n Matrix A의 EigenVector v₁ ~ v_r과 서로 다른 EigenValue λ₁~λ_r이 주어졌을 때 (이때 반드시 n ≥ r) set S={v₁, ..., v_r}은 linearly independent하다.

 

증명과정이 상당히 헷갈리는데 차근차근 읽어보면 이해는 가능하다.

이게 설명하기가 쉽지 않은데 차근차근 한번 설명해 보자. 정리2를 증명하기 위해 귀류법을 이용해보자

만약, v₁~v_r을 linearly dependent하다고 반대로 가정 해보자. (귀류법)

포스팅 초반에 올려둔 정리7에 의해 반드시 c₁v₁ + ... + c_p-1v_p-1 = v_p로 나타내어지는 v_p가 존재한다.

정리7의 b)를 증명할 때, v₁~v_p-1은 linearly independent하다고 가정하므로 여기서도 v₁~v_p-1은 linearly independent하다고 가정해야 한다.

따라서 c₁v₁ + ... + c_p-1v_p-1 = 0을 만족하는 해는 c₁ ~ c_p-1 = 0밖에 존재하지 않는다.

c₁v₁ + ... + c_p-1v_p-1 = v_p의 양 변에 matrix A를 multiplication 해보자. v₁~v_p는 조건에 의해 EigenVector이고, EigenVector의 정의는 Ax = λx이므로 c₁Av₁ = c₁λ₁v₁와 같다. 각각의 EigenVector v_n에 대한 EigenValue를 λ_n이라고 하면 식은 다음과 같다. c₁λ₁v₁ + ... + c_p-1λ_p-1v_p-1 = λ_pv_{p         ... (5)}

그리고 c₁v₁ + ... + c_p-1v_p-1 = v_p의 양 변에 λ_p를 multiplication 하면 c₁λ_pv₁ + ... + c_p-1λ_p-1v_p-1 = λ_pv_{p         ... (6)}

5번과 6번의 식을 빼면 c₁(λ₁ - λ_p)v₁ + ... + c_p-1(λ_p-1 - λ_p)v_p-1 = 0이다.

이때 조건에서 모든 EigenValue는 서로 다르다고 했으므로 (λ_n - λ_p) term은 전부 NonZero이다.

문제의 조건에서 v₁~v_p-1은 linearly independent하므로 c₁(λ₁ - λ_p)v₁ + ... + c_p-1(λ_p-1 - λ_p)v_p-1 = 0를 만족하는 식은 반드시 c₁~c_p-1 = 0 인 Trivial solution뿐이다.

다시 c₁v₁ + ... + c_p-1v_p-1 = v_p 처음 가정으로 돌아와보면, c₁~c_p-1 = 0이고 따라서 v_p = 0인데 v_p는 EigenVector이므로 NonZero Vector여야 한다. 즉, v₁~v_r을 linearly dependent하다고 설정한 가정에 모순되므로 v₁~v_r은 linearly dependent할 수 없고, linearly independent하다.