선형대수학 Eigenvalues and Eigenvectors 정리/모음 (2) - Characteristic Equation / Diagonalization

Vector는 소문자 bold체로 나타냅니다(v) 소문자이면서 bold체가 아닌 경우(a)는 상수를 나타냅니다.
제곱이나 아래첨자를 업데이트 하지만 티스토리 블로그 특성상 작성이 불편하기 때문에 오타가 있을 수 있습니다.

구체적인 내용에 대한 전달이 아니라 기초적인 선형대수학의 정리를 모아놓는 포스팅입니다.

작성되는 포스팅은 모두 인프런 - 타블렛깍는노인 조범희님의 강의를 바탕으로 작성했습니다.

이전 시리즈

 

2023.05.25 - [Background/Math] - 선형대수학 Linear Algebra 용어 및 기초 이론 정리/모음

2023.06.01 - [Background/Math] - 선형대수학 Eigenvalues and Eigenvectors 정리/모음 (1) - EigenVector / EigenValues

 

 

포스팅을 이해하기 위해 참고해야 할 정리

---

• Characteristic Equation : 임의의 n * n Matrix A를 생각해보자, 임의의 값 λ가 Matrix A의 EigenValue를 만족할 때, λ는 characteristic Equation을 만족하고, characteristic Equation는 다음과 같다.

식1. Characteristic Equation

• 임의의 Matrix A가 λ를 EigenValue로 가진다는 말은 EigenVector의 정의에 의해 (A-λI)x = 0 이 Nontrivial Solution을 가진다는 말과 동일하다.
• 이 말은 다시 여러가지 표현으로 나타낼 수 있는데, 정리8. 3을 참고하면 Ax = 0 꼴의 방정식이 Nontrivial solution을 가진다는 말은 Matrix A는 not invertable 하다는 말과 동치이다.
• Matrix A가 not invertable 하다는 말은 역행렬(Inverse)이 없다는 말과 동치이다.
• Matrix A가 역행렬이 없다는 말은 det |A| = 0이라는 말과 동치이다.
• 따라서 EigenVector를 가지는 Matrix A의 det |A| = 0으로부터 Characteristic Equation을 유도할 수 있다.
• characteristic Equation을 만족하는 모든 λ는 Matrix A의 EigenValue이다.

 

예를들어 설명하자 다음과 같은 Matrix A가 주어졌을 때, EigenValue를 찾아보자

정의에 의해 (A-λI)x = 0를 만족하는 λ와 이에 상응하는 EigenVector를 찾아야 한다. (A-λI)는 다음과 같다.

이때, det(A-λI)는 다음과 같다. det(A-λI) = ad-bc 이므로 -(2-λ)(6+λ) - 3*3 = (λ+7)(λ-3) 따라서 λ = 3 or -7이다. 이때 (λ+7)(λ-3) 이 식을 Characteristic Equation이라고 한다.

(det(A-λI) 계산은 n=3 이상부터는 온라인 det계산기를 사용하자, 직접 계산하면 상당히 번거롭다.)

• n * n Matrix A의 Characteristic Equation을 n-th degree characteristic polynomial이라고 한다.
• 같은 EigenValue λ_t가 a번 겹쳐서 나오는 경우도 있다. 이럴 때, EigenValue λ_t의 multiplicity = a이다.

---

• Similarity : 임의의 n * n Matrix A와 B가 주어졌다고 하자, 이때 다음식을 만족하는 P가 존재할 때, A와 B를 서로에 대한 similar라고 한다.

similarity

• A를 PAP^-1로 transformation하는 것을 similarity transformation이라고 한다.

 

정리3.
만약 A와 B가 서로 similar라면, A와 B는 같은 Characteristic Equation을 가지고 같은 EigenValue를 가진다.

 

증명 : B = P^-1AP이면 

1. B - λI = P^-1AP - λP^-1P = P^-1(AP - λP) = P^-1(A - λI)P
2. 양 변에 det()를 취하면 det(B - λI) = det(P^-1(A - λI)P)
3. determinant의 성질에 의해 det(P^-1(A - λI)P) = det(P^-1)det(A - λI)det(P) = det(P^-1P)det(A - λI) = det(A  - λI)
4. 따라서 det(B - λI) = det(A  - λI)이다.

• 보통 Matrix A로부터 EigenValue를 직접 구하는 것은 매우 어렵다. 따라서 Similar 관계에 있는 Matrix B를 찾고, Characteristic Equation으로부터 EigenValue를 찾는경우가 많다.
• 추가로 Polynomial이 5차 이상만 되어도 사실상 Characteristic Equation으로 EigenValue를 구하는 것은 불가능하다.
• 따라서 QR 알고리즘 등을 사용해 근사해를 구하는 방식으로 EigenValue를 찾는 경우가 많다고 한다.

 

---

• Diagonalization : n * n Matrix A가 Diagonal Matrix D에 similar일때 A를 Diagonalizable Matrix라고 한다. 다시말해

일때 , A는 Diagonalizable matrix이다.

• Diagonalizable Matrix는 A^k  =PD^kP^-1이다.

 

정리4.
n * n Matrix A가 Diagonalizable하다면 Matrix A는 n개의 linearly independent한 EigenVector를 갖는다.

 

A = PDP^-1일때 

1. P matrix의 column들이 Matrix A의 EigenVector가 된다.
2. D matrix의 diagonal term들이 Matrix A의 EigenValue가 된다.

• 즉, n * n Matrix A가 diagonalization이 가능하다면, A는 n개의 linearly independent한 EigenVector를 가진다.
• 다만, 이때 EigenValue의 개수는 n보다 작거나 같다.

---

그러면 어떻게 Matrix A를 diagonalization하는가를 살펴보자 방식은 다음과 같은 순서로 진행된다.

1. Characteristic Equation을 통해서 EigenValue를 찾는다.
2. 각각의 EigenValue에 대한 General Solution의 Basis를 찾는다. (EigenSpace를 찾는다)
3. 각 EigenValue에 대한 EigenVector를 살펴보고 총 n개의 independent한 EigenVector가 존재하는지 확인한다.
4. 만약 존재한다면 EigenValue와 EigenVector로 P와 D Matrix를 구성한다.
5. 만약 n개의 independent한 EigenVector가 존재하지 않는다면 Matrix A는 diagonalizable하지 않다.

<설명 동영상 첨부하기>

 

정리5.
n * n Matrix A가 서로다른 n개의 EigenValue를 가지면 A는 Diagonalizable Matrix이다.

 

정리6.
n * n Matrix A에 대하여 EigenValue가 λ₁ ~ λ_p라고 하자 (이때 n ≥ p)
a) 1 ≤ k ≤ p인 k에 대해 λ_k의 Eigenspace의 dimesion은 반드시 λ_k의 multiplicity보다 작거나 같다. (단, 이 조건만으로는 diagonalizable matrix임을 만족하지 않는다.)
b) Matrix A는 EigenValue들에 상응하는 Eigenspace의 Dimesion의 합이 n일때 diagonalizable하다. 이 말은 모든 EigenValue λ_k에 대해 Eigenspace의 dimension이 λ_k의 multiplicity와 동일하다는 말과 동치이다.