선형대수학 Linear Algebra 용어 및 기초 이론 정리/모음

Matrix는 대문자 bold(A), Vector는 소문자 bold체로 나타냅니다(v).
소문자이면서 bold체가 아닌 경우(a)는 상수를 나타냅니다.
제곱이나 아래첨자를 업데이트 하지만 티스토리 블로그 특성상 작성이 불편하기 때문에 오타가 있을 수 있습니다.

 

• linear system : 우리가 중고등학교때 배운 선형 방정식을 linear system(=linear equations)라고 부른다. (그림1. 참고)
• non-linear system : x² y² 등의 제곱형식을 가져 그래프가 선형식이 아닌 경우는 non linear system이라고 한다.
• 선형대수학은 이름에서부터 그렇지만, non-linear system에 대해서는 다루지 않는다.
• coefficient matrix : linear system의 계수만을 떼어 matrix형태로 나타낸 것
• Augmented matrix : linear system의 계수와 그 값을 떼어 matrix형태로 나타낸 것

그림1.

• (Elementry) row operation : replacement, interchange, scaling을 의미한다. 
• Row equivalent(~) = 하나의 기준 Matrix를 시작으로 row operation으로 나타내어지는 모든 Matrix를 서로 row equivalent 하다고 한다.
• solution : linear system을 만족시키는 해를 의미한다.
• trivial solution : linear system의 해가 0벡터일때 이것을 trivial solution이라고 한다.
• non-trivial solution : 해가 0벡터가 아닌경우, 이것을 non-trivial solution이라고 한다.
• consistent : 해(solution)가 최소한 하나 이상 존재하는 linear system
• inconsistent : 해가 존재하지 않는 linear system
• leading entry : system matrix에서 가장 왼쪽의 0이 아닌 값

 

• Echelone form :  
• • 1. Non zero row는 반드시 all zero row보다 위쪽에 존재한다.
  • 2. 위에 있는 row의 leading entry는 반드시 아래쪽에 존재하는 row들의 leading entry보다 왼쪽에 있다.
  • 이때 이 leading entry를 포함하는 column들을 pivot position이라고 하며 pivot position에 위치하지 않는 variable들은 free variable로 나타낸다. (아래 그림2. 참고)
  • Echelone form을 만들어가는 과정을 Forward Phase라고 한다.

• Reduced Echelone form: (Echelone form의 1,2번 조건도 함께 만족해야한다.)
  
• • 3. 각각 row의 leading entry의 값은 1이다.
  • 4. 각 행의 leading entry를 포함하는 column의 경우, 해당 leading entry만을 제외하고는 모두 0이어야한다.
  • Reduced Echelone Form을 만드는 과정을 Backward Phase라고한다.

그림2. Reduced Echelone form의 예 초록색이 pivot position

위 그림에서, x1과 x3는 pivot position에 위치하므로 변수로나타내지만 x2와 x4는 pivot position에 존재하지 않기 때문에 free variable로 나타내야 한다.

 

정리 1.
어떤 matrix와 row equivalent한 모든 matrix들은 오직 하나의 Reduced Echelone form만을 가진다.

 

• Augmented matrix에서 all zero row가 존재하면 반드시 free variable이 존재하고, free variable이 하나라도 존재하면 그 linear system은 무수히 많은 해를 가진다. (=consistent하다)
• 즉, 0행렬이 아닌 무수히 많은 해를 가지므로 Non-trivial solution을 가진다.

 

정리2.
주어진 Coefficient Matrix A가 consistent 하려면, Augmented matrix에서 pivot position이 right most인 row는 존재해서는 안된다.

 

• 예를들어 Augmented matrix에서 [0 0 ... 0 a]와 같은 row가 존재하면 이 linear system은 해가 없다(=inconsistent하다.)
• pivot position이 right most인 row가 존재한다는 것의 의미를 선형 방정식으로 바꿔서 이해해보자,
• 0*a + 0*b ... + 0*z = a (단, pivot position이 가장 오른쪽이라고 하였기 때문에 a != 0) 와 같은 식이 존재한다는 것인데, 이것은 a가 0이 아니고서는 불가능함은 자명하다. 
• a가 0이라면 pivot position을 만족할 수 없으므로 조건과 불일치. 따라서 정리2가 성립.

 

• Matrix가 Consistent할 때, 만약 free variable이 하나도 없다면(=Augmented matrix에 all zero row가 하나도 없다면) 이 linear system은 오직 하나의 solution을 가지며, free variable이 하나라도 있다면 무수히 많은 해를 갖는다.

---

• Linear combination : y = c₁v₁ + c₂v₂ + ... c_nv_n 형태라면 linear combination이라고 한다.
  • 각각의 c를 weights라고 한다. 
• Span{v₁, v₂, ..., v_n} : y = c₁v₁ + c₂v₂ + ... c_nv_n 와 같은 linear combination으로 표현 가능한 모든 형태의 Vector들의 집합을 이야기한다.
  • 즉, 모든 Linear combination으로 표현 가능한 벡터들이 모여 만든 공간을 Span이라고 한다.
  • 따라서, b가 Span{v₁, v₂}에 존재하느냐? == c₁v₁ + c₂v₂ = b 가 solution을 가지는가?
  • span{v₁, ... , v_n} = v₁ ~ v_n벡터들의 linear combination을 통해 만들 수 있는 모든 벡터의 집합
  • 예를들어 v₁ = [1, 0] , v₂ = [0, 1]일때 span{v₁, v₂} = R² space
  • span에 대한 이해는 아래 사이트를 참고하면 좋음
• https://trkern.github.io/span3.html

 

정리3.
A가 m*n Matrix이고,각 column vector를 a₁, ... a_n이라고 하자, b ∈ R^m 일때 식들은 모두 같은 solution set을 가진다.

 

• Ax = b
• x₁a₁ + ... + x_na_n = b
• [a₁ a₂ ... a_n b]

찬찬히 읽어보면 보임

 

정리4.
A ∈ R^{m x n}이고 b ∈ R^m 일때 아래 4가지 가정은 모두 참이거나 모두 거짓이다.

 

1. R^m space의 모든 임의의 벡터 b에 대해 Ax = b는 해가 존재한다. (consistent)
2. R^m space의 임의의 벡터 b는 A column vectors의 linear combination이다.
3. Matrix A의 column vector들은 R^m space를 Span한다.
4. 모든 Matrix A의 Row는 pivot position을 갖는다.

 

정리5.
A ∈ R^{m x n}이고 u, v ∈ Rⁿ 이면
1. A(u + v) = Au + Av
2. A(cu) = c(Au)

 

---

• Homogeneous Equation : Ax = 0 형태의 Equation으로 항상 최소한 1개의 해를 가진다 (x = 0벡터일 때 = trivial solution을 가진다.) (=항상 consistent하다.)
  
  • 하나의 free variable이라도 존재하면 non trivial solution을 가진다.
  • 이때 해는 span{v} 형태로 표현된다.
• Non-Homogeneous Equation : Ax = b 형태의 Equation.
• Linear Dependent : c₁v₁ + ... + c_nv_n = 0일때 c₁ = ... = c_n = 0이 아닌 형태로 나타내어지는 v₁ ~ v_n벡터끼리는 서로 Linearly dependent 하다고 한다.
  • 그러나, linearly dependent하다는 것은, 해당 system을 구성하는 벡터들 사이에 dependency가 최소한 존재함을 이야기 하는것이지, 각각의 모든 벡터끼리가 서로 dependent함을 이야기하지는 않는다.
• Linear Independent : c₁v₁ + ... + c_nv_n = 0일때, 오직 c₁ = ... = c_n = 0 일때만 식을 만족할 수 있는 v₁ ~ v_n벡터끼리는 서로 Linearly independent하다고 한다.
  • 즉, Ax = 0의 solution이 오직 trivial solution뿐이면 Matrix A의 columns는 서로 linearly independent하다.

 

정리6.
Ax = b가 consistent하고 그 해가 p라고 하자, 즉, Ap = b일때 Ax = b의 모든 solution 집합은 w = p + v_h이고 이 때 v_h는 Ax = 0 의 모든 solution 집합(span)이다.

 

정리7.
a) 어떤 vector 집합 S = {v₁, ... , v_p}에 대해, S가 linearly dependent하다면 최소한 하나의 vector는 다른 vector들의 linear combination으로 표현된다.
b) 어떤 vector 집합 S = {v₁, ... , v_p}이고 v₁은 0벡터가 아니면서 linearly dependent하다면 v_j는 v₁~v_j-1 vector들의 linear combination으로 표현된다. (단 j>1)

 

• b)를 증명하는 과정에서 v_j를 표현하기 위한 v₁~v_j-1 vector들은 linearly independent하다고 가정한다.
• S = {u, v, w} ∈ R³이고, u와 v가 linearly independent하다고 하자. 
• 이때, w 가 span{u, v} 안에 존재하면 if and only if set S 는 linearly depedent하다.

 w is in span{u, v}라는 말은 span의 정의에 따라 w = cu + dv로 나타내어진다는 의미이다. 이 때 linearly independent 하려면 cu + dv + ew = 0일때 이 식을 만족하려면 반드시 c=d=e=0이어야한다. 그런데 위에서 보인 span의 정의, w = cu + dv식에서 w를 우항으로 옮겨보면 0 = -w + cu + dv 이다. 즉 c = d = 0 일지라도 w의 계수 e가 -1이고, 해가 존재하는 방정식이므로 c = d =! e 인 해가 존재한다. 따라서 linearly dependent하다.

 

정리8.
각 벡터의 entries보다 column이 더 많은 matrix의 각 column vector들은 linearly dependent하다.

위와 같은 형태의 Matrix는 반드시 1개 이상의 free variable을 가진다. 즉 linearly dependent하다. (=Non trivial solution을 가진다.) (= Ax = 0에서 x가 0벡터인 경우 이외의 해가 존재하므로 linearly dependent)하다.

 

정리9.
벡터집합 S가 0벡터를 포함하면, S내부 벡터들은 서로 linearly dependent하다.

 

• 0벡터의 계수를 0이 아닌 실수로, 그 외 모든 벡터들에 대한 계수를 0으로 설정하면 x = (c, 0, 0... 0)으로 0벡터를 나타낼 수 있으므로 linearly dependent하다.

 

---

• Transformation = mapping = function : Rⁿ space의 벡터 x를 R^m space의 T(x)로 assign하는 함수
• T(x)를 (Transformation된 벡터를) image라고 하고 T(x)전체 집합을 T(x)의 range라고한다.
• 다음과 같이 표현한다.

• T(x) = Ax라고 생각해도 무방하다.
• 이때 Rⁿ을 Domain, R^m을 Codomain이라고 한다.
• linear Transformation : 벡터를 변환하는 linear matrix A와의 연산을 linear transformation이라고 한다.
  • T(u + v) = T(u) + T(v)
  • c(Tu) = cT(u)

 

정리10.
T : Rⁿ to R^m인 linear T일때, 이러한 변환을 하는 matrix A는 오직 하나 존재한다.
이때 A는 [T(e₁) T(e₂) ... T(e_n)]이다.

 

• 이것을 standard matrix라고 한다
• e₁~e_n은 단위행렬 I_n의 각 column vector이다.

 

---

• onto : T : Rⁿ to R^m일때, R^m space의 모든 벡터 b가 최소한 하나 이상의 Rⁿ space벡터 x의 image이면 이 Transformation은 onto라고 한다.
• one to one : T : Rⁿ to R^m일때, R^m space의 모든 벡터 b가 해가 없거나, Rⁿ space의 오직 하나의 벡터 x로부터의 image이면 이 Transformation은 one to one이라고 한다.

 

정리11.
T : Rⁿ to R^m이며 linear T이다. 만약 T가 one to one이면, T(x) = 0는 오직 trivial solution밖에 존재하지 않는다.

정리12.
T : Rⁿ to R^m이며 linear T이다. 그리고 Matrix A를 T의 standard matrix라고 하자. 이때 T가 onto R^m이면 A의 column vector들은 span{R^m}한다. T가 one to one이면 A matrix는 linearly independent이다.