정리: 김동영

linear algebra

• In general, vectors are special objects that can be added together and multiplied by scalars to produce another object of the same kind
• a Hadamard product
• Identity Matrix
• AB = I = BA 일 때 B는 A의 inverse 이다
• transpose, symmetric
• symmetric 끼리의 linear combination 또한 symmetric 이다
• general and special solution
• 기본행연산
  • 열공간 보존?
• RREF
• -1 trick
• moore penrose pseudo inverse
  • 기하학적 의미는 prml 의 143 쪽을 참고 (least squares)
• iterative method
• group, vector space
• vector subspace
  • a homogeneous system Ax=0 의 해집합은 subspace 이다
    • 모든 subspace 는 homogeneous system of linear equations 의 해집합이다
  • Ax=b (b is not 0) 의 해집합은 subspace 가 아니다
  • subspace 들의 교집합은 항상 subspace 이다
• linear independence
  • linear combination
  • 43p 내용 - m 개의 x들이 선형독립이다 = m 개의 람다들이 선형독립이다
    • k개의 vector의 m개의 선형결합은 m>k 일 때 선형종속이다
• basis
  • 집합 A가 벡터공간 V를 span할 때 V=span(A) 라고 한다
  • generating set 은 특정 vector space 를 span 하는 집합이다
  • 모든 linearly independent generating set of V 는 minimal 하고 이를 basis 라고 한다
    • generating set A 는 A보다 작으면서 V를 span하는 진부분집합이 없을 때 minimal 이다
  • 다음은 전부 동치이다
    • B가 V의 basis이다
    • B는 V의 minimal generating set이다
    • B는 V의 maximal linearly independent set이다
    • V의 모든 vector x는 B의 linear combination으로 표현할 수 있다, 동시에 그 표현은 항상 unique하다
  • 모든 vector space 는 기저를 갖는다. 유일하지는 않지만 기저 벡터 개수는 같다 (all bases possess the same number of elements)
• dimension
  • finite-dimension 만을 다룬다
  • basis vector 의 개수가 곧 dimension 이다
  • U가 V의 subspace이면 dim(U) 는 항상 dim(V) 보다 작거나 같다.
    • dim(U)=dim(V) 이면 U=V 이다. 역 또한 성립한다
• rank
  • 행렬 A의 linearly independent 한 행벡터의 개수는, linearly independent 한 열벡터의 개수와 같고 이를 rank라고 하고 rk(A)라고 표현한다
  • rk(A) = rk(A^T) → column rank = row rank
  • A의 column space 는 곧 그 행렬의 image이고, column space의 dimension이 곧 rk(A)이다
    • 열공간의 dimension은 gaussian elimination을 통해 얻을 수 있다
    • 행공간 또한 마찬가지임
  • A가 n by n 정방행렬일 때 rk(A)=n 이면 invertible 이며 역 또한 성립한다
  • rk(A) = rk(A|b) - augmented system
  • m by n 행렬 A, Ax=0 의 해집합은 n-rk(A) 의 dimension을 가진다
    • 뒤에서 kernel 이라는 이름으로 다시 등장한다
  • m by n 행렬 A, rk(A) = min(m, n) 이면 full rank이고, full rank가 아니면 rank dificient 라고 한다