김동영 - 5.4~6.3, 7

5.4 gradient of matrices

• gradient of matrices with recpect to vector
  • J 는 4차원 텐서
  • (m, n) 행렬과 R^mn 사이에 vector-space isomorphism 이 존재함
    • 따라서 행렬은 곧 mn 차원의 벡티임
    • 이때 자코비안은 (mn, pq) 의 크기를 가짐
    • application에서는 matrix를 이렇게 vecotrize 한 뒤 자코비안을 구하기도 함
      • flattening, vectorize

5.6 backpropagation and automatic differentiation

• backpropagation
• automatic differentiation
  • forward and reverse mode
  • 신경망에서는 연산량 차이 때문에 reverse 모드를 사용

6.1 Construction of a Probability Space

• three concept
  • sample space 오메가
  • event space A - 오메가의 power set 일 수 있음
  • 확률 P
• single event 의 확률은 항상 interval [0, 1] 에 있음
• P(오메가) = 1
• 확률공간 (오메가, A, P)
• quantities of interest T
• T는 target space이고 ㅚ