30 Dec 2022

• 2022/12/30 스터디 1주차
  • zeropage mml study
    • zeropage wiki

linear algebra

• vector
  • In general, vectors are special objects that can be added together and multiplied by scalars to produce another object of the same kind
• matrices
  • a Hadamard product
  • Identity Matrix
  • $AB = I = BA$ 일 때 $B$는 $A$의 inverse 이다
  • transpose, symmetric
• linear equation
  • general and special solution
  • 기본행연산
    • 열공간 보존?
  • RREF
  • -1 trick
  • moore penrose pseudo inverse
    • 기하학적 의미는 prml 의 143 쪽을 참고 (least squares)
  • iterative method
• group, vector space
  • vector subspace
    • a homogeneous system $Ax=0$ 의 해집합은 subspace 이다
      • 모든 subspace 는 homogeneous system of linear equations 의 해집합이다
    • $A \mathbf x=b$ ($b \not= 0$) 의 해집합은 subspace 가 아니다
    • subspace 들의 교집합은 항상 subspace 이다
• linear independence
  • linear combination
  • 43p - m 개의 x들이 선형독립이다 = m 개의 $\lambda$들이 선형독립이다
    • k개의 vector의 m개의 선형결합은 $m>k$ 일 때 선형종속이다
• basis
  • 집합 A가 벡터공간 $V$를 span할 때 $V=\text{span}(A)$ 라고 한다
  • generating set 은 특정 vector space 를 span 하는 집합이다
  • 모든 linearly independent generating set of $V$ 는 minimal 하고 이를 basis 라고 한다
    • generating set $A$ 는 $A$보다 작으면서 $V$를 span하는 진부분집합이 없을 때 minimal 이다
  • 다음은 전부 동치이다
    • $\mathcal B$가 $V$의 basis이다
    • $\mathcal B$는 $V$의 minimal generating set이다
    • $\mathcal B$는 $V$의 maximal linearly independent set이다
    • $V$의 모든 vector x는 $\mathcal B$의 linear combination으로 표현할 수 있다, 동시에 그 표현은 항상 unique하다
  • 모든 vector space 는 기저를 갖는다. 유일하지는 않지만 기저 벡터 개수는 같다 (all bases possess the same number of elements)
• dimension
  • finite-dimension 만을 다룬다
  • basis vector 의 개수가 곧 dimension 이다
  • $U$가 $V$의 subspace이면 $dim(U) \leq dim(V)$
    • $dim(U)=dim(V)$ 이면 $U=V$ 이다. 역 또한 성립한다
• rank
  • 행렬 A의 linearly independent 한 행벡터의 개수는, linearly independent 한 열벡터의 개수와 같고 이를 rank라고 하고 $rk(A)$라고 표현한다
  • $\text{rk}(A) = \text{rk}(A^\intercal)$ → column rank = row rank
  • $A$의 column space 는 곧 그 행렬의 image이고, column space의 dimension이 곧 $\text{rk}(A)$이다
    • 열공간의 dimension은 gaussian elimination을 통해 얻을 수 있다
    • 행공간 또한 마찬가지임
  • $A$가 (n, n) 정방행렬일 때 $\text{rk}(A)=n$ 이면 invertible 이며 역 또한 성립한다

  • $\text{rk}(A) = \text{rk}(A

    b)$ - augmented system

    • 이를 만족하면 해가 존재한다. ‘모순이 없다’ 라고 표현한다
  • (m, n) 행렬 $A$, $Ax=0$ 의 해집합은 $n-\text{rk}(A)$ 의 dimension을 가진다
    • 뒤에서 kernel 이라는 이름으로 다시 등장한다
  • (m, n) 행렬 $A$, $\text{rk}(A) = \text{min}(m, n)$ 이면 full rank이고, full rank가 아니면 rank dificient 라고 한다
• linear mapping
  • infective, surjective , bijective - 단사, 전사, 전단사
  • 유한차원 벡터공간 $V$, $W$, $\text{dim}(V)=\text{dim}(W)$ 이면 isomorphic이다. 역 또한 성립한다 - 정리 2.17
    • 이 정리는 같은 차원의 두 벡터공간 사이에는 항상 linear하고 bijective 한 매핑이 존재한다는 걸 의미한다
    • 직관적으로, 차원이 같은 벡터공간은 사실상 같으며, 정보의 손실 없이 transform 할 수 있다.
  • linear는 합성해도 linear이다
  • isomorphism transformation 은 역함수도 isomorphism이다
  • coordinatie - 정의 2.18
    • coordinate vector with respect to the ordered basis B
      • $n$차원 벡터공간 $V$의 ordered basis가 $\mathcal B$일 때, $\mathbb R^n$에서 $V$로 가는 매핑, 즉 $\phi(e_i) = b_i$ 가 되는 변환은 linear하다
    • transformation matrix
      • linear mapping 은 행렬이다
    • change of basis
      • 추가 예정
    • equivalence, similarity
      • 추가 예정
• image & kernel
  • $\phi: V→W$ (mapping)
  • $\text{ker}(\phi) = \phi^{-1}(0_W)$
  • $\text{Im}(\phi) = \phi(V)$
  • null space는 never empty ($0_V$ 는 항상 $0_W$로 매핑됨)
  • $\text{Im}(\phi)$ 는 W의 부분공간이고, $\text{ker}(\phi)$는 $V$의 부분공간이다
  • (m, n) 행렬 $A$, $\text{im}(A)$ 는 곧 열공간이고, $m$ 을 A의 height라고 한다
    • $\text{rk}(A) = \text{dim}(\text{Im}(A))$
  • 정리 2.24
    • $\phi: V→W$
    • $\text{dim}(\text{ker}(\phi)) + \text{dim}(\text{Im}(\phi)) = \text{dim}(V)$
    • $\text{dim}(\text{im}(\phi)) < \text{dim}(V)$ 이면 $\text{ker}(\phi)$ 는 non-trivial 하다
    • $V$와 $W$의 차원이 같으면, 다음 3개는 같다
      • $\phi$는 injective이다
      • $\phi$는 surjecive이다
      • $\phi$는 bijective이다
• affine space
  • vector space $V$, $x_0$ in $V$, subspcae $U \subseteq V$
  • $L = x_0 + U$ 를 affine subspace 라고 함
  • $U$는 direction space, $x_0$ 은 support point 라고 함
    • support vector machine 과 연관?
  • hyperplane
  • parametric equation
  • inhomogeneous systems of linear equations and affine subspaces
    • $Ax=b$ ($b \neq 0$), 에서 해집합은 empty 이거나 affine subspace이다, 해집합의 차원은 $n-rk(A)$이다
  • $\mathbb R^n$ 에서 모든 $k$차원 affine subspace 는 inhomogeneous system of linear equations $Ax=b$ 의 해집합이다
    • $A$가 (m, n) 행렬일 때 $\text{rk}(A)$ 는 $n-k$ 이다
    • homogeneous equation system $Ax=0$ 의 해집합이 vector subspace 라는 걸 기억하자
      • support point $x_0$ 가 0인 경우로 생각할 수도 있다
• affine mapping
  • every affine mapping is also the composition of a linear mapping ans a translation
  • affine 끼리는 합성해도 affine 이다