• 2023/01/06 스터디 2주차
  • zeropage mml study
    • zeropage wiki

2. Analytic Geometry

• norm
  • \[\begin{align} || \cdot || : V &\rightarrow \mathbb R, \\ x &\rightarrow ||x|| \end{align}\]
  • absoultely homogeneous
  • triangle inequality
  • positive definite
• dot product
  • \[x^\intercal y = \sum_{i=1}^n x_iy_i\]
  • inner product 중 하나
  • basis 로 standard vector 를 선택했을 경우의 inner product
• general inner product
  • bilinear mapping
    • mapping with two argument
    • linear in each argument
  • Definition 3.2
    • 2개의 벡터를 받아 하나의 실수를 출력하는 bilinear mapping $\Omega : V \times V \rightarrow \mathbb R$
      • $\Omega$ 는 $\Omega(x, y) = \Omega(y, x)$ 일 때 symmetric이다
      • 0을 제외한 모든 $x$ 에 대해 $\Omega(x, x) > 0$ 이면 positive definite 이다
  • Definition 3.3
    • 2개의 벡터를 받아 하나의 실수를 출력하는 bilinear mapping $\Omega : V \times V \rightarrow \mathbb R$
      • positive definite 하고 symmetric 한 bilinear mapping $\Omega : V \times V \rightarrow \mathbb R$ 를 inner product 라고 함
      • $(V, \langle \cdot, \cdot \rangle)$ 쌍을 inner product space 라고 하고, 이때 inner product 를 dot product 로 선택하면 그 공간을 Euclidean vector space 라고 함
• symmetric, positive definite matrices
  • symmetric 과 p.d matrices 는 ml 에서 중요하고, 내적을 통해 정의된다
  • \[\langle x, y \rangle = \Big \langle \sum_{i=1}^n \psi_i b_i, \sum_{j=1}^n \lambda_j b_j \Big\rangle = \sum_{i=1}^n\sum_{j=1}^n \psi_i \langle b_i, b_j \rangle \lambda_j = \hat x^\intercal A \hat y\]
    • $A_{ij}$ 도, $\hat{x}, \hat{y}$ 도 basis $B$ 에 의존함
      • 이때 standard basis 를 선택하면 $A$ 가 identity matrix 이고 따라서 inner product 값이 $x^\intercal y$ 이 됨
    • inner product 는 symmetric 하므로 그에 대응하는 $A$ 또한 symmetric 함
    • positive definite 또한 마찬가지
      • $\forall x \in V \backslash {0} : x^\intercal A x > 0$
  • Definition 3.4
    • symmetric matrix $A$ 가 위 식을 만족하면 positive definite 라고 함. 만약 $\geqslant$ 가 성립하는 경우 positive semidefinite 라고 함
  • 만약 $A \in \mathbb R^{n \times n}$ 가 positive definite 라면 그것은 특정 basis 에서의 inner product 를 의미한다
• length and distances
  • Cauchy-Schwarz inequality
  • distance, metric
    • $d(x, y) = \sqrt{\langle x-y, x-y\rangle}$
    • dot product 쓰면 Euclidean distance (l2 norm) 임
    • Remark
      • 벡터끼리의 distance 나 벡터의 length 를 재는 데에 inner product 가 필요하지는 않음. norm 이면 충분함
    • metric 은 positive definite 를 만족하고, symmetric 하고 triangle inequality 를 만족해야 한다
• angle & orthogonality
  • \[\text{cos}\ \omega = \frac{\langle x, y\rangle}{||x|||y||}\]
  • orthogonality
    • $\langle x, y\rangle = 0$ 이면 $x \perp y$ 이다

    • 이때 $

      x

      = 1 =

      y

      $ 이면 $x$ 와 $y$ 는 orthonormal 하다

  • Definition 3.8
    • Orthogonal matrix
      • $AA^\intercal = I = A^\intercal A$
      • $A^{-1} = A^\intercal$
      • 선형변환 이후에도 angle 과 length 가 보존됨
• Orthonormal basis
  • Definition 3.9
    • orthonormal basis
    • basis 들끼리 orthogonal 하고 전부 길이가 1이면, 이런 벡터들의 집합을 orthonormal basis (ONB) 라고 함
    • non-orthogonal 하고 unnormalized basis vector들 $\{ \tilde{b_1}, \dots \tilde{b_n} \}$ 가 있을 때, 이들 기저들을 모아 행렬 $\tilde{B} = [\tilde{b_1}, \dots, \tilde{b_n}]$ 를 만들고 $[\tilde{B} \tilde{B}^\intercal | \tilde{B}]$ 를 풀어 orthonormal basis 를 구할 수 있다. 이를 Gram-schmidt process 라고 한다
• orthogonal complement
  • 보통 hyperplane 을 설명하기 위해 사용됨
• inner product of functions
  • 함수를 무한차원의 벡터로 생각하고, 함수의 내적을 적분으로 정의함
  • 함수해석학?

6. probability and distributions

• construction of a probility space
  • automated reasoning
  • generalize logical reasoning(classical Boolean logic)
  • Remark
    • Bayesian, frequentist interpretation
    • Bayesian
      • specify the degree of ucertainty that the user has about an event
      • subjective probability, degree of belief
    • frequentist
      • the relative frequencies of events of interest to the total numver of event that occurred
      • defined as relative frequency of the even in the limit when one has infinite data
• 확률과 랜덤변수
  • 확률공간
    • sample space $\Omega$
      • ${hh, tt, ht, th}$ 등
    • event space $\mathcal A$
      • $\mathcal A$ is often the power set of $\Omega$
    • probability measure
      • each event $A \in \mathcal A$, $P(A)$
    • 확률공간 $(\Omega, \mathcal A, P)$
    • 보통 확률공간을 explicitly referring 하는 것을 피함
      • target space $\mathcal T$ 를 선언하고 랜덤변수 $X: \Omega \rightarrow \mathcal T$ 를 도입
      • 랜덤변수 $X$ 는 $\Omega$ 의 원소를 받아 particular quantity of interest $x$ 를 출력함
        • $X(hh) = 0, X(ht) = 1, \dots $
        • $\mathcal T = {0, 1, \dots }$
        • $S \subseteq \mathcal T$, $P_X(S) \in [0, 1]$
  • 랜덤변수
    • $X: \Omega \rightarrow \mathcal T$
    • $S \subseteq \mathcal T$
    • $X^{-1}(S), \ {\omega \in \Omega : X(\omega) \in S}$
    • $P_X(S) = P(X^{-1}(S)) = P({\omega \in \Omega : X(\omega) \in S})$
• 추가 예정. 수식을 최대한 줄이자
• ㅇ