데이터에 있는 불확실성을 다루며 오류를 최소화하는 매개변수를 찾는 일을 모두 수학으로 해결

기계 학습 알고리즘을 설계한다는 말은 목적함수를 정의하고 최적화 방법을 선택하며 적절한 제어 기능을 추가하는 작업을 뜻하며, 그 작업은 사람이 담당함

설계된 기계 학습 알고리즘에 사람이 수집한 데이터를 입력하여 학습을 수행함

선대 : 간결하게 표현 / 확통 : 불확실성 표현 / 최적화 : 최적해 찾음

선형대수

벡터와 행렬

• 벡터

  입력된 샘플을 특징 벡터(feature vector)로 표현

  

  굵은 소문자로 표기

  벡터 x를 4차원이라고 함

• 행렬

  행렬은 여러 개의 벡터를 담을 수 있음

  

  굵은 대문자로 표기

  훈련집합을 담은 행렬을 **설계행렬(design matrix)**라고 함

• 전치행렬

  

  전치(transpose) : 행과 열을 교환한 형태

  nm → mn

  • 정사각행렬(square matrix) : 행의 개수 n과 열의 개수 m이 같은 행렬

  • 대각행렬(diagonal matrix) : 주대각선을 제외한 요소가 모두 0인 행렬

  • 단위행렬(identity matrix) & I : 모든 주대각선 요소가 1, 나머지 요소가 모두 0인 정사각행렬

  • 대칭행렬(symmetric matrix) : aij와 aji가 같은 정사각행렬

    주대각선 : aii로 구성된 대각선

• 행렬 연산

  덧셈 : 행렬의 크기가 같아야 가능

  곱셈 : A(ns) * B(sm) → C(n*m) ⇒ ㄱ 모양으로 !

  

  교환법칙은 성립하지 않으나 분배법칙, 결합법칙 성립

  AB =/= BA, A(B+C) = AB + AC, A(BC) = (AB)C

  내적(dot product) : 차원이 같은 두 벡터 a와 b의 곱

  

  텐서(tensor) : 3차원 이상의 구조를 가진 숫자 배열, 모든 차원을 포괄하는 포현

  

놈(nom)과의 유사도

기계 학습이 사용하는 중요한 연산 중 하나는 두 샘플의 유사도(similarity) 측정임

유사도 이용 → 비슷한 샘플을 찾아 같은 군집으로 모으거나, 가장 유사한 샘플을 찾아 그 샘플이 속한 부류로 분류할 수 있음