놈 (Norm), 프로베니우스 놈, 코사인 유사도, 정보이론

벡터의 p차 놈(=거리)

 

- Norm이 측정한 벡터의 크기는 원점에서 벡터 좌표까지의 거리 혹은 위상이라고 한다.

 

행렬의 프로베니우스 놈

 

코사인 유사도

 

- 유사도는 -1에서 1까지의 값을 가진다. -1은 완전히 반대되는 경우, 1은 완전히 같은 경우를 의미한다

 

정보이론

 

- 확률이 작을수록 많은 정보

- "사막에 눈이 왔다" vs "북국에 눈이 왔다" 이 두 메시지 중 어느 것이 더 많은 정보를 가지냐 했을 때, 사막에 눈이 올 확률이 더 낮기 때문에 더 많은 정보를 가지고 있다고 볼 수 있다. 이를 "자기 정보"라고 한다. 식으로는 아래와 같다

 

 

로그에 - 를 붙이니 1보다 작을수록 커지는 것이다.