반응형
바이어스와 분산은 트레이드오프 관계
일반적으로 용량이 적은 모델은 바이어스는 크고 분산이 작고, 복잡한 모델은 바이어스는 작고 분산은 크다. 기계학습의 목표는 낮은 바이어스와 낮은 분산을 가진 예측기를 제작하는 것이다.
보통 검증집합과 테스트 집합을 나누어 모델을 훈련시키는데 추가적으로 교차검증과 부트스트랩 방식이 있다.
교차검증
- 훈련집합을 등분하여 학습과 평가 과정을 여러 번 반복하여 평균을 구하여 사용한다.
부트스트랩
- 난수를 이용하여 샘플링을 반복한다.
- 데이터가 적을 때 사용하면 좋다
반응형
'개발 Tools > 파이썬_개념' 카테고리의 다른 글
| 베이즈 정리와 최대 우도 (0) | 2021.12.02 |
|---|---|
| 놈 (Norm), 프로베니우스 놈, 코사인 유사도, 정보이론 (0) | 2021.11.24 |
| 학습의 종류 (지도 학습, 비지도 학습, 강화 학습, 준지도 학습, 결정론적 학습, 스토캐스틱 학습) (0) | 2021.11.24 |
| 차원의 저주 (Curse of Dimensionality) & 매니폴드 가정 (manifold assumption) (0) | 2021.11.24 |
| 파이썬 시간 복잡도 (Big-o, 빅오) (2) | 2021.10.17 |
댓글