5-3

앙상블 학습(ensemble learning): 정형 데이터를 다루는 데 가장 뛰어난 성과를 내는 알고리즘이다.

 

랜덤 포레스트(random forest)는 앙상블 학습의 대표 주자 중 하나로 안정적인 성능을 낸다.

부트스트랩: 데이터 세트에서 중복을 허용해 데이터를 샘플링하는 방식

->부트스트랩 샘플에 포함되지 않고 남는 샘플을 OOB(out of bag)샘플이라고 하는데 이 남는 샘플이 검증 세트의 역할을 할 수 있다.

 

엑스트라 트리(extra trees)는 랜덤 포레스트와 아주 유사하게 동작한다.

 

그레이디언트 부스팅(gradient boosting)은 깊이가 얕은 결정 트리를 사용해 이전 트리의 오차를 보완하는 방식이다.

 

히스토그램 기반 그레이디언트 부스팅(histogram-based gradient boosting)은 훈련 데이터를 256개 정수 구간으로 나누어 빠르고 높은 성능을 내는 학습방법이다.