앙상블-결정트리, bagging (RandomForest), boosting (Adaboost)

- 결정트리는 부정확성을 가지기 때문에 이상적 머신러닝이 아님

- 하지만, 앙상블기법을 통해 성능이 좋은 다른 모델을 만들 수 있음

 

- 앙상블:

하나의 모델을 쓰는 대신, 수많은 모델들을 사용해 종합적 판단을 하는 방법

 

- 앙상블 기법:

랜덤 포레스트: 트리모델을 임의로 많이 만들어서 다수결 투표로 결과를 종합하는 알고리즘

 

   트리 모델 임의로 많이 만드는 방법:

   1. Bagging (Bootstrapping-aggregating)

   : Bootstrap데이터 셋으로 만든 수많은 모델을 종합

  

   Bootstrapping: 갖고 있는 데이터 셋으로 다른 데이터 셋을 만들어내는 방법

Bootstrap 데이터 셋

 

 

매 노드를 만들 때 임의로 만들기 때문에 수많은 서로 다른 결정 트리들이 나옴

결정 트리 하나를 만들기 위해서,
1) bootstrapping을 사용해서 임의로 데이터 셋을 만
2) 결정 트리를 만들 때도 질문 노드들을 어느 정도는 임의로 만듦
3) 그 다음은 그냥 이 두 단계를 반복