GBM(Gradient Boosting Model) : Tree 기반의 모델. - Gradient Descent(경사하강법)을 사용한 boosting(앙상블 알고리즘) 기법 - Adaboost는 오 분류에 대해 weight를 조절하여 bootstrap을 생성했다면 GBM은 전체적인 residual(잔차)에 대해 minimize하는 방식으로 진행. Gradient Descent(=negative gradient) - 즉 gradient(기울기)가 감소하는 방향(-)으로 학습을 진행하므로 negative라는 말을 씀. - loss function이 MSE라고 일 때 negative gradient를 구해보자. Gradient Desent가 결국 residual과 식이 똑같다..!(=결국 loss를 표현한 것..

Ensemble: 여러 모델을 학습하여 오류의 감소를 추구함. - "No free lunch" : 특정 문제에 최적화된 모델이 다른 문제에서는 그렇지 않음을 수학적으로 정리. - 따라서 어떤 알고리즘도 모든 상황, 모든 데이터에서 절대적으로 우위에 있지 않음. ex) bootstrap을 통해 원본 dataset으로부터 T개의 subset을 만들고, 각 subset별 다른 모델(T개)을 학습하여 predict값 T개 추출 - T개의 predict값을 Voting(voting, weight voting, stacking 등등 기법 여러가지)하여 최종 predict 생성하는 기법. **개별 모델의 평균 오류보다 앙상블의 오류가 같거나 작음. - 즉 가장 최적화 모델보다 뛰어난지는 알 수 없으나 개별 모델들의 ..