RudolpiA

부스팅 알고리즘 수행 방법 가장 최근의 알고리즘인 부스팅 알고리즘 부스팅(Boosting) 알고리즘은 여러 개의 약한 학습기 (weak learner) 를 순차적으로 학습하면서 잘못 예측한 데이터에 가중치를 부여하여 오류를 개선해 나가는 학습 방식 입니다. 부스팅 알고리즘 종류 Gradient Boosting Model 특징 : 가중치 업데이트를 경사하강법 방법을 통해 진행 python 라이브 러리 sklearn.ensemble.GradientBoostingClassifier sklearn.ensemble.GradientBoostingRegressor XGBoost 특징 : 트리기반 앙상블 기법으로, 가장 각광받으며 Kaggle 의 상위 알고리즘 병렬 학습이 가능해 속도가 빠름 Xboost.XGBRCla..

의사결정 나무는 과적합과 불안정성 대한 문제가 대두 되었어요. 이를 해결하기 위한 아이디어는 바로 나무(Tree) 를 여러 개 만들어 숲(Forest)를 만드는 것이에요. 배깅(Bagging)의 원리 언제나 머신러닝은 데이터의 부족이 문제 이를 해결 하기 위한 Bootstrapping + Aggregationg 방법론 - Bootstrapping : 데이터를 복원 추출해서 유사하지만 다른 데이터 집단을 생성하는 것 - Aggregationg : 데이터의 예측, 분류 결과를 합치는 것 - Ensemble(앙상블) : 여러 개의 모델을 만들어 결과를 합치는 것 더보기 Bootstrap은 " 자기 스스로 해낸다" 의 뜻의 유래를 가지고 있으면서, 영단어로는 부츠 신발 끈을 의미해요. 이를 차용하여 데이터를 복..