전체 글(327)
-
GBM(XGB, LightGBM, Catboost)
GBM(Gradient Boosting Model) : Tree 기반의 모델. - Gradient Descent(경사하강법)을 사용한 boosting(앙상블 알고리즘) 기법 - Adaboost는 오 분류에 대해 weight를 조절하여 bootstrap을 생성했다면 GBM은 전체적인 residual(잔차)에 대해 minimize하는 방식으로 진행. Gradient Descent(=negative gradient) - 즉 gradient(기울기)가 감소하는 방향(-)으로 학습을 진행하므로 negative라는 말을 씀. - loss function이 MSE라고 일 때 negative gradient를 구해보자. Gradient Desent가 결국 residual과 식이 똑같다..!(=결국 loss를 표현한 것..
2024.01.22 -
Ensemble(bagging, boosting)
Ensemble: 여러 모델을 학습하여 오류의 감소를 추구함. - "No free lunch" : 특정 문제에 최적화된 모델이 다른 문제에서는 그렇지 않음을 수학적으로 정리. - 따라서 어떤 알고리즘도 모든 상황, 모든 데이터에서 절대적으로 우위에 있지 않음. ex) bootstrap을 통해 원본 dataset으로부터 T개의 subset을 만들고, 각 subset별 다른 모델(T개)을 학습하여 predict값 T개 추출 - T개의 predict값을 Voting(voting, weight voting, stacking 등등 기법 여러가지)하여 최종 predict 생성하는 기법. **개별 모델의 평균 오류보다 앙상블의 오류가 같거나 작음. - 즉 가장 최적화 모델보다 뛰어난지는 알 수 없으나 개별 모델들의 ..
2024.01.22 -
(tmux) 서버컴과 연결이 끊겨도 코드가 끊기지 않게!
(Linux 환경 + Conda 환경) 1. tmux를 설치하고자 하는 가상환경으로 이동 conda activate newenv 2. tmux 설치 conda install tmux 3. tmux 터미널 켜기 # 세션 만들면서 윈도우랑 같이 생성 tmux new -s (session_name) -n (window_name) 4. 해당 터미널에서 실행하고자 하는 파일 실행 후 이제 원격 접속을 꺼도 됩니다! 5. 다시 접속시 tmux 설치했던 가상환경으로 이동 conda activate newenv 6. tmux 터미널 목록 확인 tmux ls 7. tmux 터미널로 이동 tmux attach -t windowname 8. 결과창 확인 # 마우스 휠을 움직이고 싶을 때 (ctrl+d) + [
2024.01.07 -
(vscode) failed to install the vs code server
이전 원격 접속 서버와 충돌이 나서 그런 것 같다. 일단 나의 경우에는 vscode에서 f1키를 누른 후 여기까지 하고 다시 연결을 시도하면 잘 됐다..!
2024.01.06 -
Git clone, commit, push
1. Local(내 컴퓨터)에 다운받을 장소로 이동 후 git clone http:github.com/ 2. Local에서 해당 폴더로 이동 cd foldername 3. git 초기화 git init 4. 사용자 등록 git config --global user.email 'email@com' git config --global user.name 'myname' git config --global credential.helper store #commit 마다 비밀번호 입력하지 않게 설정 git commit -m 'message' git remote git push origin main
2024.01.06 -
6. Matrix Factorization(SVD) for Recommend System.
user-item matrix - train data : 구매한 항목은 1, 구매하지 않은 항목은 0으로 표기 → U, sigma, V를 얻을 수 있음 - test data : 새로운 user(or 새로운 item)에 대하여 궁금한 항목을 0.5로 표기 후 train에서 얻은 sigma, V를 사용하여 U를 구함. why U? 따라서 U(=test data으로부터 유사 역행렬을 도출), sigma(=from train), V(=from train)을 활용하여 test data를 예측.
2024.01.05