티스토리

코딩소비

검색하기

블로그 홈

코딩소비

sobeee.tistory.com/m

코딩소비 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

2024 상반기 디지털 하나은행 합격후기 하나은행 전형은 서류 → 코테 → 1차면접(역량 위주 면접) → 2차면접(인성면접) 순으로 진행된다. 서류전형서류 전형에 대해서는 기준점을 명확하게 알 수는 없었지만 면접 스터디를 진행하면서 주위 사람들을 보니 대개 디지털 직군임에도 영어성적이 다들 월등히 좋았다......필자는 오픽 IH 하나였는데 꼴지였음.... 다들 AL 아니면 토익 900점대.....다들 혹시 모르니 영어성적 미리 준비해두면 좋을 것 같습니다(확실하진 않지만 적어도 오픽 IH는 따는걸로) 코딩테스트안내에 나와있듯 Python,Java,C 등 다양한 언어로 푸는 코딩테스트 문제 3문제 + SQL 2문제로 총 5문제 나옵니다.개인적으로는 다른 기업과 크게 다르지 않은 난이도였고 유독 어렵진 않았다.SQL이 시간 좀 잡아먹어서 마지막에.. 공감수 1 댓글수 0 2024. 6. 2.
DL 기본 상식 2 Gradient Descent에 대해서 쉽게 설명한다면? 기울기. 즉 loss function에서 cost를 최소로 하는 모수(파라미터)를 찾기 위한 과정이다. Gradient Descent에서 가로축과 세로축은 무엇인가? 가로축은 찾고자 하는 모수(=파라미터)이며 세로축은 cost. 즉 loss입니다. 실제 상황에서는 gradient가 0인 지점을 찾기위해 반복되며 양수일 때는 모수 값을 감소시키고, 음수일 때는 모수를 증가시키기 때문에 0을 기준으로 진동하는 그래프가 형성됩니다.(x축은 파라미터, y축은 gradient) Gradient Descent에서 Loss가 증가하는 이유는? 극솟값 주변에서 learning rate가 너무 커서 진행을 너무 많이 했을 때 입니다. 한편으로는 local mini.. 공감수 0 댓글수 0 2024. 4. 22.
DL 기본 상식 볼츠만 머신은 무엇인가요? 가시층과 은닉층, 총 두 개의 층으로 구성된 신경망입니다. Full-connected 형태이며 확률모델로 분류나 선형 회귀 분석등에 사용될 수 있습니다. 딥러닝은 무엇인가요? 딥러닝과 머신러닝의 차이는? 딥러닝은 머신러닝이 고도화로 발전된 것으로 사람의 도움 없이 정확한 결정을 내릴 수 있도록 프로그래밍한 신경망을 의미합니다. 머신러닝과 차이점이라고 한다면 인간의 도움여부라고 이해하고 있습니다. 머신러닝은 여러 feature 중 어떤 feature를 추출할지 사람이 직접 분석하고 판단하는 반면 딥러닝은 모델이 스스로 데이터로부터 특징을 추출하여 학습합니다. 하이퍼 파라미터란? 파라미터와 차이점 일단 파라미터란 매개변수로 weight라고도 표현합니다. 데이터를 통해 결정되는 모델.. 공감수 0 댓글수 0 2024. 4. 22.
ML 기본 상식 3 LSA, LDA, SVD 란? - LSA (Latent Semantic Analysis) : SVD를 단어-문서 행렬에 사용하여 LSA(잠재 의미 분석)을 수행. - LDA(Latent Dirichlet Allocation) : 문서에 어떤 주제들이 존재하는지에 대한 확률 모형 **정리 : LSA,LDA 모두 토픽 모델링에 활용되는 기법이다. - LSA : DTM을 truncated SVD를 통해 축소하여 축소 차원에서 근접 단어들을 토픽으로 묶는다. - LDA : 단어가 특정 토픽에 존재할 확률과 문서에 특정 토픽이 존재할 확률을 결합확률로 추정하여 토픽을 추출한다 SVM(Support Vector Machine)이란? - 마진 최대화. 즉 support vector를 통해 margin이 최대가 되는 .. 공감수 0 댓글수 1 2024. 4. 22.
ML 기본 상식 2 Feature Vector란? - 정형 데이터에서 row. 즉 데이터가 가지는 feature를 vector형태로 담은 것. 좋은 모델이란? - 데이터에 알맞는 모델 크기로 추론시간이 빠르면서 정확도가 높은 모델이 좋은 모델입니다. 같은 성능이라면 모델의 크기가 작은 단순한 모델이 더 좋은 모델이라고 볼수도 있습니다. Metric의 종류와 설명 - Regression 문제 : MSE, MAE가 대표적 - Classification 문제 : Accuracy, Recall, Precision, F1 score가 대표적 Accuracy, Recall, Precision, F1 score - Accuracy(정확도) : 전체 정답 중 모델이 맞춘 비율 - Recall(재현율) : 실제 True인 것 중에서 모델이.. 공감수 0 댓글수 0 2024. 4. 21.
2. Tries 알고리즘 Trie 알고리즘 - 빠른 문자열 검색 자료구조 - Tree 형태로 각 단어를 저장. words = ["frodo", "front", "frost", "frozen", "frame", "kakao"] head, head_rev = {},{} lengths = [] def tries(head, word): node = head # 포인터 지정 for w in word: if w not in node: node[w]={} node = node[w] # 포인터 이동 if 'len' not in node: node['len'] = [len(word)] else: node['len'].append(len(word)) node['end']=True # 각 단어의 끝을 표시 for word in words: trie.. 공감수 0 댓글수 1 2024. 4. 19.
1. BFS / DFS 코딩테스트 첫단계. BFS / DFS부터 정복하자. - BFS : q - DFS : stack **암기 이때 DFS는 백트래킹이라고도 불리며 보통 재귀함수로 구현한다. 1. 종료조건 맨위 2. 방문처리 3. 재귀함수 호출 4. 방문취소 예제문제 https://school.programmers.co.kr/learn/courses/30/parts/12421 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr https://www.acmicpc.net/step/34 백트래킹 단계 조금 더 복잡한 백트래킹 문제 1 www.acmicpc.net 백준 18352 1450.. 공감수 0 댓글수 0 2024. 4. 19.
ML 기본 상식 Training 세트와 Test 세트를 분리하는 이유는? 모델의 일반화 성능을 측정하기 위해. 즉 unseen data에 대해 모델의 성능을 평가하고자 test set을 만들게 됩니다. 이를 하지 않았을 때는 주어진 데이터에 대해 과도하게 학습하여 새로 주어진 데이터에 대해 잘 예측하지 못하는 overfitting 문제가 발생할 수 있습니다. 그렇다면 Validation 세트가 따로 있는 이유는? 학습시 모델의 성능을 평가하고 하이퍼파라미터를 수정할 수 있도록 일종의 학습시 참고하는 test set입니다. 고정된 test set만 활용할 경우 이는 또다시 test set에 overfitting이 발생하는 문제를 야기할 수 있기 때문에 보통 train/valid/test 데이터셋을 활용합니다. Test s.. 공감수 2 댓글수 0 2024. 4. 16.
데이터베이스 기술 면접 기본 개념(2) 빅데이터란? 대량의 정형 또는 비정형 데이터를 의미하고, 기존의 관리 도구로는 어려운 규모와 다양성을 가지고 있는 데이터를 의미합니다. 마케팅 분석에 따른 추천 시스템, 혹은 예측 분석 등 다양한 분야에서 빅데이터를 분석하여 비즈니스 가치를 창출할 수 이씁니다. 대용량 데이터 관리 : parition & combine! 문제점: 병목현상(deadlock) 발생 해결방안: 동기화 메커니즘(Communication between workers, Access to shared resources) 활용 **동기화 메커니즘: 1) Programming model 활용 : Thread를 활용한 shared memory기법 or Message Passing 기법 활용 2) Design Patterns : Master.. 공감수 0 댓글수 0 2024. 4. 3.
데이터베이스 기술 면접 기본 개념(1) 데이터베이스 특성 1) 실시간 접근성 2) 지속적인 변화(동적 특성) : 즉 새로운 데이터 삽입,삭제,갱신이 지속적으로 일어난다 3) 동시 공용 : 여러 사용자가 동시에 사용할 수 있다. 4) 내용에 의한 참조 : 데이터 참조 시 사용자가 요구하는 데이터 내용으로 탐색. 동시공용의 이점과 문제점 이점: 공용도 증가, 응답시간 단축, 시스템 활용도 증대 문제점: DBMS가 제어를 안할시(무제어) 갱신 분실, 모순성 발생, 연쇄 Commit or Rollback 발생 **따라서 DBMS가 스케쥴로 제어를 해야한다. 직렬 or 비직렬 데이터베이스 언어 3가지 1) DDL(Data Definition Language) : 데이터베이스 구조(스키마)를 정의 및 수정,삭제하는 언어 - Create, Drop, Al.. 공감수 0 댓글수 0 2024. 4. 2.
Sequential Recommendation Sequential Recommendation: 구매 이력 순서에 따른 추천 시스템 Markov Chain 기반 연구 - Markov Chain이란? chain rule에서 다음 사건은 그 직전의 사건에 대해서만 영향을 받고 그 이전과는 독립이라는 가정. Factorized Personalized Markov Chains(FPMC, Rendle et al., 2010) - 해당 유저가 직전에 구매한, 혹은 검색한 아이템만을 고려하면 된다는 아이디어. Personalized Ranking Metric Embedding(PRME, Feng et al., 2015) - 직전에 검색한 아이템과의 compatibility를 inner product(FPMC 방식)이 아닌 Euclidean distance를 사용함.. 공감수 0 댓글수 0 2024. 2. 23.
Using temporal dynamics for Recommend System Temporal dynamics 예시 - 특정 상품에 대한 평가가 시간에 따라 달라짐 - 계절이나 요일,주,월 단위의 주기성이 평가에 영향을 미침 - 사용자의 취향 또한 시간에 따라 바뀔 수 있음 - User Interface의 변화에 따라 평가가 달라지기도 함 AutoRegression이란? - 스스로 회귀. 즉 자기 자신의 과거 데이터 기반으로 미래를 예측하는 자동회귀를 의미한다. - 이때 MSE를 평가지표로 사용하지만 최근 K개의 데이터에 대해서만 MSE를 구한다면 이동 평균(Moving Average)라고 한다. Moving Average 또한 단순 평균으로 구하는 방법(MSE)와 Weighted MSE를 구하는 방법 등 여러가지가 존재할 수 있다. 시간이 지남에 따라 사용자의 취향이나 의견이 변.. 공감수 0 댓글수 0 2024. 2. 23.
Using High-dimensional Side-information for Recommend System(text, image, audio data) Using text data Collaborative Deep Learning(CDL, Wang et al. 2015) - textual content를 활용한 Top-K Ranking 추천 모델 - Matrix Factorization + Stacked Denoising Autoencdoer(SDAE)를 사용. **SDAE란 autoencoder를 여러 층 stack 형태로 쌓고, input에 noise를 추가하여 denoise model 모델을 만듦을 목표로 함. Using Visual data Visual BPR(VBPR, He and McAuley, 2016) - item의 visual content를 활용한 모델 - pretrained CNN 모델을 활용하여 item의 visual feature.. 공감수 0 댓글수 0 2024. 2. 22.
Using side-information for Recommend System Collaborative Filtering : user-item interaction data만을 활용하여 추천을 수행. 한계점 두가지 - Cold-start problem : interaction data가 충분하지 않은 경우 - Temporal evolution : 시간의 흐름에 따른 사용자 선호도 및 아이템 특성의 변화를 반영하지 못함 **Cold-start problem 이란 interaction 정보가 매우 적거나 존재하지 않는 아이템이나 사용자에게 올바른 추천을 제공하기 어려운 상황을 의미 - Content-based methods(사용자 혹은 아이템의 side-information)을 활용하여 cold-start problem 완화 가능. - 예를 들면 해당 유저와 비슷한 군집의 유저가 좋아.. 공감수 0 댓글수 0 2024. 2. 22.
Variational AutoEncoder(VAE, Multi-VAE) VAE의 특징은 z(latent vector)생성 시, linear layer를 통과하여 나온 벡터 내의 값(스칼라) 뿐만 아니라 해당 값의 평균과 분산 정보까지 포함시키는 것이다. - 이때 input으로 제공된 모든 값은 정규분포를 따른다고 가정한다. VAE 구현방법에는 여러가지가 있을 수 있지만 간단하게 두 가지를 소개하려고 한다. 1) encoder에 의해 생성되는 z의 크기를 두배로 하여 mu, logvar로 나누는 방법 2) z를 생성하는 linear layer를 두개 설정하여 mu,logvar를 각각 생성하는 방법. 필자는 무비렌즈 데이터로 영화 추천이라는 테스크를 수행했는데 1번 방법의 성능이 훨씬 좋았다. import torch.nn as nn import torch.nn.functiona.. 공감수 0 댓글수 0 2024. 2. 21.
torch.nn.CrossEntropyLoss() 만약 이중분류를 진행중이라면 torch.nn.BECLoss()를 사용하자. Multi-Class CrossEntropyLoss 1. input tensor에 대해서 각 row 별로 softmax() 진행(=각 class별 확률을 나타냄) 2. 각 row별로 softmax()가 진행된 값에 log를 취해줌 **1-2단계를 한번에 torch.nn.functional.log_softmax(x, dim=1) 로 구현할 수도 있다. 3. predict와 y의 element-wise product 진행. - 이때 y는 모든 class에 대한 one-hot encoding. - 즉, 각 row별 y class에 해당하는 probability만 남음. - 이때 2단계 진행 시 softmax의 결과는 1 이하이기 때문에.. 공감수 0 댓글수 0 2024. 2. 19.
Denoising AutoEncoder(DAE, Multi-DAE) 실제 데이터는 noise가 낀 데이터일 확률이 높다. 따라서 AutoEncoder에 비해 더욱 강건한 모델을 만들고자 input 데이터에 인위적인 noise를 추가하고, 모델이 해당 noise를 제거(denoising)하여 원래 input을 재건할 수 있도록 학습한다. Denoising 방법으로는 두 가지가 있다. 1) Gaussian(정규 분포)로 부터 추출한 랜덤 값을 각 pixel에 더해주는 방법 2) Dropout을 이용하는 방법 **Denoising AutoEncoder는 input 단계에서 noise를 추가하는 것. import torch.nn as nn import torch.nn.functional as F import torch import numpy as np class DAE(nn.M.. 공감수 0 댓글수 0 2024. 2. 19.
AutoEncoder (for Recommend System) AutoEncoder는 기본적으로 주어진 벡터(이미지)를 가장 잘 표현하는 저차원을 구하기 위한 모델로 이해하면 좋다. 즉 encoder를 통해 생성된 compressed representation는 decoder를 통해 원래의 벡터(이미지)로 복원되며, 가장 loss가 적은 최적의 표현이 되도록 학습된다. 추천 시스템에서 AutoEncoder는 어떻게 사용될 수 있을까? user-item interaction matrix를 생성하여 접근해볼 수 있다. - 이때 interaction으로 구매 내역, 방문 페이지, 검색 기록 등 Implicit feedback 정보를 사용하기도 한다. import torch.nn as nn import torch.nn.functional as F import torch i.. 공감수 0 댓글수 1 2024. 2. 19.
sudo: command not found dpkg -l sudo su - apt-get install sudo -y sudo apt-get update 공감수 0 댓글수 0 2024. 2. 19.
Deep Learning for CF 딥러닝 장점 1. Nonlinear Transformation : activate function(ReLU, Sigmoid, Tanh) 2. Representation Learning : No feature Engineering and Heterogeneous contents(multi-modality) 3. Sequence Modeling 4. Flexibility 딥러닝 단점 1. Interpretability 2. Data Requirement(need too large data amout) 3. Extensive Hyperparameter Tuning AutoEncoder CF - user-item matrix제작(rating 표시 등, Top-K의 경우 interaction을 발생할 확률을 입력.. 공감수 0 댓글수 0 2024. 1. 31.
Collaborative Filtering CF(Collaborative Filtering) : matrix completion task. - 단, sparse matrix를 다루기 위한 추가적인 방법이 필요하긴 함. Memory-based CF : 사용자 또는 아이템간 유사도를 바탕으로 rating prediction 또는 top-K ranking에 활용. - 유사도 지표로는 Jaccard, Cosine, Pearson 등이 있다. - item to item CF / user to user CF 등 상품끼리 혹은 유저끼리 유사도를 비교. **아마존에서 발표한 Two Decades of Recommender Systems at Amazon.com, Simth and Linden,2017 논문을 살펴보자. 현재까지도 Memory-based CF 모.. 공감수 0 댓글수 0 2024. 1. 31.
추천시스템 SOTA 모델, 주요 학회, 라이브러리 및 데이터셋 Top-K Ranking 평가 지표 - Recall@K - Precision@K - MRR - NDCG@K 주요 AI 학회, Data Mining 학회 및 추천 시스템 관련 주요 컨퍼런스 - AI/ML(ICML, NeurlIPS, ICLR, AAAI, IJCAI) - Data Mining(ICDM, KDD) - CV(CVPR, ICCV, ECCV) - NLP(ACL, EMNLP, NAACL) 공감수 1 댓글수 0 2024. 1. 31.
'개인화'된 추천시스템 추천시스템에서 Deep Learning 발전이 타 분야에 비해 더딘 이유 1. NLP와 CV에 비해 각 회사마다 데이터를 다르게 정의할 수 있다.(스릴 영화에 대한 기준이 모호함) 2. 풀고자 하는 목적에 따라 다른 평가방식을 사용하며 데이터 공개 또한 의무가 아니다. 3. 시간에 따라 user 특성, item 특성이 바뀌기도 한다.(10년전 고양이 사진과 현재 고양이 사진에 비해 시간의 영향을 많이 받음) 공감수 0 댓글수 0 2024. 1. 30.
(GCN) Graph Convolution Network input : edges, labels from torch_geometric.nn.models import LightGCN edges = [ [node_id1, node_id2], [node_id1, node_id3], [node_id2, node_id10], ... ] labels = [1,0,0,1,1,1, ...] # for link prediction model = LightGCN(num_nodes=n_node, **kwargs) pred = model(edges) loss = model.link_pred_loss(pred=pred, edge_label=labels) prob = model.predict_link(edge_index=edges, prob=True) acc = accuracy_sco.. 공감수 0 댓글수 0 2024. 1. 25.
GBM(XGB, LightGBM, Catboost) GBM(Gradient Boosting Model) : Tree 기반의 모델. - Gradient Descent(경사하강법)을 사용한 boosting(앙상블 알고리즘) 기법 - Adaboost는 오 분류에 대해 weight를 조절하여 bootstrap을 생성했다면 GBM은 전체적인 residual(잔차)에 대해 minimize하는 방식으로 진행. Gradient Descent(=negative gradient) - 즉 gradient(기울기)가 감소하는 방향(-)으로 학습을 진행하므로 negative라는 말을 씀. - loss function이 MSE라고 일 때 negative gradient를 구해보자. Gradient Desent가 결국 residual과 식이 똑같다..!(=결국 loss를 표현한 것.. 공감수 0 댓글수 0 2024. 1. 22.
Ensemble(bagging, boosting) Ensemble: 여러 모델을 학습하여 오류의 감소를 추구함. - "No free lunch" : 특정 문제에 최적화된 모델이 다른 문제에서는 그렇지 않음을 수학적으로 정리. - 따라서 어떤 알고리즘도 모든 상황, 모든 데이터에서 절대적으로 우위에 있지 않음. ex) bootstrap을 통해 원본 dataset으로부터 T개의 subset을 만들고, 각 subset별 다른 모델(T개)을 학습하여 predict값 T개 추출 - T개의 predict값을 Voting(voting, weight voting, stacking 등등 기법 여러가지)하여 최종 predict 생성하는 기법. **개별 모델의 평균 오류보다 앙상블의 오류가 같거나 작음. - 즉 가장 최적화 모델보다 뛰어난지는 알 수 없으나 개별 모델들의 .. 공감수 0 댓글수 0 2024. 1. 22.
(tmux) 서버컴과 연결이 끊겨도 코드가 끊기지 않게! (Linux 환경 + Conda 환경) 1. tmux를 설치하고자 하는 가상환경으로 이동 conda activate newenv 2. tmux 설치 conda install tmux 3. tmux 터미널 켜기 # 세션 만들면서 윈도우랑 같이 생성 tmux new -s (session_name) -n (window_name) 4. 해당 터미널에서 실행하고자 하는 파일 실행 후 이제 원격 접속을 꺼도 됩니다! 5. 다시 접속시 tmux 설치했던 가상환경으로 이동 conda activate newenv 6. tmux 터미널 목록 확인 tmux ls 7. tmux 터미널로 이동 tmux attach -t windowname 8. 결과창 확인 # 마우스 휠을 움직이고 싶을 때 (ctrl+d) + [ 공감수 0 댓글수 1 2024. 1. 7.
(vscode) failed to install the vs code server 이전 원격 접속 서버와 충돌이 나서 그런 것 같다. 일단 나의 경우에는 vscode에서 f1키를 누른 후 여기까지 하고 다시 연결을 시도하면 잘 됐다..! 공감수 0 댓글수 0 2024. 1. 6.
Git clone, commit, push 1. Local(내 컴퓨터)에 다운받을 장소로 이동 후 git clone http:github.com/ 2. Local에서 해당 폴더로 이동 cd foldername 3. git 초기화 git init 4. 사용자 등록 git config --global user.email 'email@com' git config --global user.name 'myname' git config --global credential.helper store #commit 마다 비밀번호 입력하지 않게 설정 git commit -m 'message' git remote git push origin main 공감수 0 댓글수 0 2024. 1. 6.
6. Matrix Factorization(SVD) for Recommend System. user-item matrix - train data : 구매한 항목은 1, 구매하지 않은 항목은 0으로 표기 → U, sigma, V를 얻을 수 있음 - test data : 새로운 user(or 새로운 item)에 대하여 궁금한 항목을 0.5로 표기 후 train에서 얻은 sigma, V를 사용하여 U를 구함. why U? 따라서 U(=test data으로부터 유사 역행렬을 도출), sigma(=from train), V(=from train)을 활용하여 test data를 예측. 공감수 0 댓글수 0 2024. 1. 5.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.