Multi-Armed Bandit k개의 슬롯머신을 N번 플레이한다고 가정했을 때, 각 슬롯머신에서 얻을 수 있는 reward 확률이 모두 다름 - 이때 수익을 최대화하기 위해서는 arm을 어떤 순서대로 혹은 어떤 정책(policy)를 수립하여 당겨야 하는가? Exploration(탐색) : 더 많은 정보를 얻기 위하여 새로운 arm을 선택하는 행위 Exploitation(활용) : 기존 경험 혹은 관측 값을 토대로 가장 좋은 arm을 선택하는 행위 - Exploration & Exploitation trade-off 이때 모든 action에 대한 reward의 분포도를 알 수 없으므로 추정을 통해 진행. 1. Greedy Algorithm(=simple average method) - timestep별..

CTR 예측에 딥러닝을 사용하는 이유 - high sparse and super high-dimensional features. - highly non-linear association between the feature **Wide&Deep Learning for Recommender Systems : Wide(선형 모델)과 Deep(비선형 모델)을 결합한 논문. 1. Meorization : 함께 빈번히 등장하는 아이템 또는 특성 관계를 과거 데이터로부터 학습(암기). - 주로 Logisitc Regression과 같은 선형 모델을 사용 2. Generalization : 드물게 발생하거나 전혀 발생한 적 없는 아이템 또는 특성 조합을 기존 관계로부터 발견(일반화) - FM, DNN과 같은 임베딩 기..

행렬 분해(Matrix Factorization)를 사용하여 협업 필터링(Collaborative Filtering)을 구축할 경우 - 유저-아이템 간 상호작용을 2차원 행렬로 표현. - 이때 유저의 데모그래픽이나 아이템의 카테고리와 같은 feature는 사용하지 못했음. Context : 맥락정보란 유저의 데모그래픽, 아이템의 카테고리와 같은 feature를 의미함. 추천 시스템의 목적 CTR(Click-Through Rate) prediction : 유저가 주어진 아이템을 클릭할 확률을 예측하는 문제. - y값은 클릭여부. 즉 이진 분류에 해당 - 주로 광고 추천에서 사용됨. 추천 시스템 사용 데이터 - Dense Feature : 유저의 데모그래픽, 아이템의 카테고리와 같은 비교적 작은 공간에 밀접..

Session-Based Recommendation with Recurrent Neural Networks : '지금' 고객이 원하는 상품을 추천 - Session : 유저가 서비스를 이용하는 동안의 행동을 기록한 데이터. - Session based : '지금' 고객이 좋아하는 것은 무엇인가? GRU4Rec 아이디어 사용 - one-hot encoding된 session사용. (참고로 임베딩 레이어를 사용하지 않은 채 one-hot encoding을 그냥 사용하였을 때 성능이 더 좋았다고 함) - Session의 길이는 매번 다르기 때문에 parallel Mini batches 사용 - 모든 후보군에 대해 조사하기에는 아이템수가 너무 많기 때문에 Negative Sampling 사용 - 이때 상호작용 ..

Graph : Node(Vertices)와 Edge로 이루어진 자료 구조. - G = (V,E)로 표현함. - 관계, 상호작용과 같은 추상적인 개념을 다루기에 적합함. 특히 유저-아이템 소비 관계 모델링이 가능. - Non-Euclidean space 표현 및 학습 가능. (2차원 거리 개념이 아님) Graph 표현방식 - 인접행렬 or 인접리스트 : 노드의 수가 많아지면 인접행렬은 n**2이므로 기하급수적으로 많아지고 sparse 또한 커진다. - 따라서 Convolution 연산을 graph에도 적용하곤 함. Neighbor nodes를 인접 pixel이라고 생각하면 local connectivity, shared weights를 이용할 수 있고, multi-layer 또한 구현할 수 있다. Coll..

Autoencoder : 입력 데이터를 출력으로 복원(reconstruct)하는 비지도 학습 모델. - 주로 이상치 탐지, 표현 학습, 이미지 노이즈 제거 등 task에 활용됨. Denoising Autoencoder(DAE) - 입력 데이터에 일부러 random noise를 추가했더니 성능 향상되었다. - 이는 robust한 모델이 생성됨을 의미. AutoRec : AE를 CF에 적용하여 성능 향상을 이끌어낸 논문 - Rating vector를 입력과 출력으로 하여 encoder and decoder reconstruction을 수행. - MF와 비교하였을 때 autoencoder는 non-linear layer로 구성되어 더 복잡한 interaction 표현 가능. Collaborative Denoi..