20. GloVe Word Vectors

Notation

- X(i,j) : i(target)가 j(context)와 함께 등장한 횟수.

 

기존 skip-gram 모델을 단순화했다고 생각하면 된다.

GloVe : np.dot( theta(T), e(j) ) 

- 우리가 설정한 feature가 행렬곱으로 생성된 matrix에서 무엇을 설명하는지 해석하기가 어렵다.

- 하지만 이전에 vector끼리의 유사도를 계산하거나, loss를 계산하는 등 학습은 잘 이루어짐이 관찰됐다....