18. Word2Vec

skip-gram 예시. input context(one or more than one word)가 주어졌을 떄 target word를 맞추는 언어 모델.

skip gram 문제점 : 계산 속도

- 매번 softmax 시 vocabulary size 만큼 계산을 수행하여 각각 word가 등장할 확률을 계산해야하기 때문.

- hierarchical softmax를 사용하면 되는데..... 다음 강의에서 더 좋은걸 설명해주겠다.

 

how to sample the context C?