17. Learning Word Embeddings

next word prediction 예시.

word embedding matrix로 부터 각 단어의 featurized vector(300 features)를 얻고, 이를 Input으로 하는 마지막 layer를 거쳐 마지막 softmax(vocabulary size)를 통해 next word prediction을 수행한다.

- 이때 next word prediction 시 앞의 몇 개의 단어를 참고할 건지는 hyperparameter로 설정 가능.

- 6개의 단어를 참고하여 juice 를 예측하려면 300 feature를 가친 6개의 단어를 참고하기 때문에 마지막 layer input size는 1800.

 

 

문장이 주어졌을 때 이전 단어 뿐만 아니라 이후 단어들로 중심 단어를 예측할 수도 있다. 이를 skip-gram이라고 하는데 다음 강의에서 알아보자.