6. Language Model and Sequence Generation

언어모델이란?

문장이 주어졌을 때 해당 문장의 등장 확률을 이야기해주는 것.

- 이는 곧 각 단어의 확률을 multiply 한 것과 같다.

 

 

언어 모델은 어떻게 만드나?

1. 토큰화(Tokenization)

- 단어 하나하나를 토큰으로 mapping.(=단어를 벡터화)

- 이때 EOS 토큰은 문장의 끝을 의미한다 (해당 강의에서는 사용하지 않을 예정)

- if vocabulary에 없는 단어라면 어떻게 토큰화하나? -> <UNK> unkown 토큰으로 토큰화 진행.

 

 

predict y는 전체 vocabulary 의 softmax 값.

각 단어가 등장할 확률을 알려주는것이 언어모델.

RNN의 경우 이전 단어들이 주어졌을 때, 다음 단어가 등장할 확률을 전체 vocabulary에 대해 알려준다. 가장 큰 값을 가지는 것으로 예측을 시도.