23. Basci Models

기계번역을 예시로 basci 모델은 sequence to sequence model을 생각해볼 수 있다.

input 길이와 output 길이가 다른 기계번역을 예시로 들어보자.

충분한 양의 영어와 프랑스어를 학습시킨 모델에서는 input 단어 1개당 output 단어 1개 구조가 아니라, many-to-many 구조로 문장 자체를 vector로 encoding하고 생성된 문장에 대한 vector에 대해 decoding을 수행함으로써 번역을 수행한다.

- 이때 decode시 생성된 y1이 다시 y2를 생성하기 위한 input으로 제공되는게 포인트.

- 기본적으로 RNN은 forget gate를 가지고 있으므로 여기에 전체 input 문장(vector)가 전달된다.

- 실제로도 이게 꽤나 효과가 있다는 것이 포인트.

 

 

이미지 캡션에도 사용될 수 있는데 마지막 layer(softmax)를 제외한 featured vector를 시퀀스 모델의 Input으로 제공하면 된다.