27. Error Analysis in Beam Search

기계번역이 올바르게 되지 않았을 때, 시퀀스 모델(RNN)이 문제일지 Beam search의 B가 작았던 탓일지 어떻게 해석할 수 있을까?

 

 

시퀀스 모델에 Y와 Y hat이 나올 확률을 구해보자.

case 1 : Y의 확률이 높다면? 시퀀스 모델은 정상이다. 

- 따라서 bean search 과정에서 Y에 해당하는 경우를 고려하지 못한 것 이므로 B를 키우는 방식으로 접근해볼 수 있다.

 

case 2 : Y의 확률이 낮다면? 시퀀스 모델이 잘못되었다.

- 따라서 normalize 방식이라던가, 혹은 RNN 구조 자체를 수정해보는 방식으로 진행해볼 수 있다.

 

단, 하나의 input 문장이 아닌 여러 문장을 통해 시퀀스 모델, 검색 알고리즘 중 어떤 부분에서 오류가 있었는지 분석하고 이후에 시퀀스 모델 혹은 검색 알고리즘을 수행하는 것이 올바른 수행과정이다.