35. Multi-Head Attention

head 는 결국 query를 의미한다고 볼 수 있다.

 

즉 multi-head = multi-query.

- 즉 여러 질문에 대한 답으로 word를 다양하게 embedding한 matrix라고 이해하면 된다.

- 예를 들어 q1은 what is happening there, q2는 when? q3은 who? 등등. 여러 질문에 대한 답으로 word를 표현하게 된다.