35. Multi-Head Attention
2023. 10. 24. 14:52ㆍGoogle ML Bootcamp/5. Sequence Models
즉 multi-head = multi-query.
- 즉 여러 질문에 대한 답으로 word를 다양하게 embedding한 matrix라고 이해하면 된다.
- 예를 들어 q1은 what is happening there, q2는 when? q3은 who? 등등. 여러 질문에 대한 답으로 word를 표현하게 된다.
'Google ML Bootcamp > 5. Sequence Models' 카테고리의 다른 글
| 36. Transformer Network (0) | 2023.10.24 |
|---|---|
| 34. Self-Attention (0) | 2023.10.24 |
| 33. Transformer Network Intuition (0) | 2023.10.24 |
| 32. Trigger Word Detection (0) | 2023.10.22 |
| 31. Speech Recognition (1) | 2023.10.22 |