30. Attention Model

2023. 10. 22. 16:11Google ML Bootcamp/5. Sequence Models

attention weight : yt 생성시 전체 문장에 대한 각각 word의 가중치를 고려하는 것.

이때 매 순간 계산비용이 반복적으로 수행되는데, 총 파라미터는 Tx * Ty개 이므로 꽤나 비용이 복잡하다..

 

연습문제에서 구현을 연습해보도록 하자.

'Google ML Bootcamp > 5. Sequence Models' 카테고리의 다른 글

32. Trigger Word Detection  (0) 2023.10.22
31. Speech Recognition  (1) 2023.10.22
29. Attention Model Intuition  (0) 2023.10.22
28. Blue Score  (0) 2023.10.22
27. Error Analysis in Beam Search  (0) 2023.10.22