13. Word Representation

2023. 9. 27. 13:11Google ML Bootcamp/5. Sequence Models

word representation으로 one-hot vector를 사용할 경우 발생하는 문제점

 

두 단어의 연관성을 따질 수 없다.

- 두 vector의 연관성을 따지기 위해 내적을 해보면 0이기 때문에.

 

 

one-hot representation 문제를 해결하기 위한 방법 : featureized representation

vector의 각 차원은 하나의 feature와 얼마나 연관성이 있는지를 나타내는 것.

- 이를 시각화해서 확인하기 위해 2D 로 나타낼 때 사용하는 알고리즘 : t-SNE

- 어떤 vector를 다른 차원 상에 위치시키는 것을 embedding 이라고 부른다.

- 따라서 이건 word embedding.

'Google ML Bootcamp > 5. Sequence Models' 카테고리의 다른 글

15. Properties of Word Embeddings  (0) 2023.09.27
14. Using Word Embeddings  (0) 2023.09.27
12. Deep RNNs  (0) 2023.09.26
11. Bidirectional RNN(BRNN)  (0) 2023.09.26
10. Long Short Term Memory  (0) 2023.09.26