전체 글(327)
-
15. Properties of Word Embeddings
이때 featureized vector representation에서는 벡터끼리의 빼기를 통해 구분짓는 요소를 알 수 있고, 그렇게 만들어진 벡터끼리의 유사도를 통해 king과 queen 또한 gender가 구분짓는 요소이며 man과 woman을 구분짓는 요소와 같음을 알 수 있다. 물론 cosine, distance 모두 작을수록 유사성이 높은거다.
2023.09.27 -
14. Using Word Embeddings
두리안과 경작자라는 표현은 오렌지, 농부에 비해 쓰이는 빈도수가 적은 단어이다. - 우리는 인터넷에서 많은 텍스트 문장을 word embedding 학습데이터로 얻을 수 있는데, 그렇다면 두리안이 오렌지와 비슷하다는 사실을 알 수 있고 두번째 문장에서 두리안은 과일이라고 알아낼 수 있게 transfer learning을 고려해볼 수 있다.
2023.09.27 -
13. Word Representation
두 단어의 연관성을 따질 수 없다. - 두 vector의 연관성을 따지기 위해 내적을 해보면 0이기 때문에. vector의 각 차원은 하나의 feature와 얼마나 연관성이 있는지를 나타내는 것. - 이를 시각화해서 확인하기 위해 2D 로 나타낼 때 사용하는 알고리즘 : t-SNE - 어떤 vector를 다른 차원 상에 위치시키는 것을 embedding 이라고 부른다. - 따라서 이건 word embedding.
2023.09.27 -
12. Deep RNNs
각 layer에서 output을 얻는 과정은 보라색 수식과 같다.
2023.09.26 -
11. Bidirectional RNN(BRNN)
단점 : - 학습 하기 전에 전체 sequence 데이터가 필요하다 - 예를 들어 음성 인식 시스템을 빌드할 때 전체 문장이 필요하므로 사람이 말을 마칠 때 까지 기다려야한다.
2023.09.26 -
10. Long Short Term Memory
GRU. 비교적 최근에 나옴. LSTM에 비해 간단한게 특징(=더 큰 네트워크를 구축할 수 있다) 하지만 역사적으로 LSTM이 조금 더 일반적인 선택임은 여전함.
2023.09.26