Google ML Bootcamp(181)
-
6. Language Model and Sequence Generation
문장이 주어졌을 때 해당 문장의 등장 확률을 이야기해주는 것. - 이는 곧 각 단어의 확률을 multiply 한 것과 같다. 1. 토큰화(Tokenization) - 단어 하나하나를 토큰으로 mapping.(=단어를 벡터화) - 이때 EOS 토큰은 문장의 끝을 의미한다 (해당 강의에서는 사용하지 않을 예정) - if vocabulary에 없는 단어라면 어떻게 토큰화하나? -> unkown 토큰으로 토큰화 진행. 각 단어가 등장할 확률을 알려주는것이 언어모델. RNN의 경우 이전 단어들이 주어졌을 때, 다음 단어가 등장할 확률을 전체 vocabulary에 대해 알려준다. 가장 큰 값을 가지는 것으로 예측을 시도.
2023.09.25 -
5. Different Types of RNNs 2023.09.25
-
4. Backpropagation Through 2023.09.25
-
3. Recurrent Neural Network
1. 번역기를 생각한다면 각 데이터마다 input, output의 길이가 다른 작업도 필요하다. 2. feature간 독립성 때문에 지역적인 연관성을 고려하지 못한다. RNN 특징 및 단점 1. X, A, Y에 대한 매개변수 W 공유 2. Y 예측 시 X, X 정보만 사용. = 이전의 정보만 참조 가능
2023.09.25 -
2. Notation 2023.09.25
-
1. Why Sequence Models? 2023.09.25