34. Self-Attention

query, key, value에 대한 이해 - 데이터베이스에서 나오던 개념

 

query(질문)의 의미 : what is happening there?

- A<3> 을 생성하는데 각 word에 query를 날리는 것.

- 즉 k<1>은 person, k<2>는 action 등등 A<3>을 설명하기 위한 정보들이 나열된다.

- 이때 목적지인 I'Afrique에 대해 visite이 가지는 중요성이 매우 커지고, 따라서 오른쪽 위 수식에 따라 softmax값은 파란색 부분이 가장 클 것으로 예상할 수 있다.

 

**이 모든 정보들이 다시 각각 value와 곱해져서 sum되면 A<3>가 만들어지는데 이로써 얻는점

- I'Afrique라는 단어가 단순히 고정된 word embedding vector가 아니라 다양한 정보를 포함한 embedding vector가 된다는 점.

- 주변 query * key 값을 통해 I'Afrique가 목적지라는 정보를 포함하고 있다.

- 이런 연산을 통해 A를 생성하는 행위를 모든 word에 대해서 반복적으로 실행.

 

***결국 self-attention이라는 것은 word를 vector로 표현하기 위해 embedding하는 방식을 의미.

- 이때 기존의 word embedding 방식과는 다르게 query, key, value라는 3가지 input을 통해서 word embedding을 생성함.

- 기존의 고정된 word embedding보다는 풍부한 정보를 내재한 word embedding(=self attention) 생성.