전체 글(327)
-
24. Picking the Most Likely Sentence
기존 언어 모델에서는 a0(영벡터)가 초기 Input으로 주어진 반면, 기계 번역에서는 입력 문장이 encoding된 vector가 주어진다. - 즉 수식으로 표현해보자면 x1 ~ xT (x는 영어단어)가 주어졌을 때, y1 ~ yT(y는 프랑스 단어)가 주어질 확률을 구하는 것이 된다. - 따라서 조건부 언어 모델(=기계 번역)이라고 부른다. 당연히도 P(y1 ~ yT | x1 ~ xT)의 확률을 최대로 하는 문장(y1 ~ yT)를 구하려고 할 것이며, 이를 탐색하느 알고리즘을 빔 탐색(Beam Search) 알고리즘이라고 한다. 우리가 원하는 것 : 각 단어별 확률의 최대가 아니라, 전체 시퀀스에 대하여 "동시 확률"을 극대화시키길 원한다. - 즉 greedy search에는 동시확률의 개념이 들어가..
2023.10.22 -
23. Basci Models
기계번역을 예시로 basci 모델은 sequence to sequence model을 생각해볼 수 있다. 충분한 양의 영어와 프랑스어를 학습시킨 모델에서는 input 단어 1개당 output 단어 1개 구조가 아니라, many-to-many 구조로 문장 자체를 vector로 encoding하고 생성된 문장에 대한 vector에 대해 decoding을 수행함으로써 번역을 수행한다. - 이때 decode시 생성된 y1이 다시 y2를 생성하기 위한 input으로 제공되는게 포인트. - 기본적으로 RNN은 forget gate를 가지고 있으므로 여기에 전체 input 문장(vector)가 전달된다. - 실제로도 이게 꽤나 효과가 있다는 것이 포인트.
2023.10.22 -
영상면접 실전응시 질문 (질문 1개 or 꼬리형 질문)
1. 자기소개 - 30초 준비, 1분~1분30초 소개 2. 질문 선택 면접 (택1) 3. 경험 기반 면접 3-1. a. 목표를 이루었던 가장 성공적인 경험에 대해서 말씀해 주세요 b. 나의 어떤 점이 목표를 달성할 수 있도록 했나요? c. 말씀하신 강점이 앞으로 일을 하는데 어떤 도움이 될까요? 3-2. a. 목표를 달성하지 못한 경험에 대해 말씀해 주세요. b. 경험을 통해서 무엇을 배웠나요? c. 그것을 자신의 삶에 어떻게 반영하였나요? 4. 상황 면접(랜덤) ex1) 기존의 기록과 업무 방식을 습득하여 적용하는 것과 새로운 업무 방식을 찾고 만들어야 하는 것 중에서 더 선호하는 것과 이유를 말씀해주세요. ex2) 다른 사람을 설득하는 능력이 뛰어나지만 상처를 주는 사람과 다른 사람에게 잘 공감해 주..
2023.10.14 -
게임 9가지 및 난이도
1. 가위바위보 2. 도형 회전하기 **(2개) - 2-1. 알파벳 45도로 네번 회전시키는 경우 -> 상하반전 + 좌우반전. 2번만에 해결할 수 있음. - 2-2. 도형: 외딴섬 찾기. 틀릴 가능성이 존재하긴 해도 80프로 확률로 맞으니까 균일한 규칙으로 푸는게 멘탈적으로 좋다. - if, 전 후 그림이 서로 대각선 대칭이라면 90도 회전 + 반전 중 하나 외우기. 3. 약속 정하기 *****(5개) - 3-1. 월화수목금토일 약속정하기 - 겹치는것만 기억하면서 줄여나가기 - 3-2. 약속장소 정하기 - 최대 4개이므로 양손으로 모니터에 집어놓고 겹치는곳만 남겨서 정하기 - 3-3. 음식 정하기 - 이게 진짜 어렵다. 앞에서 2개만 공략해서 보고 나머진 찍기가 나을수도. 4. 길 만들기 **(2개) -..
2023.10.14 -
AI 역량검사 - 성향파악
1. 나 알아보기 2. 타인관점에서 나 알아보기 3. 하나만 선택하기 4. 여러 개 선택하기 솔직하고 일관되게 대답하기. Tip: 집중력을 요구하는 게임부터 진행하고 쉬는시간 용도로 진행.
2023.10.14 -
22. Debiasing Word Embeddings
어떻게 해결할까? 1. 찾고자 하는 bias에 대해 방향성을 파악한다. 2. 모든 word에 대해서 정의를 살펴보고, bias를 제거한다 - 예를 들면 할머니, 할아버지에는 gender feature로 정의될 수 있지만 doctor의 경우 gender feature의 영향은 제거되길 원한다. 3. 평준화 진행. - doctor와 man, doctor와 woman의 거리는 같아야한다. 그래야 gender feature에 대해 영향을 같은 수준으로 받기 때문. - 거리가 같아야한다는거지 같은 위치에 자리해야한다는건 아님.
2023.09.27