Gradient Descent에 대해서 쉽게 설명한다면? 기울기. 즉 loss function에서 cost를 최소로 하는 모수(파라미터)를 찾기 위한 과정이다. Gradient Descent에서 가로축과 세로축은 무엇인가? 가로축은 찾고자 하는 모수(=파라미터)이며 세로축은 cost. 즉 loss입니다. 실제 상황에서는 gradient가 0인 지점을 찾기위해 반복되며 양수일 때는 모수 값을 감소시키고, 음수일 때는 모수를 증가시키기 때문에 0을 기준으로 진동하는 그래프가 형성됩니다.(x축은 파라미터, y축은 gradient) Gradient Descent에서 Loss가 증가하는 이유는? 극솟값 주변에서 learning rate가 너무 커서 진행을 너무 많이 했을 때 입니다. 한편으로는 local mini..

볼츠만 머신은 무엇인가요? 가시층과 은닉층, 총 두 개의 층으로 구성된 신경망입니다. Full-connected 형태이며 확률모델로 분류나 선형 회귀 분석등에 사용될 수 있습니다. 딥러닝은 무엇인가요? 딥러닝과 머신러닝의 차이는? 딥러닝은 머신러닝이 고도화로 발전된 것으로 사람의 도움 없이 정확한 결정을 내릴 수 있도록 프로그래밍한 신경망을 의미합니다. 머신러닝과 차이점이라고 한다면 인간의 도움여부라고 이해하고 있습니다. 머신러닝은 여러 feature 중 어떤 feature를 추출할지 사람이 직접 분석하고 판단하는 반면 딥러닝은 모델이 스스로 데이터로부터 특징을 추출하여 학습합니다. 하이퍼 파라미터란? 파라미터와 차이점 일단 파라미터란 매개변수로 weight라고도 표현합니다. 데이터를 통해 결정되는 모델..

LSA, LDA, SVD 란? - LSA (Latent Semantic Analysis) : SVD를 단어-문서 행렬에 사용하여 LSA(잠재 의미 분석)을 수행. - LDA(Latent Dirichlet Allocation) : 문서에 어떤 주제들이 존재하는지에 대한 확률 모형 **정리 : LSA,LDA 모두 토픽 모델링에 활용되는 기법이다. - LSA : DTM을 truncated SVD를 통해 축소하여 축소 차원에서 근접 단어들을 토픽으로 묶는다. - LDA : 단어가 특정 토픽에 존재할 확률과 문서에 특정 토픽이 존재할 확률을 결합확률로 추정하여 토픽을 추출한다 SVM(Support Vector Machine)이란? - 마진 최대화. 즉 support vector를 통해 margin이 최대가 되는 ..

Feature Vector란? - 정형 데이터에서 row. 즉 데이터가 가지는 feature를 vector형태로 담은 것. 좋은 모델이란? - 데이터에 알맞는 모델 크기로 추론시간이 빠르면서 정확도가 높은 모델이 좋은 모델입니다. 같은 성능이라면 모델의 크기가 작은 단순한 모델이 더 좋은 모델이라고 볼수도 있습니다. Metric의 종류와 설명 - Regression 문제 : MSE, MAE가 대표적 - Classification 문제 : Accuracy, Recall, Precision, F1 score가 대표적 Accuracy, Recall, Precision, F1 score - Accuracy(정확도) : 전체 정답 중 모델이 맞춘 비율 - Recall(재현율) : 실제 True인 것 중에서 모델이..

Training 세트와 Test 세트를 분리하는 이유는? 모델의 일반화 성능을 측정하기 위해. 즉 unseen data에 대해 모델의 성능을 평가하고자 test set을 만들게 됩니다. 이를 하지 않았을 때는 주어진 데이터에 대해 과도하게 학습하여 새로 주어진 데이터에 대해 잘 예측하지 못하는 overfitting 문제가 발생할 수 있습니다. 그렇다면 Validation 세트가 따로 있는 이유는? 학습시 모델의 성능을 평가하고 하이퍼파라미터를 수정할 수 있도록 일종의 학습시 참고하는 test set입니다. 고정된 test set만 활용할 경우 이는 또다시 test set에 overfitting이 발생하는 문제를 야기할 수 있기 때문에 보통 train/valid/test 데이터셋을 활용합니다. Test s..