1. check high bias ? - training data performance - and then, more iteration or change to bigger network 2. check high variance ? - dev set performance - more data always work - Regularization or chage to bigger network 1-2를 반복. 딥러닝 시대 이전. "bias vs variance trade off" - 빅데이터 + 딥러닝모델 시대에서는 bias를 크게 해치지 않으면서 variance를 줄일 수 있다!

underfitting : case 2,3 - high bias overfitting : case 1 - high variance just right : case 4 - low bias, low variance

Train / Valid / Test sets. dev : cross-validation set how about ratio? - train / test = 7:3 or train / valid / test = 6:2:2 - but 빅데이터 시대에서는 총 데이터가 1,000,000개 이상일 때 Valid , Test set은 10,000개만 있어도 충분하다. - 거의 98:1:1 **중요 : Mistmatched train/test distribution** - train과 test set의 분포 양상이 다르다면, 학습한게 의미가 없는 결과를 나을 수도 있다. Not having a test set might be okay. (Only dev set)

뇌에 비유하는것은 조금 위험한 생각이다. 영감을 얻을 순 있지만 거기까지이다. 인간의 뇌에서 단일 뉴런이 어떤 역할을 수행하는지 아직 미스테리이며, 이런 경사 하강법과 같은 절차를 통해 학습되는지도 의문이다.

parameters : 학습이 되는 W Hypterparameters : learning rate, iteration, number of hidden layers 등등 사용자가 직접 설정하고 바뀌지 않는 것.\ Hyperparameter. 어떤게 가장 좋은지는 시점에 따라, 작업 종류에 따라 달라질 수 있고 현재의 최선이 이후의 최선이 아닐 수 있음을 기억.

backward propagation을 위해 필요한 도함수들과 수식.(증명은 생략) - 도함수가 제대로 파악되지 않는다면 프로그래밍 구현에서 직접 느껴볼 수 있다.