뇌에 비유하는것은 조금 위험한 생각이다. 영감을 얻을 순 있지만 거기까지이다. 인간의 뇌에서 단일 뉴런이 어떤 역할을 수행하는지 아직 미스테리이며, 이런 경사 하강법과 같은 절차를 통해 학습되는지도 의문이다.

parameters : 학습이 되는 W Hypterparameters : learning rate, iteration, number of hidden layers 등등 사용자가 직접 설정하고 바뀌지 않는 것.\ Hyperparameter. 어떤게 가장 좋은지는 시점에 따라, 작업 종류에 따라 달라질 수 있고 현재의 최선이 이후의 최선이 아닐 수 있음을 기억.

backward propagation을 위해 필요한 도함수들과 수식.(증명은 생략) - 도함수가 제대로 파악되지 않는다면 프로그래밍 구현에서 직접 느껴볼 수 있다.

forward_propagtion 시에 Z,W,b 값을 cache backward_propagation 시에 cache된 값을 활용하여 쉽게 계산 중요한 것은 forward_propagation 과정과 backward_propagation 과정이 어떻게 진행되는지 관찰. 도식화.

딥러닝. 왜 잘될까? 가장 lower level부터 신경망(layer)를 거치면서 high level 특징까지 보면서 결과 도출하기 때문. ex) audio 1. 백색소음 or not 수준의 간단한 기능을 학습 2. 감지된 간단한 것을 결합하여 음소, 음운 등을 학습 3. 음소 음운 등을 결합하여 단어를 학습. 4. 단어를 결합하여 문장을 학습 5. 음성인식 수행. layer가 깊어질 수록 복잡한 것들을 학습할 수 있게되는 원리.

np.dot(W,x)가 진행되므로 해당 layer의 (output dim, input dim)으로 설정된다. W[l].shape : (n[l], n[l-1]) b[l].shape : (n[l],1) - element-wise 더하기를 진행해야하므로 W[l]와 b[l]은 차원이 같아야한다. 이때 np.dot(W,x)가 아니라 np.dot(W,X) 모든 훈련 예제에 대해 진행된다면 X.shape : (n[0],m) - Z[l].shape : (n[l], m) - z[l].shape : (n[l],1) - b[l].shape : (n[l],1) but python boradcasting -> (n[l],m)으로 열 복사가 진행되므로 element-wise 연산 가능. 역전파 진행 시 dimension 계산할때..