분류 전체보기(327)
-
28. Why do you need Non-Linear Activation Functions?
Linear Activation Function을 사용할 수 있는 곳은 output layer. - 단, 선형회귀 문제의 경우에만 가능. - 주택 값을 예측하는 등 output의 범위가 (-무한대, 무한대)일 경우에만 사용. - 비선형 함수의 경우 최대,최소값의 범위가 있으므로 부적절함. hidden layer에서 활성화함수를 사용하지 않는 이유? 깊은 레이어를 통과해봤자 결국 나오는건 직선이므로 아무리 깊게 쌓아도 의미가 없다. x앞에 존재하는 w1,w2의 상수 값이 미세하게 바뀔뿐 증명은 여기서 진행하지 않지만 선형 활성화 함수의 경우 layer 자체가 필요없이 머신러닝 분야에서만 사용하도록 한다.
2023.09.09 -
27. Activation Functions
1. sigmoid : Logisitc Regression에서 사용하던 활성화 함수 output (0,1) 2. tan h : output (-1,1) **중요 더이상 sigmoid는 활성화 함수로 사용하지 않음. tan h가 거의 모든 상황에서 잘 작동함.** - 예외 : 이진분류시에 output layer. - 결과가 0 또는 1이므로 sigmoid가 유효함. 3. ReLU : output [0,x] - 0인 시점에 미분이 안되지만 실제로 input이 완벽히 0일 확률은 극히 드물다. 또한 예외처리로 이때 기울기를 0또는 1로 설정할 수도 있음. - hidden layer 에 활성화 함수 무엇을 쓸지 모르겠다면 그냥 ReLU쓰면 된다. 요즘은 그게 합리적.
2023.09.09 -
26. Explanation for Vectorized Implementation
W의 row는 input(x)의 feature dim. column은 훈련 예제의 개수를 의미하므로 여러 훈련 세트에 대해 X를 벡터화 함으로써 Z[i]를 for문 없이 한번에 구할 수 있음을 증명할 수 있다.
2023.09.09 -
25. Vectorizing Across Multiple Examples
a[2][i] : i번째 훈련 예제에 대한 2번째 layer output.a how to vectorizing across multiple examples? start: 이전 단일 훈련 예제에서 X, W를 stacking을 통해 벡터화했던 것과 같이, Z, A에 대해서도 벡터화를 진행. column : training examples, row : hidden units(input x features)를 의미.
2023.09.09 -
24. Computing a Neural Network's Output 2023.09.09
-
23. Neural Network Representation
a는 해당 layer의 output을 의미. a[1]와 같이 대괄호 첨자를 사용하여 layer의 번호를 나타냄 x(i)와 같은 소괄호 첨자는 i번째 훈련 세트를 의미하므로 혼동하지 말 것.
2023.09.09