27. Activation Functions
2023. 9. 9. 14:27ㆍGoogle ML Bootcamp/1. Neural Networks and Deep Learning
1. sigmoid : Logisitc Regression에서 사용하던 활성화 함수 output (0,1)
2. tan h : output (-1,1)
**중요 더이상 sigmoid는 활성화 함수로 사용하지 않음. tan h가 거의 모든 상황에서 잘 작동함.**
- 예외 : 이진분류시에 output layer.
- 결과가 0 또는 1이므로 sigmoid가 유효함.
3. ReLU : output [0,x]
- 0인 시점에 미분이 안되지만 실제로 input이 완벽히 0일 확률은 극히 드물다. 또한 예외처리로 이때 기울기를 0또는 1로 설정할 수도 있음.
- hidden layer 에 활성화 함수 무엇을 쓸지 모르겠다면 그냥 ReLU쓰면 된다. 요즘은 그게 합리적.
'Google ML Bootcamp > 1. Neural Networks and Deep Learning' 카테고리의 다른 글
| 29. Derivatives of Activation Functions (0) | 2023.09.09 |
|---|---|
| 28. Why do you need Non-Linear Activation Functions? (0) | 2023.09.09 |
| 26. Explanation for Vectorized Implementation (0) | 2023.09.09 |
| 25. Vectorizing Across Multiple Examples (0) | 2023.09.09 |
| 24. Computing a Neural Network's Output (0) | 2023.09.09 |