10-5. Tensorflow로 구현한 NN, ReLu, Xavier, Dropout, Adam

김성훈 교수님의 강의내용을 정리한 내용입니다.

출처 : http://hunkim.github.io/ml/

모두를 위한 머신러닝/딥러닝 강의

---

기존 7장에서 구현하였던 MNIST 예제이다.

 

계층을 늘리게 된다면 정확도가 증가하게 된다.

 

 

Xavier 초기값으로 설정하게 된다면 정확도가 더욱 증가한다.

 

 

계층을 증가시켰음에도 정확도가 더 나아지지 않은 모습이다. (Overfitting)

 

 

Overfitting문제를 해결하기 위해 Dropout기법을 사용하여 정확도가 더욱 증가하였다.

경사하강법 외에 더욱 다양한 최적화 알고리즘이 존재한다.