9-2. Backpropagation

김성훈 교수님의 강의내용을 정리한 내용입니다.

출처 : http://hunkim.github.io/ml/

모두를 위한 머신러닝/딥러닝 강의

 

---

경사 하강법을 이용해 모델을 학습하기 위해서는 각 가중치의 미분값이 필요하다.

XOR을 구현한 모델은 2개의 레이어로 구성되어있다.

어떻게 해야할까?

 

먼저 편미분에 대한 기본 지식이 있어야 한다.

교수님의 설명 동영상 링크를 참고하자.

---

동영상: https://www.youtube.com/watch?v=oZyvmtqLmLo&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=26

---

 

Chain rule를 이용해 각 노드의 미분값을 구할 수 있다.

 

레이어가 깊어도 계산은 간단하다.

결국 앞에서 전달받은 미분값에 로컬 미분값을 곱하면 되는 것이다.

Chain rule을 이용한 Sigmoid노드의 미분

이를 이용하면 Sigmoid의 미분도 간단하다.

각 계산별로 노드를 나눈 뒤 미분을 수행하면 된다.

---

텐서플로우에서는 이러한 방식을 사용해 미분을 하는데,

각 노드가 서로 연결되어 있는 모습을 TensorBoard에서 확인할 수 있다.