건조젤리의 저장소

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io XOR의 진리표와 Tensorflow데이터는 위와 같다. 앞에서 본 대로 하나의 계층만 이용한다면 XOR 문제는 풀수 없다. 두개의 계층을 이용하여 XOR문제를 해결할 수 있다. 계층을 더 넓게 설정하면 결과가 더 정확하게 나오는 것을 볼 수 있다. 계층을 더 깊게 설정하면 더욱 정확해 진다!

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 경사 하강법을 이용해 모델을 학습하기 위해서는 각 가중치의 미분값이 필요하다. XOR을 구현한 모델은 2개의 레이어로 구성되어있다. 어떻게 해야할까? 먼저 편미분에 대한 기본 지식이 있어야 한다. 교수님의 설명 동영상 링크를 참고하자. 동영상: https://www.youtube.com/watch?v=oZyvmtqLmLo&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=26 Chain rule를 이용해 각 노드의 미분값을 구할 수 있다. 레이어가 깊어도 계산은 간단하다. 결국 앞에서 전달받은 미분값에 로..

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 단일 로지스틱 회귀 유닛은 XOR문제를 해결하지 못한다. 하지만 다중 로지스틱 회귀 유닛은 가능하다. 위의 그림을 한번에 나타내면 아래의 구조가 된다. * 이때 W의 조합은 다양하게 설정할 수 있다. 행렬구조를 사용하면 더 간단히 나타낼 수 있다.

Youtube 링크로 대신합니다. 딥러닝의 역사와 텐서플로에서 텐서를 다루는 방법을 설명해주십니다. 링크: https://www.youtube.com/watch?v=n7DNueHGkqE&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=22

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io MNIST데이터는 손글씨 숫자 데이터로 위와 같은 학습/테스트 세트로 구성되어있다. 하나의 손글씨는 784개의 픽셀로 이루어져있다. 이 데이터를 받을 수 있는 placeholder를 선언하자. MNIST 데이터 세트는 텐서플로에서 제공된다. 텐서플로를 이용해 계산할때 Session.run을 이용하는 대신 eval을 사용할 수 있다. epoch: 데이터 세트를 몇번 학습할지 batch size: 한번에 학습시키는 데이터의 양 랜덤한 데이터로 테스트 및 확인 텐서플로우 상위버전에서는 위의 코드를 실행시키는데 어려움이 있다. (Mnist da..

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io Learning rate를 적절하게 설정하지 못할경우 어떻게 되는지 확인해보자. nan이 나타난다! Cost의 변동이 없다. 데이터가 정규화 되지 않았다면 어떻게 될까? 정규화 과정을 거친다면?!

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 학습 데이터와 검증 데이터를 나누어 놓는 것이 일반적이지만 Learning rate와 Regularigation strength등의 부가적인 파라미터를 조절하기 위해 Validation data를 추가로 설정하기도 한다. (모의고사 느낌) Online learning이란 추가적으로 데이터가 들어올 경우 모델을 처음부터 학습하는게 아닌 학습된 모델에 추가적으로 학습을 수행하는 것을 말한다. 실시간으로 데이터를 받아 학습!

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 지난 실습 시간에는 0.001 이라는 학습률을 적용해 경사 하강법을 이용하였다. 이 학습률은 어떻게 설정해야 할까? 학습률을 크게 설정하면 overshooting이 될 가능성이 있다. 학습률을 매우 작게 설정한다면 최저점까지 도달하는 시간이 커지고 지역 최저점에 같혀버릴 수 있다. 결론 cost function을 잘 관찰하자. 발산이 되면 작게, 너무 오래 걸리면 크게 설정해보자. 경사 하강법은 최저점을 찾아가는 방법이다. 만약 데이터가 극단적인 값을 가진경우 cost function이 왜곡된 모습을 보인다. 이런 경우는 경사하강법을 사..