건조젤리의 저장소

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 단일 로지스틱 회귀 유닛은 XOR문제를 해결하지 못한다. 하지만 다중 로지스틱 회귀 유닛은 가능하다. 위의 그림을 한번에 나타내면 아래의 구조가 된다. * 이때 W의 조합은 다양하게 설정할 수 있다. 행렬구조를 사용하면 더 간단히 나타낼 수 있다.

Youtube 링크로 대신합니다. 딥러닝의 역사와 텐서플로에서 텐서를 다루는 방법을 설명해주십니다. 링크: https://www.youtube.com/watch?v=n7DNueHGkqE&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=22

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io MNIST데이터는 손글씨 숫자 데이터로 위와 같은 학습/테스트 세트로 구성되어있다. 하나의 손글씨는 784개의 픽셀로 이루어져있다. 이 데이터를 받을 수 있는 placeholder를 선언하자. MNIST 데이터 세트는 텐서플로에서 제공된다. 텐서플로를 이용해 계산할때 Session.run을 이용하는 대신 eval을 사용할 수 있다. epoch: 데이터 세트를 몇번 학습할지 batch size: 한번에 학습시키는 데이터의 양 랜덤한 데이터로 테스트 및 확인 텐서플로우 상위버전에서는 위의 코드를 실행시키는데 어려움이 있다. (Mnist da..

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io Learning rate를 적절하게 설정하지 못할경우 어떻게 되는지 확인해보자. nan이 나타난다! Cost의 변동이 없다. 데이터가 정규화 되지 않았다면 어떻게 될까? 정규화 과정을 거친다면?!

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 학습 데이터와 검증 데이터를 나누어 놓는 것이 일반적이지만 Learning rate와 Regularigation strength등의 부가적인 파라미터를 조절하기 위해 Validation data를 추가로 설정하기도 한다. (모의고사 느낌) Online learning이란 추가적으로 데이터가 들어올 경우 모델을 처음부터 학습하는게 아닌 학습된 모델에 추가적으로 학습을 수행하는 것을 말한다. 실시간으로 데이터를 받아 학습!

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 지난 실습 시간에는 0.001 이라는 학습률을 적용해 경사 하강법을 이용하였다. 이 학습률은 어떻게 설정해야 할까? 학습률을 크게 설정하면 overshooting이 될 가능성이 있다. 학습률을 매우 작게 설정한다면 최저점까지 도달하는 시간이 커지고 지역 최저점에 같혀버릴 수 있다. 결론 cost function을 잘 관찰하자. 발산이 되면 작게, 너무 오래 걸리면 크게 설정해보자. 경사 하강법은 최저점을 찾아가는 방법이다. 만약 데이터가 극단적인 값을 가진경우 cost function이 왜곡된 모습을 보인다. 이런 경우는 경사하강법을 사..

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io tf.nn.softmax를 이용하여 구현이 가능하다. 더 간결하게! 2번과 같이 Tensorflow에서 제공하는 함수를 이용할 수 있다. 만약 읽고자 하는 데이터의 Y값이 One-Hot 형식으로 구성되지 않았다면 tf.one_hot을 이용하여 바꿀 수 있다. 주의할 점은 이 함수를 이용하면 출력 차원이 1개 늘어나게 되는데 tf.reshape를 이용하여 차원을 다시 바꿔주자.

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 지금까지 2개의 결과로 분류하는 선을 찾는 방법을 알아보았다. 그렇다면 2개 이상의 결과로 분류하기 위해서는 어떻게 해야 하는가? 3개의 선으로 구분이 가능하다! 이는 3개의 Classifier로 표현이 가능하다. 3개의 구분선을 표현하기 위해서 행렬을 이용하면 다음과 같이 나타낼 수 있다. 출력해낸 결과를 이용해 가장 높은 확률을 가지는 값이 무엇인지 알아내야 한다. Sigmoid를 사용한다면 출력값은 0~1 사이값이 나오게 될 것이다. 하지만 이 출력값들을 확률적으로 비교하기는 어렵다. Softmax 함수를 이용하면 출력값들의 합이 ..