건조젤리의 저장소

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io Pooling layer는 컨볼루션 레이어의 출력 값을 Sampling하는 레이어이다. (resize) 위 그림은 2x2필터를 적용한 최대 풀 처리과정이다. 상단부터 하단까지 2만큼 이동하며 최대값을 뽑아낸다. 이때 생성되는 출력의 크기는 필터의 크기와 stride에 따라 달라진다. 앞서 배운 여러 레이어를 조합하여 CNN네트워크를 구성할 수 있다. 네트워크의 말단 부분은 분류를 위한 FC layer를 붙여야한다.

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 강의에서 쓰인 자료 출처: http://cs231n.stanford.edu/ CNN의 기본 아이디어는 고양이 실험에서 시작되었습니다. 시각 피질 안의 많은 뉴런들이 시야의 일부 범위 안에 있는 시각 자극에만 반응을 한다는 내용입니다. 어떤 뉴런은 수직선의 이미지에만 반응하고, 다른 뉴런은 다른 각도의 선에 반응하는 뉴런이 있는 등 일부 영역에만 반응하였습니다. 자세한 내용은 링크를 참고하세요: https://excelsior-cjh.tistory.com/180 하나의 이미지를 여러개의 컨볼루션 필터를 통해 서로 다른 특징점들을 뽑아내는 ..

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 기존 7장에서 구현하였던 MNIST 예제이다. 계층을 늘리게 된다면 정확도가 증가하게 된다. Xavier 초기값으로 설정하게 된다면 정확도가 더욱 증가한다. 계층을 증가시켰음에도 정확도가 더 나아지지 않은 모습이다. (Overfitting) Overfitting문제를 해결하기 위해 Dropout기법을 사용하여 정확도가 더욱 증가하였다. 경사하강법 외에 더욱 다양한 최적화 알고리즘이 존재한다.

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 지금까지 배운 네트워크를 레고처럼 조합해서 다양한 구조의 모델을 구성할 수 있다. 신호를 레이어를 통과하지 않고 앞으로 전달하는 구조를 추가하였다. 신호를 나누고 합하여 새로운 네트워크 구조를 만들었다. (ex. CNN) 네트워크를 앞으로 쌓는 방법 외에 옆으로 쌓는 방법을 이용하였다.

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 오버 피팅이란 학습 데이터에 모델이 과도하게 적응하여 새로운 데이터에 대한 분별력을 잃어버리는 현상을 말합니다. 모델이 오버 피팅인지 알 수 있는 방법은 학습 데이터와 테스트 데이터의 정확도 차이를 보면 알 수 있습니다. 지난 시간에는 오버 피팅을 해결하기 위해 Regularization(일반화) (7장 참고) 를 이용했습니다. 이번 시간에는 Dropout기법을 알아보도록 하겠습니다. Dropout이란 학습 시 임의의 노드를 0으로 설정하는 방법입니다. 이 방법을 이용하면 특정노드에 모델이 의존적으로 바뀌는 것을 억제할 수 있다. 또한 ..

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 지난 시간에는 Vanishing gradient문제를 해결할 수 있는 방법으로 새로운 활성화 함수, ReLU를 알아보았습니다. 또다른 방법은 무엇이 있을까요? 모델의 가중치를 초기화 할 때 설정하는 값에 따라 결과는 아래 그림과 같이 달라질 수 있습니다. 같은 ReLU함수를 사용했음에도 초기값을 어떻게 설정하는지에 따라 결과가 달라진다. 만약 초기값을 0으로 주게되면 역전파시 미분값이 0이되므로 학습이 이루어 지지 않습니다. 이러한 결과를 막기 위해 어떠한 방법을 써야 할까요? 방법중 하나인 RBM이라는 방법이 있습니다. 간단하게 설명하..

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 지난 시간에는 XOR를 구현 해보았습니다. 만약 계층이 더 깊고 넓어진다면 어떤일이 일어날까요? 50%의 정확도가 나오게 되었습니다. 이유는 무엇일까요? 지난 시간에 배운 오차역전파법을 살펴보자. y의 값이 이전 노드에서 Sigmoid노드를 거쳐서 온 값이라면 0과 1사이의 값이 될 것이고 x의 편미분값은 앞에서 전달받은 미분값에 0~1 값을 곱한값이 된다. 이 값은 뒤로 역전파 되고 0~1값이 곱해지게 될 것이다. 이러한 절차가 반복이되어 0에 가까워지게 될 것이다. 이러한 현상을 Vanishing gradient라고 한다. (제 2의..

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io TensorBoard는 Tensorflow 그래프를 시각화 할 수 있는 툴이다. 5가지 단계를 추가하면 TensorBoard를 사용할 수 있다. 스칼라 값과 히스토그램 값을 시각화 할 수 있다. Scope를 이용하면 좀더 깔끔한 Graph 구성이 가능하다. (Like 서랍장) merge_all()를 이용하여 모두 합친 후 세션을 이용하여 Summary를 저장한다. 터미널에 명령어를 입력하여 TensorBoard를 볼 수 있는 주소를 얻을 수 있다. * 원격 서버로 TensorBoard를 사용할 수 있다. 같은 폴더 안에 여러 log들을 ..