건조젤리의 저장소

CNN을 해석하기 위해서는 어떻게 해야할까? 기본적인 CNN구조에서는 Convolution Layer를 이용하여 특징을 뽑아낸 후 Fully-Connected Layer(FC)를 통과시켜 class의 분류를 수행한다. FC를 통과시키기 위해 Convolution을 이용해 뽑은 특징점의 Flatten과정을 거치게 되고 위치 정보들이 소실된다. 만약 이러한 위치 정보들이 소실되지 않고 유지되며 class분류를 수행할 수 있다면, CNN이 각 class를 분류하는데 중요한 위치정보를 알 수 있지 않을까? Learning Deep Features for Discriminative Localization 논문에서는 특징점의 Flatten과정 대신 각 채널별로 Global Average Pooling(GAP)을 적..

더보기 코드 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 x_input = tf.placeholder(tf.float32, [None, 28*28]) y_input = tf.placeholder(tf.float32, [None, 10]) input_dataset = tf.data.Dataset.from_tensor_slices((x_input, y_input)).repeat().batch(100) train_iterator = input_dataset.make_initializable_iterator() next_batch_train = train_iterator.get_next() sess = tf.Session() sess.run(train_iterator.initialize..

다들 MNIST Dataset 을 이용하여 딥러닝 모델을 테스트 한 적이 있을 것입니다. 아무리 단순한 모델이더라도 정확도는 약 80%이상이 나오게 되는데요, 정확도가 20% 이하가 나오게 되면 무슨 문제일까요? 정확도가 낮게 나오는 이유는 여러가지가 있겠지만, 대표적인 문제 중 하나는 입력 데이터의 정규화를 거치지 않으면 생기는 문제입니다. tensorflow 1.x 하위 버전에서는 tensorflow.examples.tutorials.mnist.input_data 라는 모듈이 존재하여, mnist 이미지를 손쉽게 불러올 수 있었고, 각 픽셀값이 0과 1사이로 정규화가 되어 있습니다. 하지만 상위 버전에서는 tf.keras.datasets.mnist.load_data() 모듈을 사용해야 합니다. 불러온..

더보기 목록 한글자막 정리 노트 1. 한글 자막 코세라 머신러닝 강의를 듣다보면 한글 자막이 없는 영상이 대부분이다. 이때 아래 블로그의 방법을 이용하면 한글 자막을 이용할 수 있다. http://blog.naver.com/PostView.nhn?blogId=chandong83&logNo=220792584753&parentCategoryNo=&categoryNo=36&viewDate=&isShowPopularPosts=false&from=postView 코세라 AI 강의 한글 자막 넣어서 보는 방법! 인공지능 스터디를 하다 보면 추천 강의 동영상 중 거의 바이블화된 강의가 있다. 그것은 스텐포드 대학의 ... blog.naver.com 2. 정리 노트 코세라 강의를 보고 이해가 가지 않는 부분은 인터넷 ..

더보기 신경망의 역전파 과정에 대해 더 잘 이해하기 위한 자료들이다. 코세라 강의에서 이해가 가지 않았던 내용이지만, 이 자료들로 어느 정도 이해를 할 수 있었다. https://www.popit.kr/coursera-machine-learning%EC%9C%BC%EB%A1%9C-%EA%B8%B0%EA%B3%84%ED%95%99%EC%8A%B5-%EB%B0%B0%EC%9A%B0%EA%B8%B0-week5/ Coursera Machine Learning으로 기계학습 배우기 : week5 | Popit 개요 지난 시간에 이어 Coursera Machine Learning으로 기계학습 배우기 : week5 정리를 진행한다. 목차 해당 포스팅은 연재글로써 지난 연재는 아래의 링크를 참고한다. Coursera M..

더보기 코세라 강좌 중 Andrew Ng 교수님의 Machine Learning 강좌에서 언급되었던 Normal Equation에 대해 알아보자. Normal Equation은 경사 하강법으로 가중치를 구할때와는 다르게 반복없이 가중치를 구할 수 있는 방법이다. 강좌에서 나온 식은 밑의 식과 같다. 강좌에서는 이 식을 증명하는 과정이 빠져 있는데, 다음의 블로그에서 증명하는 법을 찾을 수 있었다. 링크1: https://eli.thegreenplace.net/2014/derivation-of-the-normal-equation-for-linear-regression/ 링크2: https://kgwcredit.tistory.com/13

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 네트워크 분리 방법을 구현해보자. DQN 2013에서는 학습할 데이터들을 배치 처리하는 과정을 추가하였다. 추가적으로 네트워크의 분리과정도 추가해보자. Y를 계산할때 TargetDQN을 이용한다. MainDQN / TargetDQN 두개의 네트워크를 만든 후, 메인 네트워크를 타겟 네트워크에 붙여 넣는다. 일정 간격마다 복사 과정을 수행하게 된다. 네트워크의 복사 = 가중치 값들의 복사 학습 가능한 변수들을 불러온 후, .assign을 통해 Tensor값들을 할당하여 복사한다. 복사에 대한 operation들을 list에 저장해 retu..

김성훈 교수님의 강의내용을 정리한 내용입니다. 출처 : http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 상태값을 받아온다. 랜덤값 e를 이용해 e-greedy방법과 최대값 선택 방법중 하나를 실행한다. 상태값과 액션 등 여러 정보들을 버퍼에 넣는다. 배치에서 10개의 데이터를 랜덤으로 뽑아낸다. 학습을 위한 목표값 y를 얻어온 뒤, Cost함수를 이용해 네트워크를 학습시킨다. 위 2개 문제를 해결해보자. 네트워크 클래스를 선언한다. 이전의 얕은 네트워크를 더 깊게 수정하였다. (은닉층 10개) 분류문제가 아닌 회귀문제이므로 출력층의 활성화 함수는 사용하지 않는다. 예측과 학습을 위한 메소드도 추가로 만들어 주자. 버퍼를 만들기 위해 파이썬..