본문 바로가기

Deep Learning

 (5)
[딥러닝 모델의 결정처리과정 이해 1단계-시각화] Visualizing and Understanding Convolutional Networks 논문 정리 Visualizing and Understanding Convolutional Networks 저자 : Matthew D. Zeiler, Rob Fergus(ECCV 2014) * Abstract- Alexnet을 시작으로 굉장히 Large한 CNN모델이 Imagenet 벤치마크에서 상당히 인상적인 성능을 보여주었으나, 왜 그러한 모델들이 잘 동작하는지, 어떻게 개선이 된 것인지에 대한 명확한 이해는 없음 - 본 논문은 intermediate feature layer들과 분류기의 operation에 대한 함수의 통찰력을 제공해주는 새로운 시각화 기법을 제안함 - 저자들은 서로다른 레이어들이 성능에 미치는 기여도를 확인하기 위해 하나씩 제거해보는 연구를 수행해보았다고 함 * Introduction- 199..
[딥러닝 모델의 결정처리과정 이해 1단계-시각화] Understanding Anatomy Classification Through Attentive Response Maps 논문 정리 Understanding Anatomy Classification Through Attentive Response Maps 저자 : Devinder Kumar, Vlado Menkovski, Graham W.Taylor, Alexander Wong(ISBI 2018) * Abstract- CNN과 같은 딥러닝 기반의 모델의 광범위한 채택을 위한 수많은 도전과제 중 하나는 딥러닝 모델들이 결정을 어떻게 내리는지(딥러닝 모델은 Black box 이기 때문)에 대한 이해 - 본 논문은 "fractional stride convolution"기법을 통해 얻은 "Attentive Response Map"을 통해 모델의 내부 activation값 들을 시각화할 수 있도록 새로 설계한 CNN모델을 소개하며, 얻은 결..
Gradient Based Learning Algorithm (2) 이번글은 minibatch Stochastic Gradient Descent의 단점을 해결한 Momentum Algorithm들에 대하여 소개하도록 하겠습니다. Deep Learning 책의 8장과, 'An overview of gradient descent optimization algorithms*'논문과 여러 기술 블로그들을 활용하여 작성하였고, 더 자세한 내용이 궁금하신 분들은 제가 참고한 자료들을 한번 보시는것을 추천드립니다. momentum... 정말 논문과 교재들마다 표기가 다르고, 업데이트 해주는 값에 취해주는 부호도 달라서 이해하는데 꽤 애먹었네요.. 이론적 배경은 논문과 Deep Learning교재 모두 참고하고, 수식은 Deep Learning에 적힌 식을 기준으로 설명드리도록 하겠습..
Gradient Based Learning Algorithm (1) 딥러닝에서 Learning Algorithm은 굉장히 중요한 요소입니다. Learning Algorithm은 Optimization(최적화) problem에 가장 큰 영향을 미치는 요소이기 때문에, 각 Learning Algorithm별 특징과 동작원리 장단점을 알아두어야 할 필요가 있는데요, Learning Algorithm에는 batch GD, SGD, Momentum SGD, AdaGrad, RMSprop, Adam 등이 있습니다. Ian Goodfellow의 Deep Learning, 오일석님의 Machine Learning과, 여러 논문, 기술 블로그들을 참고하여 Learning Algorithm들을 공부해보았고, 3번에 걸쳐 정리할 예정입니다. 혹시 잘못된 부분이 있다면 피드백 주시면 감사하겠..
Generative Adversarial Nets 본 글은 Ian J.Goodfellow의 Deep Learning책과 14년도에 발표된 Generative Adversarial Nets의 내용을 기반으로 작성되었으며 제 주관적인 의견이 반영되어있습니다. 현재 시점에서, 약 2512건의 논문에 reference로 등록된 Generative Adversarial Net을 간단한 논문 소개, 모델설명을 한 후, 수학식들을 전개해가면서 수학적으로 접근해보도록 하겠습니다. Generative Adversarial Net (이하 GAN)은 14년도에 Ian J.Goodfellow가 NIPs에서 발표한 생성모델입니다. GAN이 어떻게 데이터를 생성해내는지 직관적으로 이해하기 위하여 구조를 그려보면 아래와 같습니다. GAN의 구조도에 GAN의 동작원리 이해를 위하여..

티스토리툴바