본문 바로가기
[딥러닝 모델의 결정처리과정 이해 1단계-시각화] Visualizing and Understanding Convolutional Networks 논문 정리 Visualizing and Understanding Convolutional Networks 저자 : Matthew D. Zeiler, Rob Fergus(ECCV 2014) * Abstract- Alexnet을 시작으로 굉장히 Large한 CNN모델이 Imagenet 벤치마크에서 상당히 인상적인 성능을 보여주었으나, 왜 그러한 모델들이 잘 동작하는지, 어떻게 개선이 된 것인지에 대한 명확한 이해는 없음 - 본 논문은 intermediate feature layer들과 분류기의 operation에 대한 함수의 통찰력을 제공해주는 새로운 시각화 기법을 제안함 - 저자들은 서로다른 레이어들이 성능에 미치는 기여도를 확인하기 위해 하나씩 제거해보는 연구를 수행해보았다고 함 * Introduction- 199..
[딥러닝 모델의 결정처리과정 이해 1단계-시각화] Understanding Anatomy Classification Through Attentive Response Maps 논문 정리 Understanding Anatomy Classification Through Attentive Response Maps 저자 : Devinder Kumar, Vlado Menkovski, Graham W.Taylor, Alexander Wong(ISBI 2018) * Abstract- CNN과 같은 딥러닝 기반의 모델의 광범위한 채택을 위한 수많은 도전과제 중 하나는 딥러닝 모델들이 결정을 어떻게 내리는지(딥러닝 모델은 Black box 이기 때문)에 대한 이해 - 본 논문은 "fractional stride convolution"기법을 통해 얻은 "Attentive Response Map"을 통해 모델의 내부 activation값 들을 시각화할 수 있도록 새로 설계한 CNN모델을 소개하며, 얻은 결..
Ingraining Expert Label Knowledge in Deep Neural Networks - Introduction 제가 이번에 연구할 Ingraining Hierarchical Knowledge to Deep Learning이라는 주제는 이전 포스트 "Ingraining Hierarchical Knowledge to Deep Learning 대장정의 시작" 에서 언급한 Ingraining Expert Label Knowledge in Deep Neural Networks라는 논문을 베이스로 두고 있습니다. 따라서 당분간 해당 논문의 분석과 해당 논문에 실려있는 레퍼런스 논문을 분석하여 포스팅 할 계획입니다. 이번 포스팅은 Ingraining Expert Label Knowledge in Deep Neural Networks의 서론입니다. 석사 학위논문이다보니 분량도 많고 문제에 대한 정의를 글로 표현하는 방법을 배우..
Ingraining Hierarchical Knowledge to Deep Learning 대장정의 시작 9월에 석사과정을 시작하고 벌써 두달이나 지나갔네요. 두달동안 석사과정 연구주제를 어떤것으로 할지 이리저리 방황에 방황의 연속을 거듭하다가 드디어 방향을 잡게되었습니다. 16년도 2학기 말에 딥러닝이라는 학문을 접하고 학부연구를 1년 반하면서 나름 공부를 열심히하고 주제도 서칭을 했다고 생각했는데,막상 욕심이 앞서서 자연어처리, 시각인지, 생성모델, 음성신호처리도 하고싶고 이론에 가까운 연구부터 응용에 가까운 연구도 하고싶고, 연구된 것들로 창업도 하고싶고, 내길을 굵직하게 정해서 가는게 아니라 잡다하게 이것 저것 다 해보려고 하는게 석사과정까지 이어지니까 독이 되는 것 같다는 생각이 드네요.1학기 조기졸업예정자다보니 아직 석사과정 입학한지 2달밖에 안되었지만, 졸업 논문 초록 제출까지 1년조금 안 남았..
Gradient Based Learning Algorithm (2) 이번글은 minibatch Stochastic Gradient Descent의 단점을 해결한 Momentum Algorithm들에 대하여 소개하도록 하겠습니다. Deep Learning 책의 8장과, 'An overview of gradient descent optimization algorithms*'논문과 여러 기술 블로그들을 활용하여 작성하였고, 더 자세한 내용이 궁금하신 분들은 제가 참고한 자료들을 한번 보시는것을 추천드립니다. momentum... 정말 논문과 교재들마다 표기가 다르고, 업데이트 해주는 값에 취해주는 부호도 달라서 이해하는데 꽤 애먹었네요.. 이론적 배경은 논문과 Deep Learning교재 모두 참고하고, 수식은 Deep Learning에 적힌 식을 기준으로 설명드리도록 하겠습..
Regularization (Random Erasing Data Augmentation) 이번 글은 'Random Erasing Data Augmentation' 논문을 정리한 글입니다.Random Erasing Data Augmentation은 중국 Xiamen 대학교 인지과학과에서 발표한 기법으로 주저자는 'Zhun Zhong'입니다. 논문이 제출된 학회에 대한 정보는 나와있지 않고 arXiv 아카이브에 올라가있는 것을 보니 accept되고 발표 예정중인 논문이 아닌가 생각이 듭니다. 사실 이 글은 Machine Learning의 Math 카테고리에 맞는 글은 아니지만, Regularization을 위해 제안된 기법중 하나이기에 Math카테고리에 넣어주었습니다. Random Erasing기법은 기존에 우리가 알고있던, 대표적인 Data Augmentation(데이터 증대)기법인 flipp..
Gradient Based Learning Algorithm (1) 딥러닝에서 Learning Algorithm은 굉장히 중요한 요소입니다. Learning Algorithm은 Optimization(최적화) problem에 가장 큰 영향을 미치는 요소이기 때문에, 각 Learning Algorithm별 특징과 동작원리 장단점을 알아두어야 할 필요가 있는데요, Learning Algorithm에는 batch GD, SGD, Momentum SGD, AdaGrad, RMSprop, Adam 등이 있습니다. Ian Goodfellow의 Deep Learning, 오일석님의 Machine Learning과, 여러 논문, 기술 블로그들을 참고하여 Learning Algorithm들을 공부해보았고, 3번에 걸쳐 정리할 예정입니다. 혹시 잘못된 부분이 있다면 피드백 주시면 감사하겠..
Regularization (Weight Decay) Tensorflow KR이나, 여러 논문에서 Regularization 혹은 weight decay기법이 자주 언급됩니다. Regularization은 Normalization이나 Generalization과 함께 한국어로 직역하면 뭔가 이름부터 헷갈리고, 혼동이 오더라구요. 이 글에서는 Regularization 개념을 확실하게 정립하기위해 Ian Goodfellow의 Deep Learning 5.2.2절 Regularization과 1992년도에 나온 'A Simple Weight Decay Can Improve Generalization' 논문을 참고하여 공부한 내용을 정리해보았습니다. Regularization은 Deep Learning 책에서 'Regularization is any modifi..

티스토리툴바