Machine Learning/Math (3) 썸네일형 리스트형 Regularization (Random Erasing Data Augmentation) 이번 글은 'Random Erasing Data Augmentation' 논문을 정리한 글입니다.Random Erasing Data Augmentation은 중국 Xiamen 대학교 인지과학과에서 발표한 기법으로 주저자는 'Zhun Zhong'입니다. 논문이 제출된 학회에 대한 정보는 나와있지 않고 arXiv 아카이브에 올라가있는 것을 보니 accept되고 발표 예정중인 논문이 아닌가 생각이 듭니다. 사실 이 글은 Machine Learning의 Math 카테고리에 맞는 글은 아니지만, Regularization을 위해 제안된 기법중 하나이기에 Math카테고리에 넣어주었습니다. Random Erasing기법은 기존에 우리가 알고있던, 대표적인 Data Augmentation(데이터 증대)기법인 flipp.. Regularization (Weight Decay) Tensorflow KR이나, 여러 논문에서 Regularization 혹은 weight decay기법이 자주 언급됩니다. Regularization은 Normalization이나 Generalization과 함께 한국어로 직역하면 뭔가 이름부터 헷갈리고, 혼동이 오더라구요. 이 글에서는 Regularization 개념을 확실하게 정립하기위해 Ian Goodfellow의 Deep Learning 5.2.2절 Regularization과 1992년도에 나온 'A Simple Weight Decay Can Improve Generalization' 논문을 참고하여 공부한 내용을 정리해보았습니다. Regularization은 Deep Learning 책에서 'Regularization is any modifi.. Linear Regression Ian goodfellow의 Deep Learning 책을 공부하던 중 5.1.4절에서 Linear Regression의 내용이 상당히 불친절한 수식전개로 구성되어 자세히 들여다보았고, 공부한 내용을 적어봅니다. 먼저 Linear Regression의 수식분석을 들어가기 전에 이것이 무엇인지 간단하게 짚고 넘어가겠습니다. Linear Regression은 '선형 회귀 ' 로써 주어진 데이터를 대표한다고 할 수 있는 한개의 직선을 찾아내는 것을 의미합니다. 위의 사진은 데이터를 2차원의 좌표평면에 흩뿌려진(scatter된) 데이터를 대표하는 한개의 직선(파란선)을 그은 것입니다. 선형 회귀는 기계가 한번에 저 직선을 찾아낼 수는 없기 때문에, 직선방정식(1차방정식;linear인 이유)의 계수를 천천히 수정.. 이전 1 다음
