전체 글13 Neural Architecture Search (NAS) - Manually Designed Neural Networks Deep Learning 방법이 나온 이후로 더 정확도가 높으면서 빠른 효율적인 모델을 만들기 위해 수많은 시도들이 있었다. 첫번째로 나온 모델은 AlexNet이었다. 지금 보면 단순한 convolution과 pooling, fully connected layer의 조합이지만 당시에 Deep learning을 쓰지 않는 방법에 비해 압도적인 성능을 냈었다. 그리고 초반부에 11x11, 5x5 convolution의 큰 convolution을 사용했었다. 이후에 나온 주목할만한 모델은 VGG 이다. VGG의 경우 오로지 3x3 convolution만을 사용했다. 위의 그림에서 볼 수 있듯이 3x3을 두 번 사용하면 5x5를 사용한 것과 같은 receptive field를 얻을 수 있는데 연산량은 5x5에 .. 2023. 6. 16. [논문 리뷰] Learning to Generate Realistic Noisy Images via Pixel-level Noise-aware Adversarial Training (PNGAN) (2021 NIPS) 1. Introduction Deep Learning을 활용해 노이즈를 제거하는 디노이징 모델을 학습시키기 위해서는 noise/clean pair 데이터셋이 필요하다. 이러한 데이터셋을 만드는 방법으로는 똑같은 장면에 대해 수백번 카메라촬영을 하고 평균을 내서 clean 이미지를 얻거나 synthetic한 방법으로 노이즈를 만들어 내어 이미지에 더해 데이터셋을 만들거나 한다. 제일 대표적으로 synthetic하게 노이즈를 만들어내는 방법은 가우시안 노이즈를 만들어 더하는 방식이다 (additive white gaussian noise (AWGN)). 하지만 실제 카메라로 촬영했을 때 발생하는 노이즈는 가우시안 노이즈와 항상 비슷하지 않다. 카메라의 ISP (Image Signal Processing) 과.. 2023. 5. 31. ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression (2017 ICCV) 핵심은 i+1 번째 layer의 정보를 이용해 i번째 layer를 pruning 한다는 것. i+1 번째 layer의 input들 중에 output에 최대한 영향이 없는 input을 찾아내어 없앤다. 이에 해당하는 i 번째 layer의 fllter를 없애준다. 즉, 아래와 같이 eq 5번을 만족하는 input channel의 subset(S)를 찾는게 목적 y-x를 최소화 하는 것은 x를 최소화 하는 것과 마찬가지다. 이를 이용해 조금 더 간단한 eq 6을 만들고 greedy search로 만족하는 subset (T)를 찾아내도록 알고리즘 구성 eq6은 eq5와 거의 같지만 더 빠르게 연산 가능 이를 이용해 greedy seach algorithm으로 원하는 compression rate으로 줄인 sub.. 2023. 3. 23. [MIT 6.S965] Lecture 03 - Pruning and Sparsity (Part I) (2022 Fall) https://www.youtube.com/@MITHANLab MIT HAN Lab MIT HAN Lab: Hardware, AI and Neural-nets Accelerate Deep Learning Computing Group website: hanlab.mit.edu TinyML Project: tinyml.mit.edu TinyML Course: efficientml.ai, streamed via live.efficientml.ai every Tuesday/Thursday 3:35-5:00pm ET, fall 2022. www.youtube.com 2022년 가을학기에 MIT에서 열린 Song Han 교수님의 TinyML and Efficient Deep Learning Computing 강의이.. 2023. 3. 17. [논문 리뷰] VTC-LFC: Vision Transformer Compression with Low-Frequency Components (2022 NIPS) Abstract : ViT (Vision transforemr)는 현재 많은 vision task에서 좋은 성능을 보여주고 있는 모델이다. 하지만 그만큼 모델의 사이즈가 커 compression이 필요한데 CNN에서 compression 방법들을 그대로 가져와 적용하면 성능이 잘 나오지 않는다고 한다. 그러면서 transformer의 self-attention이 low-pass filter이고 low-frequency signal이 ViT에서 더 중요하다는 점을 언급하며 이를 이용해 low-frequency sensitivity (LFS)와 low-frequency energy (LFE) 두 개의 metric을 만들어 channel pruning과 token pruning을 진행했다고 한다. Introd.. 2023. 2. 24. [논문 리뷰] A Survey Of Quantization Methods for Efficient neural Network Inference (Advanced concepts) 지난 포스팅에 이어 Quantization survey 논문에서 Advanced concept 내용을 다루고자 한다. IV. Advanced Concepts: Quantization Below 8 Bits A. Simulated and Integer-only Quantization quantization이 돼서 integer로 저장되어 있는 값을 다시 floating point로 변환해 floating point 연산을 진행하는 것이 simulated quantization (aka fake quantization)이고 이러한 변환 과정 없이 integer 연산을 그대로 적용하는 것이 integer-only quantization이다. 중간에 floating point로 바꾸어 연산하면 정확도가 올라가긴.. 2023. 1. 5. 이전 1 2 3 다음
