pruning3 ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression (2017 ICCV) 핵심은 i+1 번째 layer의 정보를 이용해 i번째 layer를 pruning 한다는 것. i+1 번째 layer의 input들 중에 output에 최대한 영향이 없는 input을 찾아내어 없앤다. 이에 해당하는 i 번째 layer의 fllter를 없애준다. 즉, 아래와 같이 eq 5번을 만족하는 input channel의 subset(S)를 찾는게 목적 y-x를 최소화 하는 것은 x를 최소화 하는 것과 마찬가지다. 이를 이용해 조금 더 간단한 eq 6을 만들고 greedy search로 만족하는 subset (T)를 찾아내도록 알고리즘 구성 eq6은 eq5와 거의 같지만 더 빠르게 연산 가능 이를 이용해 greedy seach algorithm으로 원하는 compression rate으로 줄인 sub.. 2023. 3. 23. [MIT 6.S965] Lecture 03 - Pruning and Sparsity (Part I) (2022 Fall) https://www.youtube.com/@MITHANLab MIT HAN Lab MIT HAN Lab: Hardware, AI and Neural-nets Accelerate Deep Learning Computing Group website: hanlab.mit.edu TinyML Project: tinyml.mit.edu TinyML Course: efficientml.ai, streamed via live.efficientml.ai every Tuesday/Thursday 3:35-5:00pm ET, fall 2022. www.youtube.com 2022년 가을학기에 MIT에서 열린 Song Han 교수님의 TinyML and Efficient Deep Learning Computing 강의이.. 2023. 3. 17. [논문 리뷰] VTC-LFC: Vision Transformer Compression with Low-Frequency Components (2022 NIPS) Abstract : ViT (Vision transforemr)는 현재 많은 vision task에서 좋은 성능을 보여주고 있는 모델이다. 하지만 그만큼 모델의 사이즈가 커 compression이 필요한데 CNN에서 compression 방법들을 그대로 가져와 적용하면 성능이 잘 나오지 않는다고 한다. 그러면서 transformer의 self-attention이 low-pass filter이고 low-frequency signal이 ViT에서 더 중요하다는 점을 언급하며 이를 이용해 low-frequency sensitivity (LFS)와 low-frequency energy (LFE) 두 개의 metric을 만들어 channel pruning과 token pruning을 진행했다고 한다. Introd.. 2023. 2. 24. 이전 1 다음
