Deep Learning4 Neural Architecture Search (NAS) - Once-for-All https://github.com/mit-han-lab/once-for-all GitHub - mit-han-lab/once-for-all: [ICLR 2020] Once for All: Train One Network and Specialize it for Efficient Deployment [ICLR 2020] Once for All: Train One Network and Specialize it for Efficient Deployment - GitHub - mit-han-lab/once-for-all: [ICLR 2020] Once for All: Train One Network and Specialize it for Efficie... github.com 이번에 소개할 방법은 Once-for.. 2023. 6. 26. ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression (2017 ICCV) 핵심은 i+1 번째 layer의 정보를 이용해 i번째 layer를 pruning 한다는 것. i+1 번째 layer의 input들 중에 output에 최대한 영향이 없는 input을 찾아내어 없앤다. 이에 해당하는 i 번째 layer의 fllter를 없애준다. 즉, 아래와 같이 eq 5번을 만족하는 input channel의 subset(S)를 찾는게 목적 y-x를 최소화 하는 것은 x를 최소화 하는 것과 마찬가지다. 이를 이용해 조금 더 간단한 eq 6을 만들고 greedy search로 만족하는 subset (T)를 찾아내도록 알고리즘 구성 eq6은 eq5와 거의 같지만 더 빠르게 연산 가능 이를 이용해 greedy seach algorithm으로 원하는 compression rate으로 줄인 sub.. 2023. 3. 23. [MIT 6.S965] Lecture 03 - Pruning and Sparsity (Part I) (2022 Fall) https://www.youtube.com/@MITHANLab MIT HAN Lab MIT HAN Lab: Hardware, AI and Neural-nets Accelerate Deep Learning Computing Group website: hanlab.mit.edu TinyML Project: tinyml.mit.edu TinyML Course: efficientml.ai, streamed via live.efficientml.ai every Tuesday/Thursday 3:35-5:00pm ET, fall 2022. www.youtube.com 2022년 가을학기에 MIT에서 열린 Song Han 교수님의 TinyML and Efficient Deep Learning Computing 강의이.. 2023. 3. 17. [논문 리뷰] A Survey Of Quantization Methods for Efficient neural Network Inference (Basic concepts) 다양한 Quantization 방법에 대해 소개하고 각각의 방법의 장단점 들을 소개하는 논문이다. Basic concept 부분과 Advanced concept 부분이 있는데 여기서는 basic concept만 다루고 다음 포스팅에서 Advanced concept를 다룰 예정이다. Abstract와 Introduction 등은 생략하고 Quantization 방법론 위주로 정리해보았다. III. Basic concpts of Quantization B. Uniform Quantization r은 real value(quantizaion 이전의 원래 값) 이고 S는 scaling factor, Z는 integer zero point라고 한다. Int 함수로 S로 나누어진 real value(high-pre.. 2023. 1. 5. 이전 1 다음
