deeplearning3 Neural Architecture Search (NAS) - Framework NAS (Nerual Architecture Search) 방식은 크게 3가지 component로 구분할 수 있다. 1. Search space : 어떤 architecture의 어떤 block의 어떤 파라미터를 찾아낼 것인지 등 2. Search strategy : 어떻게 찾아낼 것인지 3. Performance estimation : 찾아낸 architecture를 어떻게 평가할 것인지 Search Space 먼저 Search space를 어떻게 정할지에 대해 2가지 접근법이 존재한다. 1. Cell-level search space 2. Network-level search space 먼저 Cell-level이란 네트워크를 이루는 block들을 어떻게 구성할 것인가를 search space로 잡는 .. 2023. 6. 17. Neural Architecture Search (NAS) - Manually Designed Neural Networks Deep Learning 방법이 나온 이후로 더 정확도가 높으면서 빠른 효율적인 모델을 만들기 위해 수많은 시도들이 있었다. 첫번째로 나온 모델은 AlexNet이었다. 지금 보면 단순한 convolution과 pooling, fully connected layer의 조합이지만 당시에 Deep learning을 쓰지 않는 방법에 비해 압도적인 성능을 냈었다. 그리고 초반부에 11x11, 5x5 convolution의 큰 convolution을 사용했었다. 이후에 나온 주목할만한 모델은 VGG 이다. VGG의 경우 오로지 3x3 convolution만을 사용했다. 위의 그림에서 볼 수 있듯이 3x3을 두 번 사용하면 5x5를 사용한 것과 같은 receptive field를 얻을 수 있는데 연산량은 5x5에 .. 2023. 6. 16. [논문 리뷰] A Survey Of Quantization Methods for Efficient neural Network Inference (Advanced concepts) 지난 포스팅에 이어 Quantization survey 논문에서 Advanced concept 내용을 다루고자 한다. IV. Advanced Concepts: Quantization Below 8 Bits A. Simulated and Integer-only Quantization quantization이 돼서 integer로 저장되어 있는 값을 다시 floating point로 변환해 floating point 연산을 진행하는 것이 simulated quantization (aka fake quantization)이고 이러한 변환 과정 없이 integer 연산을 그대로 적용하는 것이 integer-only quantization이다. 중간에 floating point로 바꾸어 연산하면 정확도가 올라가긴.. 2023. 1. 5. 이전 1 다음
