모델 압축2 [논문 리뷰] A Survey Of Quantization Methods for Efficient neural Network Inference (Advanced concepts) 지난 포스팅에 이어 Quantization survey 논문에서 Advanced concept 내용을 다루고자 한다. IV. Advanced Concepts: Quantization Below 8 Bits A. Simulated and Integer-only Quantization quantization이 돼서 integer로 저장되어 있는 값을 다시 floating point로 변환해 floating point 연산을 진행하는 것이 simulated quantization (aka fake quantization)이고 이러한 변환 과정 없이 integer 연산을 그대로 적용하는 것이 integer-only quantization이다. 중간에 floating point로 바꾸어 연산하면 정확도가 올라가긴.. 2023. 1. 5. [논문 리뷰] A Survey Of Quantization Methods for Efficient neural Network Inference (Basic concepts) 다양한 Quantization 방법에 대해 소개하고 각각의 방법의 장단점 들을 소개하는 논문이다. Basic concept 부분과 Advanced concept 부분이 있는데 여기서는 basic concept만 다루고 다음 포스팅에서 Advanced concept를 다룰 예정이다. Abstract와 Introduction 등은 생략하고 Quantization 방법론 위주로 정리해보았다. III. Basic concpts of Quantization B. Uniform Quantization r은 real value(quantizaion 이전의 원래 값) 이고 S는 scaling factor, Z는 integer zero point라고 한다. Int 함수로 S로 나누어진 real value(high-pre.. 2023. 1. 5. 이전 1 다음
