Low-frequency1 [논문 리뷰] VTC-LFC: Vision Transformer Compression with Low-Frequency Components (2022 NIPS) Abstract : ViT (Vision transforemr)는 현재 많은 vision task에서 좋은 성능을 보여주고 있는 모델이다. 하지만 그만큼 모델의 사이즈가 커 compression이 필요한데 CNN에서 compression 방법들을 그대로 가져와 적용하면 성능이 잘 나오지 않는다고 한다. 그러면서 transformer의 self-attention이 low-pass filter이고 low-frequency signal이 ViT에서 더 중요하다는 점을 언급하며 이를 이용해 low-frequency sensitivity (LFS)와 low-frequency energy (LFE) 두 개의 metric을 만들어 channel pruning과 token pruning을 진행했다고 한다. Introd.. 2023. 2. 24. 이전 1 다음
