핵심은 i+1 번째 layer의 정보를 이용해 i번째 layer를 pruning 한다는 것.
i+1 번째 layer의 input들 중에 output에 최대한 영향이 없는 input을 찾아내어 없앤다. 이에 해당하는 i 번째 layer의 fllter를 없애준다.
즉, 아래와 같이 eq 5번을 만족하는 input channel의 subset(S)를 찾는게 목적
y-x를 최소화 하는 것은 x를 최소화 하는 것과 마찬가지다. 이를 이용해 조금 더 간단한 eq 6을 만들고 greedy search로 만족하는 subset (T)를 찾아내도록 알고리즘 구성
eq6은 eq5와 거의 같지만 더 빠르게 연산 가능
이를 이용해 greedy seach algorithm으로 원하는 compression rate으로 줄인 subset T를 찾는다.
