728x90 반응형 SMALL 전체 글83 ShuffleNet_V2 1. Introduction ˙ Accuracy뿐만 아니라, computation complexity도 중요한 요소이다. ˙ computation complexity 측정하기위해서 FLOPs를 많이 측정하는데 이것은 간접적인 방식이며 충분하지 않다. ˙ 직접적인 방식으로 speed와 latency(지연시간)을 중요하게 생각해야한다. ˙ 왜냐하면, 1) MAC(memory access cost)와 같은 요소는 FLOPs를 측정하는데 포함되지 않는다. 그리고 모델의 degree of parallelism이 높을수록 더 빨라지는데 이것은 FLOPs에 포함되지 않는다. (*mac은 group convolution과 같은 특정 연산의 runtime에서 많은 부분을 포함한다.) 2) 플랫폼에 따라서 같은 FLOPs.. 2020. 9. 29. ShuffleNet_V1 √ 계산비용이 많이 차지하는 1x1컨볼루션을 pointwise group convolution으로 대체하여 계산비용을 줄이겠다. √ group convolution은 각 그룹간의 교류가 없어 해당 그룹의 정보만 갖고 있게 되는데 그문제를 'channel shuffle'을 통해 해당 문제를 해결하겠다. √ (a) 하나의 channel을 지정한 group의 수 만큼 나누고 group들마다 각자 convolution을 하는데 그러면 다른 그룹의 정보가 없어져 representation을 약화시킴 √ (b), (c)가 channel shuffle의 과정을 나타낸 것 √ group들을 subgroup으로 나눠서 각 그룹들이 섞어서 나눠가지고 있는것 √ 위의 그림은 shuffle unit 으로 이러한 구조를 반복하.. 2020. 9. 24. 이전 1 ··· 7 8 9 10 다음 728x90 반응형 LIST
