DenseNet 요약

DenseNet 요약

 

Abstract ( 2시간) 

최근 연구에서 conv네트워크는 대체로 더 깊고, 더 정확하고, 학습에 효과적으로 보여진다. shorter 커넥션이 인풋과 아우풋 사이에 있기 때문이다. (shorter connection이 skip connection을 말하는 것 같다.)

이 논문에선, 이 관측을 포함하고 덴스넷을 소개한다. 덴스넷은 각 레이어가 모든 다른레이어와 feed-forward 형태를 띄고 있다. ( feed-forward란 이전 레이어의 모든 feature map이 다음 레이어로 입력된다는 것을 의미한다.) 전통적인 conv레이어는 L connection이라 하면, 덴스넷의 direct connection의 형태는 L(L+1)/2 형태를 띄고 있다. 

각 레이어들, 이전 레이어의 모든 feature map(conv layer를 거치고 나온 map)이 다음 레이어의 인풋으로 입력된다.

덴스넷은 몇몇의 설득력있는 장점이 있다. 그레디언트 소실 문제를 덜었고, feature propagation를 강하게 했다. (feature propagation : 이전레이어의 feature map을 다음 레이어로 입력되는 것. forward propagation : 순전파와 혼동 주의). 그리고 feature 재사용을 북돋았다. 그리고 대체로 파라미터 수를 줄였다.

우리는 덴스넷으로 cifar10, cifar100, svhn, imagenet 데이터 셋 에서 물체인식에 높은 점수를 얻었다. 

덴스넷은 성능향상을 얻었고 모든 cnn중 최신 기술이다 .

덴스넷은 적은 계산량을 요구하면서, 고성능을 달성했다.

코드와 pre-trained 모델은 여기 깃헙에 있다.  ( https://github.com/liuzhuang13/DenseNet ) 

 

 

논문

아키텍쳐 - 구조

Abstract- introduction요약 

Conclusion - 마지막 정리

 

젤 중요 : abstract, conclusion

그다음 중요 : introduction

대충읽기 : Experiments

안읽기 : Related Work

 

DenseNet abstract요약 느낀점

 abstract만 요약하는데 2시간정도 걸렸다.

너무 오래걸리는것 같다. 다음엔 블로그요약 2~3편을 보고 빠르게 읽는 연습을 해야겠다.

 

보틀넥 레이어는 채널 수가 많아서 두꺼워진 덴스넷 입력을 1*1conv로 두께를 줄여준 뒤 3*3 conv 레이어를 지나 feature map을 뽑는 것 같다. 

 

Bottleneck Layer

Resnet bottleneck : 3x3 convolution 전에 1x1 convolution을 거쳐서 입력 feature map의 channel 개수를 줄이고, 다시 입력 feature map의 channel 개수 만큼을 생성

Dense bottleneck : 3x3 convolution 전에 1x1 convolution을 거쳐서 입력 feature map의 channel 개수를 줄이고, growth rate 만큼의 feature map을 생성

 

Transition Layer

 feature map의 가로, 세로 사이즈를 줄여주고 feature map의 개수를 줄여주는 역할을 담당

Batch Normalization, ReLU, 1x1 convolution, 2x2 average pooling 으로 구성

1x1 convolution을 통해 feature map의 개수를 줄여주며 이 때 줄여주는 정도를 나타내는 theta 를 논문에서는 0.5를 사용하였으며 마찬가지로 이 값도 hyper-parameter입니다. 이 과정을 Compression이라 논문에서 표현

 

ResNet : 직전 레이어의 feature map을 한번 더해서 imput에 넣는 방식

DenseNet : 이전 전체 레이어 각각의 feature map을 묶어서 input에 넣는 방식

( feature map 끼리 Concatenation(연쇄))