seob2

개인적으로 읽고 쓰는 공부용 리뷰입니다.

틀린 점이 있을 수도 있으니 감안하고 읽어주세요. 피드백은 댓글로 부탁드립니다.

paper overview

• 논문링크 : paper link

• Hierarchical Deep Aggregation(HDA)
• Iterative Deep Aggregation(IDA)

원래 VGG 쓸 차롄데, 최근에 보고 코드를 짠거라 까먹기 전에 이거 먼저 리뷰를 쓴다.

이 논문의 주요 키워드는 aggregation이다. resnet의 residual connection부터 unet의 feature concatenation등 feature map의 hierarchical connection은 이전부터 많이 실험 및 연구 되어왔다. 이 논문에서는 과연 기존의 feature aggregation이 최선일까?라는 의문에서 이를 해결하기 위한 연구를 한 논문이다. 저자도 굉장히 유명한 Fisher Yu와 Evan Shelhamer다. 그리고 최신 네트워크의 backbone모델로도 많이 사용되고 있는 모델이다. 사실 내가 마지막으로 쓴 논문도 semantic segmentation에서 이 점을 어떻게 해결할까? 로 시작했던 점이어서 아쉽기도 하고 부러운.. 논문이다. 그리고 논문만 봐서는 사실 이해가 잘 안돼서 코드를 보고 역으로 추론한 것이 많다.

Feature aggregation 

사실 이 논문 외에도 semantic segmenation, object detection등 다양한 task에서 neural network의 중간 feature들을 어떻게 잘 종합하느냐에 따라 성능이 좌지우지 되는 것은 많은 연구를 통해 이미 증명되었다. 이 부분에 대해서는 논문은 계층적 그리고 반복적인 aggregation을 제안한다. 개인적으로 느끼기에는 논문이 영어가 너무 깔끔해서 쉽게 읽혔다. 다음 부분이 introduction의 핵심이다.

>>> "In this work, we investigate how to aggregate layers to better fuse semantic and spatial information for recognition and localization. Extending the “shallow” skip connections of current approaches, our aggregation architectures incorporate more depth and sharing. We introduce two structures for deep layer aggregation. iterative deep aggregation (IDA) and hierarchical deep aggregation (HDA)"

IDA & HDA

>>> "IDA focuses on fusing resolutions and scales while HDA focuses on merging features from all modules and channels. IDA follows the base hierarchy to refine resolution and aggregate scale stage-bystage. HDA assembles its own hierarchy of tree-structured connections that cross and merge stages to aggregate different levels of representation."

논문에서 인용한 단락이다. 진짜 이 논문은 다른 것 필요 없고 위 단락으로 사실 설명이 끝이다. IDA는 서로 다른 resolution의 featuremap 들을 지속적으로 fusing하기위한 aggretation을 의미하고,  HDA는 같은 resolution상에서(같은 계층 상에서) 그 tree들을 서로 잘 aggregation하는 connection을 의미한다.

왼쪽 그림이 논문의 figure2다. c와 f만 잘라왔지만, 당연히 논문에는 a~f까지 다있다. a와 b는 기존에 존재하는 방식에 대해 언급하고 있고 d,e는 다른 방식의 aggregation에 대해서 설명하고 있지만, 결국에 제안하는 방식은 왼쪽 그림의 c(IDA), f(HDA)다.

흰색 네모들은 큰거와 작은 것이 각각 conv stage와 conv block들을 의미하고 초록색이 aggregation node를 의미한다. 

stage와 block의 차이점은 block모인것이 stage라고 생각하면 된다. resnet의 큰 conv block을 생각하면 된다.

즉 IDA는 stage단위로 엮어주고, HDA는 block단위로 엮어주는 개념이다. 사실 이그림만 봐서는 제대로 이해가 안됐지만, figure 3까지 같이 보면 이해가 좀 쉽다. 아래서부터는 각 aggregation에 대한 디테일한 설명이다. 

HDA(Hierarchical Deep Aggregation) detail

이 figure3가 전체적인 DLA의 큰 flow인데, HDA와 IDA의 차이점이 확연하게 차이난다. 일단 가장 큰 차이점은 resolution의 차이라고 생각하면 된다. 파란선이 down sample을 의미하는데 각 HDA안에서는 down sample이 존재하지 않는다. IDA는 서로 다른 resolution의 지속적인 연결이라고 언급했는데 여기서 노란선이 이를 보여준다. HDA는 같은 stage내 feature map들의 conntection이다. 저 흰색 박스는 resnet의 conv block을 생각하면 된다. 그리고 빨간 박스는 HDA의 Tree level이라고 생각하면 쉽다 왼쪽 빨간박스부터 level1, level2, level3의 HDA를 의미한다. 

여기서 흰 박스들은 resnet의 conv block이라고 했는데, 발그림이긴 하지만 아래 그림을 보면

왼쪽부터 basic convblock, basic conv block with projection, bottlenect convblock, bottleneck convblock with projection이다. 아마 resnet을 짜봤으면 바로 이해했을 것이다. 위 그림중 왼쪽의 connection은 residual connection을 나타내는데, 이는 덧셈 연산이기 때문에 해상도가 안맞거나, channel수가 안맞으면 연산이 불가하다. projection은 이럴 때 1x1 conv를 이용해 resolution이나 channel을 맞춰주는 역할이다. resolution이 안맞을 때(주로 down sampling) stride=2로 주는데 그러면 전체 feature map을 고려하지 못하기때문에 avgpool을 선행하고 projection을 하는 경우도 있으나 여기서 다룰 문제는 아니므로 스킵.

아무튼 왼쪽 두개는 일반적인 conv block을 의미하고 오른쪽 두개는 연산을 줄이기 위해 채널을 줄였다가 다시 늘리는 bottlenect block이다. 이를 설명하는 이유는 위 figure3에서 작은 흰색 박스가 바로 이 conv block을 의미하기 때문이다. (아래 그림 참조)

 만약 좌측 그림처럼 그냥 흰색 네모 박스 두개가 연달아 있었다면 이것은 그냥 resnet과 같이 conv block을 나열한 것이다. 근데 HDA에서는 위 그림처럼 새 node를 두어 앞의 block의 output도 aggregation에 사용한다. 이게 HDA의 개념이다. (참고로 aggregation node내에서는 concat +  1x1 conv의 연산이 이뤄진다. 이 안에도 1개의 conv가 포함되어 있다.)

HDA level2다. 중간을 기점으로 왼쪽을 잘라보면 HDA level1과 정확히 똑같은 모양이 있다. 조금만 멀리서 보면 결국 중간 기준 오른쪽도 마찬가지로 같다.

맞다. HDA level1을 두번 이은 것이다.  

흰색 네모 박스가 basic block일 경우 각각 conv layer를 2개씩 갖고 있으므로 HDA level2는 총 10개의 conv가 들어간다. ( aggregation node도 1개씩 갖고있기때문에)

마찬가지로 HDA level1의 경우  2x2 + 1 해서 5개의 conv layer를 갖는다. 

HDA level3이다. 이또한 자세히 보면 HDA level2가 두번 나열되어있다. 즉 HDA1을 네번 이은 것이다.

맞다. tree 형태를 띄고 있다. 그래서 official code도 tree로 짜여져있는데, 개인적으로는 이 코드가 이해하기 너무 힘들다.

아무튼 HDA level3 는 8개의 conv block을 가지므로 basic block 기준, 2*8 + 4(aggregation) 총 20개의 conv layer를 가진다.

HDA를 종합해보자면 같은 계층 또는 Tree안에서 기존의 resnet과 달리 2개의 block마자 계층적인 aggregation이 이러난다. 하나의 Tree를 크게 보자면 뒤쪽일수록 more complex한 feature를 학습할 것이고 이를 보다 low한 앞쪽의 feature map과 합쳐주는 개념이다. 말 그대로 동일 Tree내에서 계층적인 aggregation을 하는 것이다. 물론 이 aggreation에는 앞서 말했듯이, concatenation을 사용한다. 

IDA(Iterative Deep Aggregation) detail

위의 figure3를 다시 보자. IDA는 노란 선으로 표현되어있다. 보면 노란선이 이어지는 하단의 conv block(흰 박스)들을 보면 중간에 down sampling이 일어난다. 논문에서도 언급된 다양한 resolution의 aggregation이란 이 것을 의미한다. down sampling은 receptive field를 크게 넓히면서 복잡한 feature를 학습하는데 도움을 주지만, 해상도가 작아지기 때문에 spatial information의 손실이 크다. 이를 보완하기위해 IDA를 사용하는 것이다. 단순한 노란선으로 연결되어있지만 해상도를 맞추기 위해 maxpooling을 사용하여 aggregation의 입력으로 들어간다. 즉 다른 feature map들과 함께 concat+ 1x1 conv를 하는 것이다. 

위 표를 보자

모든 DLA모델에대해 간략하게 나타낸 것이다. 모든 DLA는 6개의 stage로 구분했다.

stage 1,2 에서는 그냥 숫자가 적혀 있는데 이것은 그냥 conv layer 1개를 의미한다. 그리고 "-" 로 이어진 수는 HDA level - channel수 이다. 

예를 들어, DLA-34의 stage3에는 1-64가 적혀있다. 이것은 HDA level1 + 64 channel이란 소리다. 

사실 stage1과 stage2는 표대로만 보면 2개의 conv layer로 이루어진것처럼 보이지만 실제로는 input layer를 포함해서 총 3개의 conv layer이다. 

DLA34를 보자 34개의 conv layer가 있단 소리다.

stage1 + stage2 : 3개

stage3, HDA level1 : 5개 (위에 설명함)

stage4, HDA level2 : 10개

stage5, HDA level2 : 10개 

stage6, HDA level1개 5개 총 33개 + classifier에 1x1 conv1개 = 총 34개의 conv layer로 구성되어있다. 물론 중간에 max pool, bn, relu는 당연히 있다.

아 귀찮지만 공부 용도 이니 나중에 잘 기억하기 위해 DLA46까지만 보자면

stage1,2(3개) + stage3(7개 why? bottleneck이니까) + stage4(14개) +stage5(14개) +stage6(7개) + classifier(1개)= 46이다. 

C가 붙은건 보다시피 channel 수가 다른 모델에 비해 적다. compact 버전이다.

X가 붙은건 resnext 모델의 group conv를 사용한 것이다. 

X+C는 당연히 compact + group conv 를 의미한다.

DLA Segmentation

하.. 이건 나중에 쓸래 넘 힘들다 리뷰 

개인적으로 읽고 쓰는 공부용 리뷰입니다.

틀린 점이 있을 수도 있으니 감안하고 읽어주세요. 피드백은 댓글로 부탁드립니다.

paper overview

• 논문링크 : arxiv.org/pdf/1311.2901.pdf

• CNN의 visualizing에 대하여 연구한 논문

• max-unpooling의 개념을 제안

• cnn visualizing기법을 토대로 alexnet을 수정 및 개선

이 논문의 주요 키워드는 visualizing이다. 학습된 모델이 무엇을 보고 있는지 나타내어 모델의 개선에 이용했다.

보통 classification 논문을 다룰 때, 크게 언급 되지는 않지만 개인적으로 큰 contribution을 가진 논문이라고 생각한다. 

위 그림은 featuremap visualization을 위한 deconv의 과정이다. 그림 기준 왼쪽이 deconv의 일련의 과정이고 오른쪽은 우리가 아는 일반적인 CNN의 forward 과정이다. rectified feature map -> pooling -> conv -> relu -> pool의 과정을 나타낸다. 왼쪽은 반대로 위에서부터 max-unpool -> relu -> deconv(F^T)-> max-unpool의 과정이다. 

Max-unpooling

위 figure는 feature visualization의 일련의 과정이다. maxpooling의 경우 receptive field에서 max 값만 취하는 연산인데 이를 역연산 하기 위해서 max 값을 취한 곳의 위치를 기억했다가 un-pooling시 그 위치에 값을 입력하는 것이다. 물론 해당 위치 말고는 0으로 채워지는 sparse한 행렬이 되긴하겠지만 결과 이미지를 보면 어느정도 유의미한 결과를 얻은 것을 알 수 있다. 마찬가지로 활성화 함수를 거치면 (이 논문에서는 relu를 사용) 날라가는 값들이 존재하지만 결과 이미지를 토대로 추론해보면 크게 영향이 없는 듯 보여진다. 

Deconvolution

리뷰를 하면서 새로 알게 된 사실이지만, 저자가 이전에 이미 관련된 논문을 썼었다. Deconvolutional Network(Zeiler et al., 2011)이 그 논문인데 이 논문에서는 자세하게 언급되어 있지않다. 아마 지금에서 transposed convolution으로 불리는 연산이지않을까 싶다. 이에 관련해서는 정말 많은 자료를 봤지만 이 블로그가 제일 잘 설명 되어있었다. zzsza.github.io/data/2018/06/25/upsampling-with-transposed-convolution/

Result

아래에 나오는 그림들은 학습이 다된 네트워크에 validation set을 forwarding하면서 나오는 feature map들을 visualization한 결과이다. 9개의 랜덤한 feature map을 뽑아 그 결과를 나타낸것이다. 색깔이 있는 그림은 feature map 영역에 대응하는 원본 이미지 영역이다.

논문에는 layer 5까지 있지만, 귀찮다  layer 4보다는 layer 3이, 3보다는 2가 조금더 low-level의 feature를 뽑아내는 것을 알 수 있다. 즉 네트워크가 뒤쪽으로 갈수록 좀 더 complex한, high-level의 feature가 나타나는 것이다. 결론적으로 네트워크의뒤쪽의 convolution filter들은 좀 더 앞의 filter보다 복잡한 특징들을 추출하도록 학습이 된다는 점이 중요하다. 당연히 지금에서야 생각해보면 layer가 누적될수록 그에 대응하는 receptive field도 넓어질 것이고 이에따라 표현하는 feature, 즉 feature map의 channel도 늘어나니 이러한 결과는 당연하다고 보여지지만, 이때 당시에 이를 연구하고 이렇게 visualization을 통해 모델의 구조도 더 효율적으로 바꾼 점은 엄청나다고 생각한다. 

Model architecture

zfnet같은 경우 모델에는 큰 컨트리뷰션이 없다. alexnet과 매우 유사하지만, 전반적으로 convolution filter size가 조금더 작아진 것 뿐이다. 

결론적으로 이 논문은 논문 제목 그 자체로 visualization과 understanding에 초점이 맞춰져있는데, 그 목적한 바를 정확히 구현하고 결과로 보여줬다. 본문에도 썼듯이 지금에 봐서야 이 결과 이미지들이 당연하게 여겨지지만 이 당시의 연구로는 엄청나다고 생각한다. 일단 개인적으로  지금이야 pytorch, keras등 사용하기 쉬운 framework들이 많이 있지만 이때는..  코딩실력이 너무 대단하고 부럽다. 

개인적으로 읽고 쓰는 공부용 리뷰입니다.

틀린 점이 있을 수도 있으니 감안하고 읽어주세요. 피드백은 댓글로 부탁드립니다.

paper overview

• http://www.cs.toronto.edu/~hinton/absps/imagenet.pdf

• Alex Krizhevsky, University of Toronto, NIPS 2012

• 2012 ILSVRC에서 높은 성능으로 1위

• convolutional neural network(CNN) 사용5개의  conv layer와 3개의 fully connected layer로 구성

cf) 딥러닝 특성상 기술의 발전이 매우 빠르기때문에 8년전에 나온 이 논문은 사실 굉장히 올드하다. 그러므로 디테일하게 살펴보기보다는 중요한 키포인트만 짚고 넘어가는 것이 좋다.

main contributions

이 논문에서 주장하는 contribution은 다음과 같이 볼 수 있다.

• ReLU
• LRN
• multi-gpu
• overlapping pooling
• reduce overfitting
  • data augmentation
  • dropout

ReLU

alexnet에서는 activation function으로  relu를 사용한다. relu는 지금까지도 많이 사용되는 activation function으로 기존에 비해 어떠한 장점이 있는지 파악하는 것이 중요하다. 

일반적으로 사용되던 sigmoid나 tanh함수는 고질적으로 gradient vanishing의 문제가 있다. 두 함수다 비슷한 모양으로 양쪽 끝으로 기울기가 0에 수렴하는 (논문에서는 saturating 하다 라고 표현 함) 형태를 띄고 있기때문에, layer가 많이 누적 될수록 즉 모델의 뒷단으로 갈수록 기울기가 0으로 수렴해 backpropagation시 기울기가 충분히 전달이 되기 힘들다. 모델의 학습에 있어서 gradient vanishing은 학습의 가능 여부가 달려있기때문에 매우 중요하다.  

alexnet에서는 이를 해결하기위해 non-saturating한 ReLU를 활성화함수로 사용한다. 또한 relu의 사용은 보다 더 빠른 학습이 가능하다.

그렇다면 왜? relu를 사용했는데, gradient vanishing이 완화 될까? 일단 그래프 개형에서도 볼 수 있듯이 sigmoid나 tanh와 달리 relu는 수렴하지않는 개형을 띄고있다. 그러니까 x>0 일 때, 기울기가 0에 가까워지는 일은 있을 수 없다. 그렇기때문에 이 문제점을 완화 시킬 수 있고, 역전파시 충분한 기울기의 전달이 가능하기 때문에 당연히 동일 epoch대비 더 빠르게 수렴하는 것은 당연하다. 또한 relu는 미분 또한 매우 간단하다.

cf) 왜 0보다 작은 값은 무시할까?

맨 처음에 이 논문을 읽고 relu는 왜 양수만 고려할까? 라고 의문이 들었다. 아래 링크에서 굉장히 만족할만한 답변을 얻을 수 있었다. "무의미한 연결을 끊어(pruning의 개념) 모델의 sparse한 연결을 위하는것이 relu의 key point다." "negative value를 예측하는 것은 무의미하다." 등의 다양한 답변이 있는데 다 맞는말이다. 사실 근데 쉽게 생각하면 convolution filter는 어떠한 특징을 잘 찾아내도록 학습이 되어야한다. 그럼 filter가 특징점이 위치한 영역에서 convolution이 됐을 때, sobel이나 laplacian이 고주파영역에서 높은 값을 출력하듯이 당연히 high activation이 일어나도록 학습되어야 하는거 아닌가?  

https://stackoverflow.com/questions/60436685/why-does-almost-every-activation-function-saturate-at-negative-input-values-in-a

LRN 

local response normalization의 약어로 쉽게 생각하면 neuron의 output을 주변값과 평균 내는 것이다. 논문에서는 이 normalization이 generalization에 도움이 된다고 주장한다. 특정 노드의 출력이 주변에 비해 굉장히 크다면 학습시 이 노드에 편향될 수 도있는데, LRN은 이러한 효과를 억제 시킬 수 있다. 어차피 지금은 batch normalization, group normalization등 더나은 성능을 보여주는 normalization 기법들이 있기때문에 사용하지 않는다. 심지어 VGG논문에서는 LRN이 효과가 없었다고 적혀있다. 

Overlapping pooling

엄청 간단한 개념이다. pooling layer에서 stride보다 더 큰 필터를 사용하여, receptive field가 겹치게끔 하겠다는건데, 논문에서는 이 overlapping pooling의 효과로 다음과 같이 주장하고 있다. "We generally observe during training that models with overlapping pooling find it slightly more difficult to overfit." 사실 실험적인 결과라 나는 잘 모르겠다. 

Multi-gpu

지금이야 gpu들이 memory가 12기가는 우스울 정도로 고성능이지만 이 논문에서는 GTX 580(3GB)을 사용했다. ㄷㄷ 심지어 alexnet은 고용량의 모델이다. 당연히 이 gpu로는 학습이 힘들었기때문에 두대의 gpu를 사용했다. channel을 기준으로 반반씩 나누어서 사용했는데, 예를들어, feturemap의 channel이 96이라면 앞의 48 채널은 0번 gpu 뒤의 48 채널은 1번 gpu에서 연산하는 식으로 했다. 사실 이것은 지금 우리가 사용하는 grouped convolution(with G=2)와 같은 방식이다. resnext 논문을 보면 좀더 자세히 설명되어있다. 

Reduce overfitting

오버피팅을 방지하는 방법으로는 regularization, data augmentation 등등 다양한 방법이 있지만 이 논문에서는 특히 엄청난 data augmentation과 drop-out을 적용했다. data-augmentation은 resizing, cropping 등을 이용하여 데이터셋을 늘리는 방법이다. 데이터의 양을 늘리는 것은 모델의 학습이 더 잘되는 것과 직결되기때문에 근본적인 해결 방법이고 제일 효과적이다.

drop out은 학습 시 노드간의 연결을 확률 p에 근거하여 연산에 포함시키지 않는다.  당연히 매 학습마다 다양한 연결이 생성이 될것이고 이는 앙상블 효과를 낳기때문에 오버피팅방지에 도움이 된다. 그리고 inference시에는 학습 때사용한 p의 보상효과로 dropout이 적용된 레이어의 모든 연결에 p를 곱한다. 아래의 설명이 매우 명확하다.! 

Dropout is a regularization method that approximates training a large number of neural networks with different architectures in parallel. During training, some number of layer outputs are randomly ignored or “dropped out.” This has the effect of making the layer look-like and be treated-like a layer with a different number of nodes and connectivity to the prior layer. In effect, each update to a layer during training is performed with a different “view” of the configured layer.

cf) 과연 dropout은 진짜 regularization에 도움이 될까?

왜 이생각이 들었냐면, 실제로 모델을 설계하고 학습을 하다보면  gpu메모리를 상당히 많이 잡아먹고 학습에 큰 영향이 없는 것 처럼 보인다. 그래서 찾아봤다. 

>>> First, dropout is generally less effective at regularizing convolutional layers.
The reason? Since convolutional layers have few parameters, they need less regularization to begin with. Furthermore, because of the spatial relationships encoded in feature maps, activations can become highly correlated. This renders dropout ineffective.

>>> Second, what dropout is good at regularizing is becoming outdated.
Large models like VGG16 included fully connected layers at the end of the network. For models like this, overfitting was combatted by including dropout between fully connected layers. Unfortunately, recent architectures move away from this fully-connected block. By replacing dense layers with global average pooling, modern convnets have reduced model size while improving performance. I will write another post in the future detailing how to implement global average pooling in a convolutional network. Until then, I recommend reading the ResNet paper to get an idea of GAPs benefits.

ref)www.kdnuggets.com/2018/09/dropout-convolutional-networks.html