Segmentation이란?

Segmentation의 종류

1. Sementic segmentation

  : 객체 종류별로 구분하여 같은 색상으로 표현하고 한번에 masking함. 주변 배경을 포함하여 모든 pixel을 labeling.

2. Instance segmentation

  : 모든 객체가 개별로 취급되어 masking함

3. Panoptic segmentation

  : 모든 pixel을 labeling하면서 객체 종류 별로 masking함

 

CNN for Segmentation

1. CNN의 앞쪽 layer에서 학습하는 정보는 edges, colors등과 같은 저수준의 정보이다.

2. CNN의 뒷쪽 layer에서 학습하는 정보는 객체가 어떻게 다른지 분류할 수 있는 객체에 관한 정보이다.

3. CNN의 뒷쪽으로 갈 수록 spatial info가 사라진다.

    -> 학습이 진행될수록 pooling layer, stride, padding과 같은 연산으로 이미지의 높이, 너비가 작아짐 (downsampling)

    -> fully connected layer를 사용하면 다 사라지기 때문에 1x1 conv로 대체하여 사용

 

Encoder Decoder

CNN의 앞쪽 layer의 downsampling 과정을 encoding이라고 한다.  encoding으로 줄어든 이미지 크기를 되돌리기(?) 위해 upsampling을 적용한 decoder를 적용한다. encoding으로 손실되는 spatial info들이 decoder로 되살려지는 것은 아니기 때문에 skip connection을 적용한다.

 

Skip connections

저수준 정보가 손실되면 segmentation했을때 경계가 모호해지는 문제가 있다. 아래의 그림과 같이 손실되기 전의 정보를 합해주는 skip connection을 적용한다.