Augmentation for small object detection

논문 : Augmentation for small object detection

1. Introduction

이미지에서 객체를 검출하는 것은 오늘날의 컴퓨터 비전 연구의 근본적인 task들중 하나이다.

객체 검출은 로봇, 자율주행, 인공위성, 항공 영상 분석 그리고 의료 영상에서 장기와 덩어리의 위치 파악을 포함하여 실제로 적용되기 위한 시작점이 된다.

객체검출의 이 중요한 문제는 최근에 많은 발전이 있었다.

MSCOCO로 객체 검출의 경쟁에서 정확도가 2015년 0.373에서 2017년 0.525로 증가하였다.

비슷한 진전은 MSCOCO의 segmentation 분야에서도 관찰할 수 있었다.

이러한 성능향상에도 불구하고 소형 객체에 대한 성능은 실적이 저조하다.

MSCOCO 데이터셋에서의 객체 크기를 분류하는 기준은 아래의 표를 기준으로 한다.

위 그림을 보면 소형 객체와 대형 객체의 성능의 큰 차이를 확인할 수 있다.

소형 객체 검출은 후속 연구에서 중요하다. 

자동차에서의 고해상도 사진에서의 소형객체 또는 거리가 있는 객체 검출은 자율주행 자동차를 안전하게 이용하는것에 필수적이다.

신호등 또는 보행자들과 같은 많은 객체들은 고해상도 이미지에서 겨우 볼수 있다.

의료 영상에서, 암과같은 덩어리를 일찍 발견하는 것은 정확하고 빠른 진단을 내리기 위해 중요하다. 암과같은 요소는 픽셀 몇개에 해당하는 아주 작은 크기이다.

자동적인 산업검사는 재료의 표면에서 볼수있는 작은 결함의 위치를 소형객체검출로 찾아내면서 이익을 볼수있다.

또다른 어플리케이션으로는 인공위성 영상 분석이 있다. 자동차, 배, 집과 같은 객체들이 있는 곳을 효율적으로 주석을 달수 있다.

평균 픽셀당 0.5~5m로 위 언급한 객체들은 매우 작은 크기를 지닌다.

다른말로하면 실제 세계에서 더 많은 복잡한 시스템이 배치됨에 따라 소형객체검출은 더많은 관심을 요구한다.

그러므로 본논문은 소형객체검출 성능 향상을 위한 새로운 방법을 제안한다.

 

MSCOCO 데이터셋의 소형객체의 두가지 특성은

1. 데이터셋에서 소형객체를 상대적으로 매우 적게 포함하고 있다. 대형과 중형의 객체에 집중되어 있다.

2. 소형 객체가 커버하고 있는 구역은 훨씬 적다. 이것은 소형객체의 위치적 다양성의 부족을 의미한다.

 

위와 같은 문제들이 테스트에서 객체 감지 모델이 이미지의 덜 탐색된 부분에 나타날 때, 작은 물체로 일반화하기 어렵게 한다고 추측한다.

본논문에서는 첫번째 문제는 소형객체가 담긴 이미지를 오버샘플링하여 해결한다.

두번째 문제는 소형객체가 담긴 이미지에서 소형객체를 복사-붙여넣기 하는 방식으로 해결한다.

각 객체를 붙여넣을때, 붙여진 객체가 다른 객체에 겹쳐지진 않는다.

이러한 방식은 객체들의 정확한 문맥을 보여주면서소형객체의 위치의 다양성을 보장해준다.

 

 

3. Identifying issues with detecting small objects

실험에 사용한 MSCOCO 데이터셋에 대해서 살펴보고 논문에서 제안하는 것이 소형객체검출에 어떠한 기여를 했는지 알아보고자 한다.

 

3.1 MSCOCO

[images]

training   - 118,287

validation - 5,000

test        - 40,670

 

[objects]

bounding boxes - 860,001

instance masks - 36,781

80 categories

 

MSCOCO 데이터셋을 사용한 검출 챌린지에서 중요한 평가 방법은 정확도이다.

 

 

4. Oversampling and Augmentation

학습모델을 소형객체에 더 집중하게하기 위해서 소형객체들을 포함하는 이미지들을 오버샘플링하고 소형객체 증강기법을 수행한다.

Mask R-CNN을 사용하여 제안된 접근 방식을 평가하지만, 오버샘플링과 증강 모두 데이터 전처리로 수행되므로 일반적으로 다른 물체 감지 네트워크나 프레임워크에서 사용할 수 있다.

Oversampling

훈련 중에 이미지를 오버샘플링하여 상대적으로 작은 개체를 포함하는 이미지 수가 적은 문제를 해결한다.

MS COCO 데이터 세트의 이러한 문제를 완화하고 소형 물체 감지 성능을 향상시킬 수 있는 쉽고 간단한 방법이다.

실험에서, 오버샘플링 비율을 변경하고 오버샘플링이 소형 물체 감지뿐만 아니라 중대형 물체 감지에도 미치는 영향을 실험한다.

 

Augmentation

오버샘플링 외에도 작은 개체에 초점을 맞춘 데이터 세트 증강기법도 소개한다.

MSCOCO 데이터 세트에 제공된 인스턴스 분할 마스크를 사용하여 원래 위치에서 모든 개체의 복사본을 만들 수 있습니다.

복사된 것은 다른 위치들에 붙여넣기된다.

각 이미지에서 소형 객체들의 수를 증가시킴으로써 일치하는 앵커가 증가한다.

이것은 다시 훈련 중 RPN의 손실 함수를 계산하는 데 작은 개체의 기여를 개선한다.

 

객체를 새로운 위치에 붙이기 전에, 임의 변환을 적용한다.

객체의 크기를 ±20%로 변형시키고, ±15◦ 로 객체를 회전한다.

보이지 않는 부분에 분리된 segmentation mask들을 붙이는 것이 비현실적으로 보이게 하기 때문에 오염되지않은 객체만 고려한다.

새로 붙여넣은 개체가 기존 개체와 겹치지 않으며 이미지 경계에서 최소 5픽셀 이상 떨어져 있어야 한다.

fig 4처럼, 제안된 증강기법과 그것이 훈련 중에 일치하는 앵커의 수를 증가시켜 작은 물체의 더 나은 검출기로 이끄는 방법을 그래픽으로 설명한다.

5. Experimental Setup

1. Oversampling

첫 번째 실험 세트에서는 작은 물체를 포함하는 오버샘플링 이미지의 효과를 실험한다.

오버샘플링의 비율을 2, 3, 4배로 변형한다.

실제 확률적 오버샘플링 대신 효율성을 위해 오프라인에서 작은 개체를 사용하여 여러 개의 이미지 복사본을 만듭니다.

 

2. Augmentation

두 번째 실험에서는 증강을 사용하는 것이 소형객체 검출 및 분할에 미치는 영향을 실험한다.

각 이미지의 소형 객체들을 한번씩 복사하고 붙여넣는다.

또한 오버샘플링 기법과 증강 기법 간의 상호 작용을 연구하기 위해 이미지를 작은 개체로 오버샘플링한다.

세가지 세팅을 한다.

1. 각 이미지의 소형 객체를 복사-붙여넣은 소형 객체로 교체한다.

2. 증강된 이미지들을 복제해서 오버샘플링을 흉내낸다.

3. 원본 이미지와 증강된 이미지를 모두 유지하는데, 이는 2의 배수의 소형 객체로 이미지를 오버샘플링하는 것과 같으며, 더 작은 개체로 복제된 복사본을 증가시킨다.

 

3. Copy-Pasting Strategies

소형 객체를 복사하여 붙여넣는 방법은 여러 가지가 있습니다.

세개의 분리되는 전략을 사용한다.

1. 이미지에서 하나의 소형 개체를 선택하고 임의의 위치에 여러 번 복사한다.

2. 수많은 소형 객체들을 선택하고 이것들 각각을 임의의 위치에 정확히 한 번 복사한다.

3. 각 이미지의 모든 소형 객체를 무작위로 여러 번 복사한다.

 

2번의 세번째 세팅을 선택하여 원본 이미지와 증강된 복사본을 모두 유지한다.

 

4. Pasting Algorithms

소형 객체의 복사본을 붙여넣을 때 고려해야 할 두 가지가 있다.

1. 붙여넣은 객체가 다른 객체와 겹치는지 여부를 결정해야 한다. 중복을 도입하지 않기로 선택했지만 좋은 전략인지 실험적으로 검증한다.

2. 붙여넣은 개체의 가장자리를 매끄럽게 하기 위해 추가 절차를 수행할지 여부를 선택한다. 다양한 필터 크기로 객체의 경계를 가우스 블러가 추가 처리의 효과를 실험한다.

 

 

6.. Experimental Setup

 

7. Conclusion

소형 객체 검출의 문제를 실험하였다.

소형 객체에 대한 낮은 평균 정확도 뒤에 있는 요인 중 하나는 훈련 데이터에서 소형객체의 표현력의 부족이라는 것을 보여주었다.

이는 특히 훈련 중에 예측 앵커가 일치시킬 수 있을 만큼 충분한 물체가 있어야 하는 기존의 최첨단 물체 검출기에 해당된다.

우리는 이 문제를 극복하기 위해 원래의 MS COCO 데이터베이스를 강화하는 두 가지 전략을 제안했다.

1. 훈련 중에 소형 객체를 포함하는 이미지를 오버샘플링하여 소형 객체에 대한 성능을 쉽게 향상시킬 수 있다는 것을 보여준다.

2. 복사 붙여넣기 작은 객체를 기반으로 하는 증강 알고리즘을 제안한다.

실험을통해서 MS COCO에서 Mask R-CNN이 획득한 최신 기술과 비교하여 인스턴스 분할의 경우 9.7%, 소형 물체의 경우 물체 검출의 경우 7.1%의 상대적인 개선을 입증했다.

제안된 증강 기법은 실험을 통해 확인된 바와 같이 소형 객체와 대형 객체에 대한 검출에 대한 정확도의 균형을 제공한다.