728x90 반응형 SMALL Paper/Segmentation7 [논문리뷰]Mask DINO : Towards A Unified Transformer-based Framework for Object Detection and Segmentation (작성중) https://arxiv.org/pdf/2206.02777.pdf 0. Abstract Mask DINO는 Object Detection과 Segmentation을 통합하는 framework다. 기존 DINO에 segmentation task를 할수 있게 한 모델이다. set of binary mask 형태로 예측하기 위해 high-resolution pixel embedding를 dotproduct(스칼라곱)하는 DINO의 query embeddings를 사용한다. DINO에서 몇몇 key components들은 공유되는 architecture와 train process를 통해서 Segmentation으로 확장되었다. Mask DINO는 simple, efficient, scalable 세단어로 형용할.. 2023. 6. 20. Combo Loss https://arxiv.org/abs/1805.02798 Combo Loss: Handling Input and Output Imbalance in Multi-Organ Segmentation Simultaneous segmentation of multiple organs from different medical imaging modalities is a crucial task as it can be utilized for computer-aided diagnosis, computer-assisted surgery, and therapy planning. Thanks to the recent advances in deep learning, se arxiv.org Combo Loss는 거짓 긍정 또는 거.. 2023. 6. 14. Focal Loss ( 초점 손실 함수 ) Cross Entropy Loss 의 클래스 불균형 문제를 해결하기 위해 고안된 손실 함수 높은 확률로 아닌 객체에 집중하는 함수 아래 표에서 y = -1 은 배경. 객체 분류시, 배경이 많이 차지하는 경우 배경에 대한 확률값을 매우 높여 더이상 다른 객체일 가능성을 두지 않게한다. 결론적으로, Focal loss는 정답이 아닌것에 정답이 아니라는 가중치를 매우 크게 실어 더이상 정답일 가능성을 두지 않게하는 것이다. 2023. 6. 13. UNet3+ 위 그림과 같이 학습중 Low-level feature는 공간 정보를 담고 있고, High-level feature는 위치정보를 담고 있다. 즉, 각 feature들은 다른 정보들을 담고 있다고 해석할 수 있다. Full-Scale Skip Connection - UNet3+는 U-Net과 U-Net++의 skip connection을 재설계하고, edecoder에 intra-connection을 도입했다. - 각 decoder layer에 더 작거나 같은 스케일의 encoder feature maps를 더 큰 스케일의 decoder feature maps에 더해 fine-grained details와 coarse-grained semantics를 모두 확보한다. - Fig 2.는 3번째 decoder .. 2023. 6. 5. U-Net++ U-Net++ 모델은 기존의 U-Net에서 skip connection을 재설계하여 성능을 높였다. 재설계한 skip connection은 DenseNet의 기법을 적용했다. skip connection은 이전 연산된 값을 더해주는 방식으로 설계되었으며, 해당 방식은 이미지의 정보를 잃는 것을 최대한 방지하는 효과를 준다. 위 그림과 같이 이전 정보를 전부 더해주는 방식은 Encoder와 Decoder의 Feature map간의 Semantic Gap을 더 줄일 수 있다. Deep Supervision은 4개의 시맨틱 정보(x(0,1)~x(0,4))를 모두 이용하여 평균내어 결과를 예측한다. Deep Supervision 방법은 선택적으로 적용할 수 있다. 2023. 6. 1. U-Net 의료 영상에 최적화할 수 있는 모델 의료 영상처리는 Localization이 중요하며, 픽셀마다의 class를 구별할 수 있어야 한다. 적은 데이터로 학습의 효율을 높이기 위해 많은 Data Augmentation을 적용했다. overlap-tile 기법을 사용해서 매끄러운 Segmentation을 만들 수 있었다. 현미경 이미지와 같이 큰 이미지를 입력으로 사용할 수 있게 하나의 이미지를 여러 개의 patch로 나눠 입력으로 사용하는데, 이때 overlap-tile 기법을 적용함으로써 큰 이미지를 입력으로 사용할 수 있게 한다. 입력 이미지의 크기는 출력 후 감소하기 때문에 overlap-tile 기법은 출력 패치 크기보다 더 큰 영역을 입력 패치로 사용한다. overlaptile 기법의 그림에서 파란.. 2023. 6. 1. Segmentation이란? Segmentation의 종류 1. Sementic segmentation : 객체 종류별로 구분하여 같은 색상으로 표현하고 한번에 masking함. 주변 배경을 포함하여 모든 pixel을 labeling. 2. Instance segmentation : 모든 객체가 개별로 취급되어 masking함 3. Panoptic segmentation : 모든 pixel을 labeling하면서 객체 종류 별로 masking함 CNN for Segmentation 1. CNN의 앞쪽 layer에서 학습하는 정보는 edges, colors등과 같은 저수준의 정보이다. 2. CNN의 뒷쪽 layer에서 학습하는 정보는 객체가 어떻게 다른지 분류할 수 있는 객체에 관한 정보이다. 3. CNN의 뒷쪽으로 갈 수록 spat.. 2022. 3. 16. 이전 1 다음 728x90 반응형 LIST
