요약

본 논문은 Feature Representation 의 채널 공분산에서, 이미지의 스타일 변화에 민감한 공분산만을 선택적으로 제약하는 새로운 loss 를 제안하여, Segmentation 에서의 Domain Generalization 문제 해결을 목적으로 한다. 제안하는 방법을 통해, 학습데이터셋과 크게 분포가 다른 임의의 새로운 데이터셋에서 발생하는 Baseline 모델의 성능저하를 크게 개선시킬 수 있다. 이는 특정 데이터셋에서만 성능을 측정하는 “벤치마크 성능” 이 아닌, Real World 에서 발생하는 다양한 새로운 환경에 Robust 하게 대응 가능한 “실제 성능” 이 높은 모델을 가능하게 한다.

 

Abstract

Enhancing the generalization capability of deep neural networks to unseen domains is crucial for safety-critical applications in the real world such as autonomous driving. To address this issue, this paper proposes a novel instance selective whitening loss to improve the robustness of the segmentation networks for unseen domains. Our approach disentangles the domain-specific style and domain invariant content encoded in higher-order statistics (i.e., feature covariance) of the feature representations and selectively removes only the style information causing domain shift. As shown in Fig. 1, our method provides reasonable predictions for (a) low-illuminated, (b) rainy, and (c) unseen structures. These types of images are not included in the training dataset, where the baseline shows a significant performance drop, contrary to ours. Being simple yet effective, our approach improves the robustness of various backbone networks without additional computational cost. We conduct extensive experiments in urban-scene segmentation and show the superiority of our approach to existing work. Our code is available at this link1 .