시맨틱 세그멘테이션

요약: 시맨틱 세그멘테이션은 이미지의 모든 픽셀에 클래스 카테고리 레이블을 지정합니다. 이를 통해 기계가 장면을 픽셀 수준에서 세밀하게 이해할 수 있습니다.

시맨틱 세그멘테이션은 컴퓨터 비전의 과제입니다. 이미지의 모든 픽셀을 도로, 자동차, 보행자, 하늘, 건물 등 사전 정의된 카테고리로 분류합니다. 바운딩 박스를 그리는 객체 감지와 달리, 시맨틱 세그멘테이션은 클래스별로 정확한 픽셀 마스크를 생성합니다. 모델이 객체의 형태와 위치를 세밀하게 이해할 수 있도록 합니다. 이러한 정밀도는 자율 주행과 의료 영상 분야에서 매우 중요합니다.

세그멘테이션의 유형

1. 시맨틱 세그멘테이션: 동일한 클래스의 모든 픽셀이 하나의 레이블을 공유합니다. 두 대의 자동차 모두 ‘자동차’로 레이블이 지정되며 개별 인스턴스 간 구분이 없습니다.
2. 인스턴스 세그멘테이션: 동일한 클래스의 개별 객체를 구분합니다. 각 자동차는 고유한 ID와 마스크를 가집니다.
3. 파노픽 세그멘테이션: 두 방식을 결합하여 모든 픽셀에 클래스 레이블을 지정하고, 자동차와 사람 같은 셀 수 있는 객체에는 고유한 인스턴스 ID를 부여합니다.

주요 모델 아키텍처

1. 완전 합성곱 네트워크(FCN): 시맨틱 세그멘테이션을 위한 최초의 엔드-투-엔드 모델입니다. 밀집 레이어를 합성곱 레이어로 대체하여 픽셀 단위 출력을 생성합니다.
2. U-Net: 스킵 연결이 있는 인코더-디코더 구조로, 의료 영상 세그멘테이션의 표준 아키텍처입니다.
3. DeepLab v3+: 확장 합성곱과 ASPP를 사용하여 다중 스케일 컨텍스트를 캡처합니다. 벤치마크 데이터셋에서 최첨단 성능을 발휘합니다.
4. Segment Anything Model(SAM): 모든 객체 카테고리에 대한 제로샷 세그멘테이션을 위한 Meta의 파운데이션 모델입니다.

응용 분야

1. 자율 주행 차량: 실시간으로 도로, 차선 표시, 차량, 보행자를 세그멘테이션합니다. 3D 장면 이해를 위해 LiDAR 포인트 클라우드와 결합됩니다.
2. 의료 영상: MRI, CT, 병리 스캔에서 종양, 장기, 조직을 세그멘테이션합니다.
3. 위성 이미지: 항공 이미지에서 토지 이용을 매핑하고, 삼림 벌채를 감지하며, 인프라를 모니터링합니다.
4. 로보틱스: 작업 공간 표면을 세그멘테이션하여 로봇 조작과 안전한 내비게이션을 안내합니다.
5. 증강 현실: 장면 오버레이와 효과를 위해 전경과 배경을 분리합니다.

세그멘테이션 모델을 위한 학습 데이터

시맨틱 세그멘테이션은 밀도 높게 어노테이션된 이미지를 필요로 합니다. 모든 픽셀에 레이블이 있어야 하므로 데이터 레이블링 중 가장 노동 집약적인 형태에 속합니다. 단일 주행 장면의 픽셀 완벽 어노테이션에는 90분이 소요될 수 있습니다. 시뮬레이션의 합성 데이터는 무료 픽셀 수준의 그라운드 트루스를 제공하고 어노테이션 비용을 크게 낮춥니다. Bright Data의 데이터셋은 대규모 세그멘테이션용 학습 데이터셋 구축을 위한 대규모 이미지 컬렉션을 제공합니다.