실측 자료(Ground Truth)

요약: 실측 자료(Ground Truth)는 머신 러닝 모델이 예측하도록 학습되는 검증된 레이블 또는 정답입니다. 그 품질이 모델의 정확도를 직접적으로 결정합니다.

머신 러닝에서 실측 자료(Ground Truth)란 학습 데이터에 첨부된 정확하고 검증된 레이블을 의미합니다. 실측 자료 레이블은 주어진 입력에 대한 올바른 정답이 무엇인지 모델에게 알려줍니다. 이미지 분류 작업의 경우, 실측 자료는 ‘고양이’라는 레이블일 수 있습니다. 객체 감지의 경우, 장면 내 모든 객체의 바운딩 박스와 클래스가 해당됩니다. 이 용어는 항공 또는 위성 데이터를 확인하는 현장 측정인 원격 감지에서 유래했습니다.

지도 학습에서의 실측 자료

지도 학습은 레이블이 지정된 데이터를 필요로 합니다. 각 학습 예제는 실측 자료 출력과 쌍을 이룹니다. 모델은 예측값과 실측 자료 간의 차이를 최소화하도록 학습합니다. 이 차이는 손실 함수로 측정됩니다. 실측 자료 레이블의 품질은 모델 성능에 영향을 미치는 가장 중요한 단일 요소입니다. 노이즈가 많거나 일관성 없는 레이블은 모델을 신뢰할 수 없게 만듭니다.

실측 자료 생성 방법

1. 수동 어노테이션: 어노테이터가 이미지, 텍스트, 오디오 또는 센서 데이터를 직접 레이블링합니다.
2. 전문가 검토: 특히 의료 또는 법률 작업에서 도메인 전문가가 레이블을 검증합니다.
3. 자동 레이블링: 기존의 구조화된 데이터 또는 메타데이터가 자동으로 레이블을 제공합니다.
4. 크라우드소싱: Mechanical Turk 같은 플랫폼이 대규모로 어노테이션 작업을 분배합니다.
5. 합성 생성: 합성 데이터 파이프라인이 완벽한 내장 레이블과 함께 데이터를 생성합니다.

실측 자료 vs. 모델 예측

학습 중 모델은 테스트 실측 자료를 볼 수 없습니다. 평가 지표는 모델 예측을 보류된 실측 자료와 비교합니다. 일반적인 지표로는 정확도, 정밀도, 재현율, F1 점수, 평균 정밀도(mAP)가 있습니다. 학습 실측 자료에서는 좋은 성능을 보이지만 테스트 데이터에서 저조한 모델은 과적합된 것입니다.

컴퓨터 비전 및 로보틱스에서의 실측 자료

1. 객체 감지: 실측 자료 바운딩 박스가 학습 이미지의 모든 객체에 레이블을 붙입니다.
2. 3D 매핑: LiDAR로 캡처한 포인트 클라우드가 장면 이해를 위한 공간적 실측 자료를 제공합니다.
3. 자율 주행: 실측 자료 지도는 차선 위치와 장애물 위치를 보여줍니다.
4. 자연어 처리: 인간이 작성한 답변이 질문-응답 모델의 실측 자료로 사용됩니다.

대규모 데이터 품질과 실측 자료

대규모 AI 프로젝트는 수백만 개의 정확하게 레이블된 예제를 필요로 합니다. 일관성 없는 어노테이션 지침은 레이블 노이즈를 생성합니다. 레이블 노이즈는 심각도에 비례하여 모델 정확도를 저하시킵니다. Bright Data의 데이터셋은 실제 소스에서 수집된 고품질의 구조화된 학습 데이터를 제공합니다.