전이 학습

요약: 전이 학습은 하나의 작업에 훈련된 모델을 새로운 작업에 적용합니다. 이는 효과적인 AI 시스템을 훈련하는 데 필요한 데이터와 연산량을 크게 줄여줍니다.

전이 학습은 머신러닝의 기술입니다. 대규모 소스 작업에 훈련된 모델이 다른 대상 작업의 시작점으로 재사용됩니다. 모델은 첫 번째 작업에서 얻은 지식을 전달합니다. 이는 대상 작업에 대한 레이블 데이터가 부족할 때 특히 유용합니다. 모델을 처음부터 훈련하려면 방대한 데이터와 연산이 필요합니다. 전이 학습은 훨씬 적은 예시로 강력한 결과를 달성합니다.

전이 학습의 작동 방식

1. 사전 훈련: 대형 모델이 크고 일반적인 데이터셋으로 훈련됩니다. 비전의 경우 주로 ImageNet이 사용되며, 언어의 경우 대규모 텍스트 코퍼스가 사용됩니다.
2. 전이: 사전 훈련된 모델의 가중치가 새 모델에 복사됩니다.
3. 미세 조정: 새 모델이 더 작은 작업별 데이터셋으로 추가 훈련됩니다. 초기 레이어는 고정되고 후반 레이어는 업데이트됩니다.

주요 접근 방식

1. 특징 추출: 사전 훈련된 모델이 고정된 특징 추출기로 사용됩니다. 새로운 분류기 헤드만 훈련됩니다.
2. 미세 조정: 사전 훈련된 모델의 전부 또는 일부가 낮은 학습률로 새 데이터셋에서 재훈련됩니다.
3. 도메인 적응: 모델이 최소한의 레이블된 대상 데이터로 한 도메인(예: 사진)에서 다른 도메인(예: 의료 스캔)으로 적응합니다.

응용 분야

1. 컴퓨터 비전: ImageNet에서 사전 훈련된 CNN이 의료 영상, 결함 감지 또는 위성 이미지에 미세 조정됩니다. 참조: 컴퓨터 비전.
2. NLP: BERT 및 GPT와 같은 모델이 웹 텍스트로 사전 훈련된 후 감성 분석, 개체명 인식 또는 질의응답에 미세 조정됩니다.
3. 로보틱스: 시뮬레이션에서 학습된 조작 기술이 실제 로봇에 전이됩니다. 이는 비용이 많이 드는 실세계 훈련 데이터 수집을 줄여줍니다.
4. 자율 주행: 대규모 데이터셋에서 사전 훈련된 인식 모델이 제한된 새 데이터로 새로운 차량 유형이나 환경에 적응합니다.

전이 학습과 데이터 효율성

전이 학습은 현대 AI에서 가장 실용적인 기술 중 하나입니다. 레이블된 데이터 요구 사항을 수백만 개에서 수천 개의 예시로 줄여줍니다. 소스 도메인 데이터의 품질은 여전히 중요합니다. 깨끗하고 다양한 데이터로 사전 훈련된 모델이 더 잘 전이됩니다. Bright Data의 데이터셋은 팀이 다양한 도메인에서 고품질 사전 훈련 코퍼스와 미세 조정 데이터셋을 구축하도록 지원합니다.