Diffusion Model

TLDR: Diffusion 모델은 노이즈 추가 과정을 역전시키는 방법을 학습하여 사실적인 데이터를 생성합니다. Stable Diffusion과 DALL-E가 가장 대표적인 예입니다.

Diffusion 모델은 생성형 AI 모델의 한 종류로, 제어된 파괴 과정을 역전시켜 데이터를 생성하는 방법을 학습합니다. 훈련 중에 모델은 ‘순방향 확산’의 모든 단계에서 이미지를 관찰합니다. 가우시안 노이즈가 단계적으로 추가되어 이미지가 순수한 노이즈가 될 때까지 진행됩니다. 모델은 그 역방향, 즉 각 단계에서 노이즈를 제거하는 방법을 학습합니다. 추론 시에는 무작위 노이즈에서 시작하여 단계적으로 노이즈를 제거해 새로운 이미지를 생성합니다.

Diffusion 모델의 작동 원리

1. 순방향 과정: T 타임스텝에 걸쳐 훈련 샘플에 가우시안 노이즈가 추가됩니다. 타임스텝 T에 이르면 데이터는 무작위 노이즈와 구별할 수 없게 됩니다.
2. 역방향 과정: 일반적으로 U-Net 또는 트랜스포머인 신경망이 각 단계에서 노이즈를 예측하고 제거하는 방법을 학습합니다.
3. 훈련 목표: 네트워크는 각 타임스텝에서 예측된 노이즈와 실제로 추가된 노이즈 간의 차이를 최소화합니다.
4. 샘플링: 순수한 가우시안 노이즈에서 시작하여 T개의 역방향 단계에 걸쳐 노이즈를 제거함으로써 새롭고 사실적인 샘플을 생성합니다.

조건화 및 텍스트 제어

Diffusion 모델은 텍스트 프롬프트, 클래스 레이블 또는 이미지에 따라 조건화될 수 있습니다. 텍스트-이미지 모델은 텍스트 인코더(예: CLIP)를 사용하여 노이즈 제거 과정을 안내합니다. 크로스-어텐션 레이어는 모든 노이즈 제거 단계에서 텍스트 신호를 주입합니다. 이를 통해 정밀한 제어가 가능합니다. 모델은 프롬프트가 설명하는 내용을 정확히 생성합니다. 텍스트 프롬프트의 품질은 매우 중요합니다. 프롬프트 엔지니어링을 참조하세요.

주요 Diffusion 모델

1. Stable Diffusion: 오픈소스 텍스트-이미지 모델로, 아트 생성 및 합성 데이터셋 제작에 널리 사용됩니다.
2. DALL-E 3: OpenAI의 텍스트-이미지 모델로, 프롬프트 준수와 포토리얼리즘에서 탁월한 성능을 발휘합니다.
3. Imagen: 텍스트 인코딩에 LLM을 사용하는 Google의 Diffusion 모델입니다.
4. Sora: OpenAI의 텍스트-비디오 모델로, 텍스트 프롬프트에서 사실적인 비디오 클립을 생성합니다.
5. AudioLDM: 텍스트 설명으로부터 오디오와 음악을 생성합니다.

Diffusion 모델과 훈련 데이터

Diffusion 모델은 다른 AI 시스템을 위한 합성 훈련 데이터를 생성하는 데도 활용됩니다. 컴퓨터 비전에서는 실제 레이블 데이터가 부족한 경우 합성 이미지로 그 공백을 채웁니다. Diffusion 모델 훈련에는 대규모의 수십억 개에 달하는 이미지-텍스트 쌍이 필요합니다. Bright Data의 데이터셋은 생성 모델 구축 및 파인튜닝을 위한 대규모의 큐레이션된 훈련 데이터를 제공합니다.