딥 러닝

요약: 딥 러닝은 많은 레이어를 가진 신경망을 사용하여 원시 데이터에서 직접 복잡한 패턴을 학습합니다. 컴퓨터 비전, 음성 인식, 대형 언어 모델을 구동합니다.

딥 러닝은 머신 러닝의 하위 분야입니다. 많은 은닉 레이어를 가진 신경망을 사용하며 — 이것이 ‘딥’이라는 용어의 유래입니다. 각 레이어는 입력의 점점 더 추상적인 표현을 학습합니다. 초기 레이어는 엣지와 텍스처 같은 단순한 특징을 감지합니다. 더 깊은 레이어는 얼굴이나 문장 의미 같은 복잡한 개념을 인식합니다. 딥 러닝은 수동 특징 엔지니어링을 대부분 제거하며 — 네트워크가 데이터에서 직접 무엇을 찾아야 할지 학습합니다.

주요 아키텍처

1. 합성곱 신경망(CNN): 컴퓨터 비전의 지배적인 아키텍처입니다. 이미지에서 특징의 공간적 계층을 학습합니다.
2. 순환 신경망(RNN) / LSTM: 순차 데이터를 처리합니다. 음성 및 초기 NLP 작업에 사용됩니다.
3. 트랜스포머: 자기 주의를 사용하여 장거리 의존성을 모델링합니다. 현재 NLP의 지배적인 아키텍처이며 비전에도 점점 더 많이 사용됩니다.
4. 확산 모델: 노이즈 과정을 역전시켜 데이터를 생성하는 방법을 학습합니다. 참조: 확산 모델.

딥 러닝의 작동 방식

1. 데이터 입력: 원시 데이터(이미지, 텍스트, 오디오)가 입력 레이어에 들어옵니다.
2. 순전파: 데이터가 레이어를 통해 흐릅니다. 각 레이어는 선형 변환과 비선형 활성화 함수를 적용합니다.
3. 손실 계산: 출력이 정답 레이블과 비교됩니다.
4. 역전파: 오류 기울기가 역방향으로 흐릅니다. 손실을 줄이기 위해 경사 하강법으로 가중치가 업데이트됩니다.
5. 반복: 1~4단계가 수백만 개의 훈련 예제에 걸쳐 반복됩니다.

응용 분야

1. 컴퓨터 비전: 객체 감지, 시맨틱 분할, 이미지 분류.
2. 자연어 처리: 번역, 요약, 챗봇.
3. 음성 인식: 구어를 정확하게 텍스트로 변환.
4. 자율 주행: 실시간 인식을 위한 다중 센서 데이터 융합.
5. 신약 개발: 분자 특성 및 단백질 구조 예측.

딥 러닝과 훈련 데이터

딥 러닝은 데이터를 많이 필요로 합니다. 더 많은 데이터는 일반적으로 더 나은 일반화를 가져옵니다. 데이터 다양성은 좁은 분포에 대한 과적합을 방지합니다. 전이 학습은 사전 훈련된 가중치에서 시작하여 데이터 요구 사항을 줄입니다. Bright Data의 데이터셋은 딥 러닝 팀에게 고품질 훈련 데이터를 제공합니다.