이 튜토리얼에서는 다음을 배웁니다:
- Dify가 무엇이며 AI 에이전트 구축에 흥미로운 도구인 이유.
- 신뢰할 수 있는 결과를 제공하기 위해 AI 에이전트가 최신 정확한 웹 데이터에 접근해야 하는 이유.
- 노코드 Dify 워크플로를 활용해 데이터 검색 기능을 갖춘 AI 에이전트를 만드는 방법.
시작해 보겠습니다!
Dify란 무엇인가요?
Dify는 대규모 언어 모델(LLM)을 활용한 생성형 AI 애플리케이션 구축을 위한 오픈소스 플랫폼으로 점점 더 인기를 얻고 있습니다. AI 워크플로우와 RAG 파이프라인을 생성하기 위한 노코드/로우코드 시각적 인터페이스를 제공함으로써 개발 과정을 간소화합니다.
자체 호스팅 오픈소스 버전으로 Dify를 활용하거나 , 설정 없이 클라우드에서 바로 사용할 수 있습니다(여기서는 후자를 다룹니다). 본질적으로 LLM 운영을 위한 BaaS(백엔드 서비스) 역할을 합니다.
Dify는 다양한 LLM을 지원하며 여러 플러그인을 통해 광범위한 통합 기능을 제공합니다. 이를 통해 다양한 타사 서비스 및 솔루션과 연결할 수 있습니다. 현재 마켓플레이스에는 약 100개의 플러그인과 확장 프로그램이 등록되어 있습니다.
AI 에이전트는 정확하고 효과적이어야 합니다
어떤 AI 에이전트 구축 플랫폼, 라이브러리 또는 도구를 선택하든 주요 한계가 존재합니다: 정확성을 위해 AI 에이전트는 고품질 데이터가 필요합니다. 이 점에서 웹은 가장 풍부하고 신뢰할 수 있는 데이터 소스 중 하나임을 명심하세요.
따라서 진정한 효과를 발휘하려면 AI 에이전트가 웹 페이지에서 직접 데이터를 접근하고 추출할 수 있어야 합니다. 그러나 단순히 원시 콘텐츠를 가져오는 것만으로는 충분하지 않습니다. 데이터는 AI 사용에 최적화되어야 하며, 이상적으로는 마크다운(Markdown) 형식이어야 합니다.
프로 팁: 마크다운은 간결하고 AI 모델이 처리하기 쉬워, 저희 벤치마크에서도 확인된 바와 같이 더 정확한 결과를 이끌어내는 경우가 많습니다.
바로 이 때문에 Dify AI 에이전트에는 모든 웹 페이지에서 마크다운과 같은 구조화된 콘텐츠를 추출할 수 있는 플러그인이 필요합니다. Bright Data Dify 플러그인이 바로 이를 제공합니다. 여기에 더해, 이 플러그인은 노코드 AI 에이전트가 검색 엔진과 50개 이상의 인기 플랫폼에서 구조화된 JSON 형식의 최신 데이터를 가져올 수 있게 합니다.
Bright Data 플러그인은 CAPTCHA, IP 차단, 속도 제한 등 웹 스크래핑의 모든 어려움을 대신 처리합니다. 이후 Dify의 노코드 플로우 빌더를 통해 노드 연결만으로 모든 기능을 AI 에이전트에 통합할 수 있습니다. 그 결과 신뢰할 수 있는 실시간 웹 데이터에 접근 가능한 즉시 사용 가능한 AI 에이전트가 완성됩니다.
Dify에 Bright Data 플러그인을 통합하여 AI 에이전트 구축하는 방법
이 가이드 섹션에서는 Dify에서 AI 에이전트를 구축하는 방법을 배웁니다. 특히 Bright Data 플러그인을 AI 지원 데이터 엔진으로 활용하여 신뢰할 수 있는 정보로 에이전트를 구동하는 방법을 다룹니다.
모든 웹 페이지의 내용을 요약할 수 있는 간단한 요약 에이전트 구축 과정을 단계별로 안내합니다. 이는 Dify와 Bright Data 통합으로 가능한 기능을 보여주는 하나의 예시일 뿐입니다. 다른 다양한 사용 사례도 마찬가지로 쉽게 구현할 수 있습니다.
참고: 선택한 예시는 일종의 RAG 에이전트 워크플로로 볼 수 있습니다. Bright Data 플러그인이 RAG 에이전트 프로세스에서 검색 구성 요소 역할을 하기 때문입니다.
Dify에서 최신 웹 데이터에 접근하는 노코드 AI 에이전트를 생성하려면 아래 단계를 따르세요!
필수 조건
이 튜토리얼을 재현하고 Bright Data로 구동되는 Dify AI 에이전트를 구축하려면 다음이 필요합니다:
- Dify 계정 (무료 플랜으로도 충분합니다).
- Bright Data API 키.
- LLM 제공업체의 API 키 (본 예시에서는 Gemini API 키를 사용합니다)
아직 준비되지 않았다면 위 링크를 클릭하고 설정 안내를 따르세요.
1단계: LLM 통합
참고: Dify 계정에 이미 LLM 통합이 설정되어 있다면 이 단계를 건너뛸 수 있습니다.
Dify에서 AI 에이전트를 구축하려면 먼저 LLM 공급자를 구성해야 합니다. 이를 위해 Dify에 로그인하여 대시보드로 이동하세요. 오른쪽 상단 모서리의 프로필 사진을 클릭하고 “설정” 옵션을 선택하세요:
모달의 사이드바에서 “모델 제공자” 옵션을 클릭하세요. 여기서 사용하려는 LLM 제공자를 설치할 수 있습니다. 본 튜토리얼에서는 Gemini(API를 통해 무료로 사용 가능)를 활용하겠습니다:
Gemini 옵션 위로 마우스를 가져간 후 “설치” 버튼을 누릅니다. 설치가 완료되면 “설정” 버튼을 클릭하고 Gemini API 키를 붙여넣어 구성을 완료하세요:
그 후 “시스템 모델 설정”을 눌러 Dify 계정의 글로벌 LLM 제공자로 Gemini를 설정하세요:
사용할 모델을 선택하세요. 본 예시에서는 “Gemini 2.0 Flash”(API를 통해 무료)를 선택합니다. 이후 “저장”을 클릭하세요:
완료! Dify의 LLM 통합이 이제 완료되었습니다.
2단계: Bright Data 플러그인 설치
이제 Bright Data Dify 플러그인을 설치할 차례입니다. 프로필 사진 왼쪽 사이드바에 있는 “PLUGINS” 옵션을 클릭하세요:
Dify 플러그인 마켓플레이스 섹션에서 “플러그인 설치” 버튼을 클릭한 후 “GitHub” 옵션을 선택하세요:
표시되는 모달 창에 Bright Data Dify 플러그인의 GitHub URL을 붙여넣으세요:
https://github.com/Idanvilenski/BrightData_Dify_Plugin
플러그인 버전(최신 버전 권장)을 선택하고, 플러그인 패키지를 선택한 후 “다음”을 클릭하세요:
“설치”를 클릭하여 플러그인 설치를 완료하세요. 설치 후 플러그인 카드를 클릭하세요. 오른쪽에 열리는 패널에서 “승인” 버튼을 클릭하세요:
Bright Data API 토큰을 붙여넣고 “저장”을 클릭하세요:
완료! Bright Data Dify 플러그인이 설치되었으며, 이제 해당 도구를 사용할 수 있습니다.
3단계: 새로운 Dify 애플리케이션 생성
이제 코드 없이 AI 요약 에이전트를 생성할 모든 준비가 완료되었습니다. Dify 대시보드로 돌아가 “앱 생성 > 빈 템플릿으로 생성”을 클릭하여 새 AI 에이전트 프로젝트를 시작하세요:
“워크플로우” 템플릿을 선택하고, AI 에이전트 이름을 “AI 요약 에이전트” 등으로 지정한 후 “생성”을 클릭하여 앱을 초기화하세요:
노드를 연결하여 에이전트를 구축할 수 있는 시각적 캔버스가 표시됩니다:
여기서 다양한 구성 요소를 연결하여 AI 에이전트의 논리와 데이터 흐름을 정의하게 됩니다. 훌륭합니다!
4단계: AI 에이전트 로직 설계
노코드 AI 에이전트를 구현하기 전에, AI 에이전트가 수행해야 할 작업을 설계하는 데 시간을 할애하세요. 이 경우 AI 에이전트는 다음을 수행해야 합니다:
- 요약할 웹 페이지의 URL을 수신합니다.
- 해당 URL을 Bright Data 플러그인에 전달하여 페이지 콘텐츠를 마크다운 형식으로 가져옵니다.
- 요약 생성 프롬프트와 함께 마크다운 콘텐츠를 설정된 LLM으로 전송합니다.
- 요약된 내용을 사용자에게 반환합니다.
다음 네 단계에서 Dify의 노드 연결 및 플러그인 활용을 통해 각 작업을 구현합니다.
단계 #5: 페이지 URL 입력 매개변수 구성
먼저 “START” 노드를 클릭한 후 “+” 아이콘을 클릭하여 새 입력 변수를 추가합니다:
입력 유형 옵션에서 “단락” 데이터 유형을 선택합니다. URL과 같은 텍스트 입력을 위해 이상적입니다. 입력 변수 이름을 page_url 등으로 지정합니다:
이 입력값은 AI 에이전트 작동에 필수적이므로 “필수” 토글이 켜져 있는지 확인하세요. 저장 후 다음과 같은 화면이 표시됩니다:
이제 “START” 노드에 사용자 정의 입력 변수가 표시되는 것을 확인할 수 있습니다. 잘하셨습니다!
6단계: Bright Data 플러그인으로 마크다운 콘텐츠 가져오기
“START” 노드의 “+” 버튼을 클릭하고 Bright Data 플러그인을 선택하세요. 그런 다음 “Scrape As Markdown” 도구를 선택하세요:
도구를 구성하여 입력 매개변수로 page_url을 설정하세요. 또한 “실패 시 재시도” 옵션을 활성화하세요. 이렇게 하면 스크래핑 과정에서 오류가 발생할 경우 Bright Data 플러그인이 자동으로 재시도합니다:
훌륭합니다! Bright Data 플러그인이 제공된 URL을 가져와 페이지를 스크래핑한 후 마크다운 형식으로 콘텐츠를 반환합니다.
7단계: LLM 요약 로직 통합
다음 단계는 Bright Data 플러그인이 반환한 마크다운 콘텐츠를 요약할 LLM 노드를 연결하는 것입니다. “스크래핑 후 마크다운으로 변환” 노드의 “+” 아이콘을 클릭하고 “LLM”을 선택하세요:
“LLM” 노드 설정에서 “CONTEXT” 입력값을 “Scrape As Markdown” 도구의 출력 결과인 텍스트 변수로 설정하세요.
다음으로 다음과 같은 프롬프트를 작성하세요:
당신은 요약 에이전트입니다. 아래 제공된 마크다운 콘텐츠를 바탕으로 150단어 이내로 간결하고 유용한 요약문을 작성하세요. 콘텐츠의 핵심 요소를 포착하는 데 집중하십시오.
콘텐츠:
{CONTEXT}
“LLM” 노드는 Dify AI 에이전트의 두뇌 역할을 하며 데이터를 처리하고 요약문을 생성합니다. 훌륭합니다! AI 에이전트 구축 로직이 거의 완성되었습니다.
단계 #8: 요약 반환
노코드 Dify AI 에이전트 워크플로의 마지막 단계로 “End” 노드를 추가하세요:
“END” 노드가 LLM 노드의 텍스트 출력을 사용하도록 설정하세요:
이 노드는 최종 요약된 콘텐츠를 사용자에게 반환하는 역할을 합니다. 미션 완료! 노코드 AI 요약 에이전트를 사용할 준비가 되었습니다.
9단계: AI 에이전트 테스트
완성된 Dify AI 에이전트 워크플로는 다음과 같습니다:
단 4개의 노드로 정확한 요약 기능을 갖춘 실제 AI 에이전트를 구축했습니다.
테스트하려면 오른쪽 상단의 “실행” 버튼을 클릭하세요:
다음으로 요약할 페이지의 URL을 입력하세요. 이 예시에서는 CNN 스포츠 기사를 사용해야 합니다.
“실행 시작” 버튼을 누르면 각 노드가 순차적으로 실행되며, 성공 시 녹색으로 변합니다:
다음은 예상되는 출력 결과입니다:
이 CNN 기사는 카를로스 알카라즈와 야닉 신너의 프랑스 오픈 결승전을 분석하며, 이 경기가 남자 테니스의 미래가 밝다는 증거라고 강조합니다. 알카라즈가 신너에게 2세트 뒤진 상황에서 이뤄낸 믿기 힘든 역전승은 역사적인 순간으로 묘사됩니다. 저자는 조코비치, 페더러, 나달의 시대가 끝나감에 따라 알카라즈와 신너가 그 공백을 메울 준비가 되어 있음을 입증했다고 지적합니다. 알카라즈와 신너의 라이벌 관계는 과거의 위대한 라이벌 관계와 비교되며, 테니스의 수준을 한 단계 끌어올릴 잠재력을 지녔다고 평가받습니다. 전문가들은 심지어 알카라즈와 신너가 전성기의 나달을 이길 수 있을 것이라고 예측하기도 합니다. 기사는 이 두 스타가 보여준 높은 경기 수준과 테니스의 흥미진진한 미래를 강조합니다.요청하신 대로 150단어 미만의 간결한 맥락 요약입니다. LLM이 기사 출처를 CNN으로 인식한 점도 주목하세요.
자, 이제 Dify에서 단 한 줄의 코드도 작성하지 않고 완전한 기능의 AI 요약 에이전트를 구축했습니다. 이 에이전트는 어떤 웹 페이지든 처리하고 요약할 수 있습니다.
결론
이 글에서는 Dify를 활용해 코드 없이 AI 요약 에이전트를 구축하는 방법을 배웠습니다. 실제 운영을 위해 에이전트는 공개 웹 데이터에 접근할 수 있어야 합니다. Bright Data Dify 플러그인은 AI 활용이 가능한 데이터 수집을 위한 고급 도구를 제공함으로써 이를 가능하게 합니다.
지금까지 소개한 것은 간단한 예시 워크플로우였지만, 더 복잡한 AI 에이전트를 구축하고 싶을 수 있습니다. 이를 위해서는 웹 콘텐츠를 검색, 검증, 변환할 수 있는 도구가 필요합니다. 바로 이것이 Bright Data의 AI 인프라가 제공하는 핵심 기능입니다.
무료 Bright Data 계정을 생성하고 AI 활용이 가능한 데이터 도구로 실험을 시작해 보세요!
