xpander.ai에서 스크래핑 기능을 갖춘 AI 에이전트 구축하기

이 글에서 확인할 내용:

• xpander.ai 플랫폼이 무엇이며 AI 에이전트 구축을 위해 제공하는 기능.
• AI 에이전트가 진정한 효과를 발휘하려면 웹 접근이 필요한 이유.
• xpander.ai 에이전트에 내장된 Bright Data 도구를 통합하여 웹 스크래핑 기능을 부여하는 방법.

자, 시작해 보겠습니다!

xpander.ai란 무엇인가요?

Xpander.ai는 자율적인 AI 에이전트 구축을 위한 백엔드 서비스(Backend-as-a-Service) 플랫폼입니다. 기업 개발자가 AI 에이전트를 효율적으로 구축, 테스트 및 배포할 수 있도록 설계된 노코드(no-code) 솔루션입니다. 또한 프로그래밍 방식으로 AI 에이전트를 구축하고 실행할 수 있는 오픈소스 SDK를 제공합니다.

이 플랫폼은 다중 에이전트 워크플로우와 협업을 정의할 수 있는 시각적 환경을 제공합니다. 이를 통해 도구를 연결하고 기업 시스템과 통합할 수 있습니다. 또한 실제 운영 전에 에이전트 동작을 시뮬레이션하고 테스트할 수 있습니다.

주요 기능은 다음과 같습니다:

• 에이전트 그래프 시스템: 신뢰할 수 있는 다단계 에이전트 실행을 보장합니다.
• 에이전트 커넥터: 에이전트가 다양한 타사 시스템 및 API에 연결할 수 있도록 합니다.

정확한 AI 에이전트를 위한 최신 웹 데이터의 중요성

어떤 AI 에이전트 구축 플랫폼, 라이브러리 또는 도구를 선택하든 근본적인 한계가 존재합니다. 즉, 대규모 언어 모델(LLM)은 훈련된 데이터에 기반하여만 작업을 수행하고 질문에 답변할 수 있습니다. 이는 일반적인 LLM의 정적 능력을 넘어서는 행동을 수행해야 하는 AI 에이전트 구축 시 주요 장애물입니다.

따라서 AI 에이전트가 더 정확하고 운영 가능하며 효과적이려면 웹에 접근할 수 있어야 합니다. 웹 페이지를 읽고 그 내용을 활용하여 응답과 결정을 뒷받침할 수 있어야 합니다. 결국 웹은 가장 풍부하고 최신 데이터 소스 중 하나이기 때문입니다.

그러나 단순히 웹 접근만으로는 부족합니다. 대부분의 사이트는 자동화된 AI 크롤러를 차단하기 위해 스크래핑 방지 및 봇 방지 조치를 구현합니다. 이는 에이전트가 웹 페이지에서 데이터를 추출하고 AI 처리에 최적화된 형식으로 변환할 수 있는 강력한 도구가 필요함을 의미합니다.

바로 이 점이 Bright Data의 AI 인프라(xpander.ai에서 통합 커넥터를 통해 이용 가능) 가제공하는 핵심 기능입니다. 다양한 기능 중에서도, 이 도구는 코딩 없이 AI 에이전트가 50개 이상의 인기 플랫폼에서 최신 데이터를 구조화된 JSON 형식으로 추출할 수 있게 합니다.

Bright Data는 CAPTCHA 처리, IP 차단, 속도 제한 등을 관리합니다. xpander.ai의 AI 에이전트 빌더와 결합하면 단 한 줄의 코드도 작성하지 않고 이 모든 기능을 통합할 수 있습니다. 결과는? 신뢰할 수 있는 웹 데이터에 실시간으로 접근할 수 있는 즉시 사용 가능한 AI 에이전트입니다!

xpander.ai 스크래핑 에이전트 구축을 위한 Bright Data 커넥터 통합 방법

이 가이드에서는 xpander.ai에서 AI 에이전트를 구축하는 방법을 배웁니다. 특히 Bright Data 커넥터를 활용하여 에이전트가 웹에서 데이터를 스크래핑할 수 있도록 하는 방법을 다룹니다.

인터넷에서 실시간 데이터를 가져와 응답의 근거를 제공하는 웹 스크래핑 에이전트를 만드는 방법을 보여드리겠습니다. 이는 xpander.ai와 Bright Data 통합으로 가능한 수많은 사례 중 하나에 불과합니다. 이 접근 방식을 다른 다양한 사용 사례에도 쉽게 적용할 수 있습니다.

참고: 본 예시는 RAG 에이전트 워크플로우와 유사한 방식으로 작동합니다. Bright Data 커넥터가 에이전트가 사용할 최신 데이터를 가져오는 검색 구성 요소 역할을 하기 때문입니다.

xpander에서 코드 없이 AI 스크래핑 에이전트를 생성하려면 아래 단계를 따르세요!

필수 조건

이 튜토리얼을 재현하려면 다음이 필요합니다:

• xpander.ai 계정: 간단한 테스트에는 무료 계정으로 충분합니다. 고급 사용 사례의 경우 유료 플랜이 필요합니다.
• Bright Data API 키: 공식 가이드에 설명된 대로 무료로 생성할 수 있습니다.

아직 준비되지 않았다면 위 링크를 클릭하고 설정 안내를 따르세요. 시작해 보겠습니다!

1단계: 새 에이전트 생성

xpander.ai에 로그인하여 프로필 대시보드로 이동하세요. 왼쪽 메뉴에서 “에이전트(Agent)”를 클릭한 후 “새 에이전트(New Agent)” 버튼을 눌러 새 에이전트를 추가하세요:

다음 페이지에서 새 에이전트를 설정할 수 있는 양식이 표시됩니다. “웹 스크레이퍼 에이전트”와 같은 이름을 지정하세요:

“일반” 탭의 다른 설정은 모두 기본값 그대로 두세요. 이처럼 간단한 설정에는 기본값으로도 충분합니다. xpander.ai는 기본적으로 OpenAI의 GPT-4o를 LLM 모델로 사용합니다.

완료! 이제 xpander.ai에 새 빈 AI 에이전트가 준비되었습니다.

2단계: 웹 스크래핑을 위한 Bright Data 도구 설정

현재 에이전트는 선택한 LLM 제공자가 제공하는 작업만 수행할 수 있습니다. Bright Data를 활용해 웹 스크래핑 기능으로 에이전트를 강화할 차례입니다.

이를 위해 에이전트 페이지의 “도구” 탭으로 이동한 후 “도구 추가” 버튼을 클릭하세요:

오른쪽에 “도구 추가” 패널이 나타납니다. “bright data”를 검색하고 Bright Data 통합을 선택하세요:

다음 모달이 표시됩니다:

다음과 같이 입력하세요:

• 커넥터 이름: Bright Data 커넥터에 이름을 지정하세요(예: “Bright Data 커넥터”).
• 인증 모드: “API 키” 옵션을 선택하세요.
• 인증 범위:
  • “통합 사용자” 옵션을 선택하세요.
  • Bright Data API 키를 붙여넣으세요.
  • “Bearer” 옵션을 선택하세요. 이렇게 하면 Bright Data API에서 지원하는 인증 방식인 Bearer 패턴을 통해 API 키가 Authorization 헤더로 전달됩니다.

모든 항목을 입력한 후 “저장” 버튼을 누르세요.

이제 에이전트에서 활성화할 특정 Bright Data 도구를 선택하라는 메시지가 표시됩니다:

웹 스크래핑 기능을 완전히 활용하려면 모든 도구를 선택하는 것이 좋습니다. 현재 사용 가능한 도구는 다음과 같습니다:

• 데이터셋 ID로 데이터 수집 작업 시작: 웹 스크레이퍼 API를 사용하여 지정된 데이터셋에 대한 스크래핑 작업을 시작합니다.
• URL로 프록시 요청 실행: Bright Data 프록시 네트워크를 통해 HTTP 요청을 전송하여 웹 페이지 콘텐츠에 접근합니다.
• ID로 데이터셋 스냅샷 다운로드: 데이터셋의 스냅샷을 다양한 형식으로 다운로드하여 AI에 데이터를 전달합니다.

원하는 도구를 선택한 후, 오른쪽 하단의 “에이전트에 추가” 버튼을 클릭하세요:

이제 에이전트의 “도구” 탭에 구성한 도구가 포함된 Bright Data 커넥터가 표시됩니다:

각 도구를 클릭하면 해당 설정 내용을 확인하거나 조정할 수 있습니다.

훌륭합니다! 이제 AI 에이전트가 Bright Data 도구와 완전히 통합되어 웹 스크래핑을 수행할 준비가 되었습니다.

3단계: AI 스크래핑 에이전트 전문화

이제 에이전트가 웹 스크래핑을 위한 Bright Data 도구에 접근할 수 있게 되었으니, 맞춤형 시스템 프롬프트를 부여하세요. 이는 에이전트에게 자신의 정체성과 작동 방식을 알려줍니다.

이를 위해 “지침(Instructions)” 탭을 클릭하고 “시스템 프롬프트(System prompt)” 텍스트 영역에 다음과 같은 내용을 붙여넣으세요:

당신은 웹에서 데이터를 스크래핑하여 응답의 근거를 제시할 수 있는 AI 에이전트입니다

더 전문적인 에이전트를 위해 사용자 정의 규칙과 목표를 추가할 수도 있습니다.

완성되었습니다! xpander 스크래핑 에이전트가 준비되었습니다.

4단계: 모든 것을 통합하기

“에이전트 그래프” 버튼을 클릭하여 현재 AI 에이전트 워크플로를 확인하세요:

웹 스크래핑을 위해 구성된 세 가지 Bright Data 도구에 접근할 수 있는 단일 에이전트가 표시됩니다.

잘하셨습니다! 이제 에이전트를 테스트하고 작동하는 모습을 확인하기만 하면 됩니다.

단계 #5: 웹 스크레이퍼 에이전트 테스트하기

“테스터 채팅” 탭으로 돌아가 다음과 같은 프롬프트로 에이전트를 테스트해 보세요:

100달러 미만 헤드폰 상위 3개 검색 후 제품 상세 페이지(PDP) 정보 제공

이 명령은 웹 스크래핑 에이전트에게 온라인에서 100달러 미만의 헤드폰 상위 3개를 동적으로 검색하고 해당 제품 상세 페이지(PDP)에서 직접 정보를 가져오도록 지시합니다.

예상할 수 있듯이, 표준 LLM은 Bright Data에서 제공하는 것과 같은 전용 스크래핑 도구 없이도 이러한 종류의 작업을 처리할 수 있습니다.

프롬프트를 채팅 입력창에 붙여넣고 에이전트에게 전송하세요:

에이전트는 LLM과 Bright Data 도구를 활용하여:

1. 웹 검색을 수행하여 상위 3개 헤드폰을 찾습니다.
2. 각 제품별로 데이터 수집 작업을 시작하고 아마존에서 데이터를 다운로드합니다.
3. 정보를 요약하여 정확하고 간결한 답변으로 작성하며, 아마존 제품 상세 페이지로의 실제 링크를 포함합니다.

인터페이스에서 도구 섹션 중 하나를 확장하면 다음과 같은 내용을 확인할 수 있습니다:

이는 AI 에이전트가 백그라운드에서 작업을 완료하기 위해 사용할 Bright Data 도구를 자동으로 감지했음을 증명합니다. 구체적으로, 최신 스크랩 데이터를 가져오기 위해(이 경우 아마존 제품 페이지에서 직접) 올바른 매개변수로 해당 도구를 호출했습니다.

자, 이제 xpander.ai에서 Bright Data의 AI 데이터 인프라로 구동되는 완전한 기능의 스크래핑 에이전트를 보유하게 되었습니다.

다음 단계

이제 Bright Data 기반의 xpander 스크래핑 에이전트를 구축했으므로 다음을 수행할 수 있습니다:

• 에이전트 배포: xpander.ai 플랫폼에서 직접 AI 에이전트를 실행하거나, 더 큰 제어권을 위해 자체 인프라에 배포하세요.
• XpanderClient를 통한 API 호출: xpander SDK를 활용하여 에이전트를 관리하고 LLM 응답 작업용 유틸리티 기능에 접근하세요.
• xpander 공식 워크숍 탐색: xpander.ai 플랫폼을 활용해 완전한 AI 에이전트 솔루션을 구축하는 과정을 안내하는 실습 워크숍에 참여하세요.

결론

이 글에서는 xpander.ai를 활용해 코딩 없이 AI 스크래핑 에이전트를 구축하는 방법을 알아보았습니다. 이는 xpander 에이전트에 통합할 수 있는 고급 스크래핑 도구를 제공하는 Bright Data 커넥터 덕분에 가능했습니다.

이는 단순한 예시였지만, 더 정교한 AI 에이전트를 구축하고 싶을 수 있습니다. 이를 위해서는 웹 콘텐츠를 가져오고, 검증하고, 변환할 수 있는 신뢰할 수 있는 솔루션이 필요합니다. 바로 Bright Data AI 에이전트 인프라에서 찾을 수 있는 것이 바로 그것입니다.

지금 바로 무료 Bright Data 계정을 생성하고 AI 활용이 가능한 데이터 도구를 탐색해 보세요!