Bright Data를 사용하여 AutoGPT에서 AI 에이전트 구축하기

이 블로그 게시물에서는 다음 내용을 확인하실 수 있습니다:

AutoGPT가 무엇이며, AI 에이전트 구축 프레임워크로서 어떤 점이 특별한지.
AutoGPT 에이전트가 웹 검색, 탐색, 상호작용 및 데이터 스크래핑 기능을 활용할 때 어떤 이점이 있는지.
AI 에이전트에 이러한 기능을 정확히 제공하기 위해 Bright Data를 AutoGPT에 통합하는 방법.

자, 시작해 봅시다!

AutoGPT란 무엇인가

AutoGPT는 자율 AI 에이전트를 구축, 배포 및 실행하기 위한 오픈 소스 플랫폼입니다.
이 플랫폼의 가장 큰 특징은 로우코드(low-code) 방식의 블록 기반 인터페이스, 지속적인 에이전트 실행, 그리고 도구, API 및 데이터 소스를 엔드투엔드 자동화 파이프라인에 연결할 수 있는 능력입니다.

단순한 스크립트와 달리, AutoGPT 에이전트는 지속적으로 실행되고, 트리거에 반응하며, 다단계 작업을 관리할 수 있습니다. 이 프로젝트는 대규모 오픈 소스 커뮤니티의 지원을 받고 있습니다. GitHub에서 183,000개 이상의 스타를 기록하며 놀라운 인기를 끌고 있습니다.

AutoGPT GitHub star history
이러한 통계는 AutoGPT를 오늘날 가장 인기 있는 AI 에이전트 프레임워크 중 하나로 만듭니다.

왜 웹 탐색 및 데이터 검색 기능을 AutoGPT에 통합해야 할까요?

AutoGPT가 기능이 풍부한 솔루션임은 의심의 여지가 없습니다. 하지만 모든 LLM 기반 AI 에이전트는 본질적인 한계에 직면해 있습니다. 표준 언어 모델은 정적 데이터셋으로 훈련되므로, 그 지식은 특정 시점에 고정되어 있습니다.

이로 인해 에이전트가 최신 데이터가 필요한 실제 작업을 수행할 때 정보가 낡거나, 허위 정보를 제공하거나, 지식의 공백이 발생할 수 있습니다. 게다가 LLM은 웹을 포함한 실제 세계와 상호작용할 수 없습니다. 따라서 기본적인 AI 에이전트는 이러한 본질적인 한계로 인해 제약을 받습니다.

AutoGPT에는 웹 검색, 탐색 및 기타 상호 작용을 위한 기본 도구가 포함되어 있습니다. 하지만 이러한 내장 기능은 엔터프라이즈급 솔루션에 비해 확장성, 신뢰성 및 정교한 봇 방지 조치 측면에서 한계가 있을 수 있습니다.

이때 Bright Data가 해결책이 됩니다. 195개국에 걸쳐 1억 5천만 개 이상의 IP를 보유한 세계 최대 규모의 프록시 네트워크 중 하나를 기반으로 구축된 Bright Data의 인프라는 99.99%의 가동 시간과 무제한 동시 접속을 제공합니다.

AutoGPT에 Bright Data를 통합하면 에이전트가 모든 웹사이트의 실시간 웹 콘텐츠, 검색 결과 및 구조화된 데이터에 접근할 수 있습니다. 구체적으로, AutoGPT 워크플로우를 강화할 수 있는 주요 Bright Data 제품은 다음과 같습니다:

Web Unlocker API: CAPTCHA 및 봇 방지 기능을 우회하여 모든 웹사이트의 콘텐츠를 원시 HTML 또는 마크다운 형식으로 액세스합니다.
SERP API: Google, Bing, Yandex 및 기타 다양한 검색 엔진의 검색 결과를 수집합니다.
Web Scraper API: Amazon, LinkedIn, Instagram, Yahoo Finance와 같은 플랫폼에서 구조화된 데이터를 추출합니다.
Crawl API: 전체 웹사이트를 구조화된 데이터셋으로 변환하여 후속 AI 처리에 활용할 수 있습니다.

AutoGPT의 에이전트 기능을 Bright Data의 솔루션과 결합하면, AI 에이전트가 실시간으로 정보를 자율적으로 수집하고 표준 LLM의 한계를 훨씬 뛰어넘는 복잡한 워크플로를 실행할 수 있습니다.

AutoGPT에 Bright Data 통합 방법: 단계별 가이드

이 가이드 섹션에서는 웹 데이터 검색을 위해 Bright Data와 통합된 AutoGPT 내 AI 에이전트를 구축하는 방법을 배워보겠습니다.

특히, 이 에이전트는 북마크 보조 도구 역할을 하여, 온라인 기사를 나중에 읽기 위해 저장할 가치가 있는지 결정하는 데 도움을 줍니다. 이는 통합을 보여주기 위한 간단한 예시일 뿐이지만, 그 외에도 다양한 사용 사례가 가능합니다.

아래 지침을 따르세요!

필수 사항

AutoGPT를 자체 호스팅하려면 시스템이 다음 하드웨어 요구 사항을 충족하는지 확인하십시오:

운영 체제: Linux(Ubuntu 20.04 이상 권장), macOS(10.15 이상) 또는 WSL2가 설치된 Windows 10/11.
CPU: 4코어 이상 권장.
RAM: 최소 8GB (16GB 권장).
저장 공간: 최소 10GB의 여유 공간.

또한 다음 도구들이 컴퓨터에 로컬로 설치되어 있어야 합니다:

Docker Engine 20.10.0 이상
Docker Compose 2.0.0 이상
Git 2.30 이상
Node.js 16.x 이상 (npm 8.x 이상 포함)
Visual Studio Code 1.60 이상 또는 최신 코드 편집기

또한 다음 네트워크 요구 사항이 충족되는지 확인하십시오:

안정적인 인터넷 연결.
필요한 포트에 대한 액세스 권한(Docker를 통해 구성됨).
아웃바운드 HTTPS 연결이 가능해야 합니다.

AutoGPT에서 AI 에이전트를 구현하려면 다음도 필요합니다:

Web Unlocker API 영역이 설정되고 API 키가 구성된 Bright Data 계정.
AutoGPT에서 지원하는 LLM 제공업체 중 하나의 API 키(이 예시에서는 OpenAI를 사용합니다).

Bright Data 계정 설정에 대해서는 아직 걱정하지 마세요. 별도의 장에서 단계별로 안내해 드릴 예정입니다.

1단계: AutoGPT 로컬 설치

시스템이 하드웨어, 소프트웨어 및 네트워크 필수 요건을 충족하는지 확인하십시오. 또한 Docker가 정상적으로 실행 중인지 확인하십시오.

AutoGPT를 자체 호스팅하기 위한 설정 과정을 간소화하려면, 공식 1줄 설치 스크립트를 사용하는 것이 좋습니다. 이 스크립트는 필요한 모든 종속성을 설치하고, 최신 코드를 가져오며, 애플리케이션을 실행해 줍니다.

macOS 또는 Linux에서 다음 명령어로 한 줄 설치 스크립트를 실행하세요:

curl -fsSL https://setup.agpt.co/install.sh -o install.sh && bash install.sh

Windows에서는 PowerShell에서 다음 명령을 실행하십시오:

powershell -c "iwr https://setup.agpt.co/install.bat -o install.bat; ./install.bat"

설치 과정은 몇 분 정도 소요될 수 있으니 기다려 주세요. 설치가 완료되면 다음과 유사한 출력이 표시됩니다:
Note the output produced by the AutoGPT one-line installation script
훌륭합니다! 이제 AutoGPT가 로컬에 성공적으로 설정되어 실행할 준비가 되었습니다.

2단계: 플랫폼 실행

설치 폴더로 이동하세요:

cd AutoGPT/autogpt_platform

그런 다음, 클론한 저장소에 포함된 .env.default 파일을 .env로 복사하세요:

cp .env.default .env

이 명령어는 기본 설정을 사용하여 autogpt_platform 디렉터리에 .env 파일을 생성합니다. 사용자 지정 구성이 필요한 경우에만 이 파일을 수정하여 환경 변수를 정의하십시오. 그렇지 않은 경우 기본값을 유지하십시오.

다음으로 다음 명령어를 실행하여 AutoGPT 플랫폼을 시작합니다:

docker compose up -d --build

이 명령어는 docker-compose.yml 파일에 정의된 모든 필수 백엔드 서비스를 빌드하고 분리된(detached) 모드로 실행합니다.

서비스가 시작되고 실행되면 브라우저에서 http://localhost에 접속하여 모든 것이 정상적으로 작동하는지 확인하십시오.

기본적으로 각 AutoGPT 서비스는 다음 주소에서 이용할 수 있습니다:

프론트엔드 UI 서버: http://localhost.
백엔드 WebSocket 서버: http://localhost:8001.
실행 API REST 서버: http://localhost:8006.

다음과 같은 화면이 표시되어야 합니다:
The AutoGPT login screen

계정을 생성하여 가입하세요. 로그인 후 AutoGPT 프론트엔드의 에이전트 빌더로 이동하게 됩니다:

좋습니다! 이제 첫 번째 에이전트를 생성하고 Bright Data에 연결할 준비가 되었습니다.

3단계: AI 에이전트 워크플로 설계

AutoGPT는 각각 특정 동작이나 작업을 처리하는 여러 블록을 제공합니다. 이 예시에서는 다음과 같은 에이전트 워크플로를 구축하고자 합니다:

(어떤 사이트에서든) 기사 URL을 입력으로 받습니다.
Bright Data Web Unlocker API를 사용하여 Markdown 형식의 기사 내용을 가져옵니다.
콘텐츠를 LLM에 전달하여, 해당 기사를 북마크할 가치가 있는지 여부를 나타내는 1~10점의 점수와 점수를 설명하는 사람 같은 코멘트를 생성합니다.
구조화된 출력을 반환합니다.

AutoGPT에서는 다음 블록을 사용하여 이 워크플로를 구현할 수 있습니다:

에이전트 입력: 사용자로부터 기사 URL을 수신합니다.
사전 생성: 제공된 URL을 사용하여 Bright Data Web Unlocker API용 요청 본문을 구성합니다.
인증된 웹 요청 전송: Bright Data Web Unlocker API로 요청을 전송하고 기사 콘텐츠를 가져옵니다.
AI 구조화된 응답 생성기: 기사 콘텐츠를 LLM에 전달하고 구조화된 북마크 평가(점수 + 코멘트)를 생성합니다.
에이전트 출력: 최종 구조화된 결과를 반환합니다.

완벽합니다! 에이전트 워크플로의 단계가 명확해졌으니, 다음 단계는 이를 구현하는 것입니다. 하지만 먼저 Bright Data부터 시작해 봅시다.

4단계: Bright Data 계정 설정

앞서 설명한 바와 같이, 구현하려는 AI 에이전트 워크플로는 Bright Data의 Web Unlocker 제품에 의존합니다. AutoGPT에서 이 제품에 연결하려면 Web Unlocker API 영역이 구성된 Bright Data 계정과 API 키가 필요합니다.

간단한 안내를 원하시면“Bright Data Web Unlocker API 빠른 시작가이드” 문서를 참조하세요. 또는 아래 단계를 따르세요.

Bright Data 계정이 없다면 새 계정을 생성하세요. 이미 계정이 있다면 로그인하세요. 제어판으로 이동하여 “Proxies & Scraping” 페이지로 이동합니다. “My Zones” 테이블을 확인하세요:
Note the “web_unlocker” Web Unlocker API zone
표에 Web Unlocker API 영역(예: web_unlocker)이 이미 존재한다면 바로 사용할 수 있습니다.

존이 없다면 새로 생성해야 합니다. “Unblocker API” 카드로 스크롤하여 “Create zone” 버튼을 클릭하고 마법사의 안내를 따르세요.
Pressing the “Create zone” button
나중에 필요할 수 있으니 영역 이름을 신중하게 지정하세요. 이 가이드에서는 영역 이름이 web_unlocker라고 가정하겠습니다.

마지막으로 Bright Data API 키를 생성하고 안전하게 보관하십시오. 이 키는 AutoGPT가 Bright Data로 보내는 HTTP 요청을 인증하는 데 필요합니다.

이것으로 끝입니다! Bright Data에 대한 사전 준비 작업이 완료되었습니다.

5단계: 에이전트 초기화

모든 AutoGPT 에이전트 워크플로에는 입력과 출력이 필요합니다. 먼저 “Build” 섹션으로 이동하여 에이전트 빌더 페이지에 접속하세요:
The AutoGPT Agent Builder

“Save” 버튼을 누르고, 에이전트 이름을 “Bookmark Likelihood Evaluator”와 같이 지정한 다음 “Save Agent”를 클릭하세요:
Saving your agent

에이전트 빌더 페이지에서 왼쪽의 “Blocks” 버튼을 누르고 “Agent Input” 블록을 추가하세요:
Adding an “Agent Input” block

비슷한 방식으로 “에이전트 출력(Agent Output)” 블록을 추가하세요:
Adding an “Agent Output” block

블록을 다음과 같이 구성합니다:

에이전트 입력: 이름을 “Article URL”로 지정
에이전트 출력 블록: 이름을 “북마크 가능성”으로 지정

이 시점에서 초기 에이전트 워크플로는 다음과 같이 보일 것입니다:
Your initial agentic workflow
좋습니다! 이제 나머지 에이전트 워크플로우를 정의해 볼 차례입니다.

6단계: 스크래핑 요청 수행

Bright Data Web Unlocker API에 HTTP 요청을 수행하려면 다음 두 개의 블록이 필요합니다:

사전 생성: 요청 본문을 정의합니다.
인증된 웹 요청 전송: Bright Data API의 Web Unlocker 엔드포인트로 인증된 요청을 전송합니다.

먼저 “Create Dictionary” 블록을 추가하세요:
Adding the “Create Dictionary” block

그런 다음 “인증된 웹 요청 보내기” 블록을 추가합니다:
Adding the “Send Authenticated Web Request” block
이제 “인증된 웹 요청 보내기” 블록을 구성할 준비를 하세요. 이 블록은 Web Unlocker API로 요청을 전송합니다. 이 엔드포인트의 작동 방식 및 호출 방법에 대한 자세한 내용은 공식 문서를 참조하세요.

“고급” 드롭다운을 펼치고 블록 전체를 다음과 같이 채웁니다:

Url: https://api.brightdata.com/request.
HttpMethod: POST

다음으로, “Http 자격 증명” 아래의 “헤더 추가” 버튼을 클릭하세요:
Pressing the “Add headers” button

다음과 같이 헤더 기반 인증을 구성하세요:

헤더 이름: Authorization
헤더 값: Bearer <YOUR_BRIGHT_DATA_API_KEY>

<YOUR_BRIGHT_DATA_API_KEY> 자리 표시자를 실제 Bright Data API 키로 반드시 교체하십시오.
Configuring the authentication method for the HTTP call
확인을 위해 “저장 및 이 자격 증명 사용” 버튼을 클릭하세요.

POST 요청은 Authorization 헤더를 사용하여 인증됩니다. 이는 Bright Data API를 호출할 때 권장되는 인증 방법입니다.

이제 요청 본문을 정의해야 합니다. 이 경우 다음과 같은 JSON 페이로드를 사용합니다:

{
    "zone": "<YOUR_WEB_UNLOCKER_API_ZONE_NAME>", 
    "url": "<INPUT_URL>", 
    "format": "raw",
    "data_format": "markdown"
}

이는 Bright Data API가 “Agent Input” 블록에서 제공되는 대상 URL에 대해 귀하의 Web Unlocker API 영역(예: web_unlocker)을 사용하도록 지시합니다. format: "raw" 매개변수는 API가 JSON 구조가 아닌 응답 본문에 직접 출력을 반환하도록 보장합니다. data_format: "markdown" 매개변수는 API가 기사 콘텐츠를 마크다운(Markdown) 형식으로 추출하도록 구성하며, 이는 AI 에이전트 수집에 이상적인 형식입니다.

이를 위해 “Create Dictionary” 블록으로 이동하여 “Add Item”을 클릭하십시오. 다음 필드를 정의하십시오:

zone: <YOUR_WEB_UNLOCKER_API_ZONE_NAME> (예: "web_unlocker")
url: (동적으로 채워지므로 당분간 비워 둡니다)
format: "raw"
data_format: "markdown"

그런 다음, “사전 생성” 블록의 “사전” 출력을 “인증된 웹 요청 보내기” 블록의 “본문” 입력에 연결하세요:
Note the “Create Dictionary” + “Send Authenticated Web Request” connection
훌륭합니다! 이제 AutoGPT 워크플로우의 Bright Data 통합이 완료되었습니다.

7단계: LLM 엔진 추가

마지막으로 남은 블록은 Web Unlocker API를 통해 웹 스크래핑으로 가져온 마크다운 콘텐츠를 분석하고 북마크 점수를 부여하는 역할을 하는 LLM 엔진입니다.

이 워크플로가 시간이 지남에 따라 다양한 기사를 평가하도록 하려면, 일관되고 구조화된 출력을 생성해야 합니다.

이 목표를 달성하려면 “AI Structured Response Generator” 블록을 활용하세요. 이를 통해 LLM에 작업을 수행하도록 지시하고 미리 정의된 형식으로 결과를 반환하도록 할 수 있습니다.

먼저 워크플로에 이 블록을 추가하세요:

“API 키 추가” 버튼을 클릭하여 블록을 OpenAI 계정에 연결하세요. 키 이름을 지정하고 OpenAI API 키를 붙여넣은 후 “API 키 추가”를 클릭하세요:
Configuring your OpenAI API key
이제 “AI Structured Response Generator” 블록의 인증이 완료되어 구성된 OpenAI 모델을 호출할 준비가 되었습니다.

이제 블록에 다음 내용을 입력하세요:

프롬프트:

당신은 전문 콘텐츠 평가자입니다.

당신의 임무는 다음 기사를 분석하여 향후 참고를 위해 북마크해 둘 가치가 있는지 판단하는 것입니다.

기사:
"{{article}}"

다음 기준에 따라 기사를 평가하세요:
- 실용성 (실행 가능한 통찰력을 제공합니까?)
- 깊이 (표면적인 내용인가, 심도 있는 내용인가?)
- 신호 대 잡음 비율 (간결한가, 아니면 불필요한 내용이 많은가?)
- 재사용성 (나중에 다시 살펴볼 가치가 있는가?)

다음 내용을 포함한 JSON 객체를 반환하십시오:
- "score": 1에서 10 사이의 정수 (1 = 북마크할 가치가 없음, 10 = 반드시 북마크해야 함)
- "comment": 간결하고 자연스러운 설명 (최대 1~2문장)

지침:
- 비판적인 시각을 가지고 과대평가를 피하십시오
- 장기적인 가치가 있는 콘텐츠에만 높은 점수를 부여하십시오
- 일반적인 코멘트는 피하십시오
-  *모델*: GPT-5.1 Mini (또는 기타 범용 OpenAI 모델)

프롬프트에서 {{article}} 자리 표시자를 확인하세요. 이는 “프롬프트 값”으로 동적으로 대체될 변수입니다. 구체적으로, “인증된 웹 요청 보내기” 블록에서 반환된 마크다운 콘텐츠로 대체됩니다.

“프롬프트 값”을 구성하려면 “항목 추가”를 클릭하고 article이라는 변수를 정의하세요. 그런 다음 “인증된 웹 요청 보내기” 블록의 “응답” 출력을 article 프롬프트 값에 연결하세요:

다음으로, “예상 형식” 섹션에 다음 필드를 추가하여 구조화된 출력을 정의합니다:

score: “1에서 10 사이의 정수 (1 = 북마크할 가치가 없음, 10 = 반드시 북마크해야 함)”
comment: “간결하고 사람처럼 자연스러운 설명(최대 1~2문장)”

The configured “Expected Format” section

좋아요! 이제 Bright Data 기반 AutoGPT 에이전트 워크플로우에 모든 구성 요소가 포함되었습니다. 남은 것은 이 모든 요소를 연결하는 것뿐입니다.

8단계: 모든 블록 연결

워크플로를 완성하려면 모든 블록을 연결하여 완전한 파이프라인을 구성하세요.

먼저 “Agent Input” 블록의 “Result” 출력을 “Create Dictionary” 블록의 url 필드에 연결하세요. 이렇게 하면 입력 URL이 워크플로 입력에서 Web Unlocker API 요청으로 전달되어, 해당 API가 페이지를 크롤링하고 결과를 분석을 위해 LLM으로 전달하게 됩니다.

마지막으로, “AI Structured Response Generator” 블록의 “Response” 출력을 “Agent Output” 블록에 연결합니다. 이렇게 하면 워크플로가 종료되고 데이터 흐름이 완료됩니다.

다음은 Bright Data를 통해 웹 스크래핑 기능이 강화된 최종 AutoGPT 워크플로우의 모습입니다:
The final workflow

9단계: 에이전트 테스트

“에이전트 실행(Run agent)” 버튼을 클릭하여 에이전트 워크플로를 시작하고 테스트하세요:
Run the AI agent

워크플로 입력 URL(즉, 기사 URL)을 입력하라는 메시지가 표시됩니다. 다음과 같은 블로그 게시물을 붙여넣으세요:

https://awealthofcommonsense.com/2024/03/whats-the-investment-case-for-gold/

그런 다음 “수동 실행” 버튼을 클릭하여 워크플로를 실행합니다. 다음과 같은 화면이 표시됩니다:
Running the agent

“에이전트 출력” 블록의 내용을 확장해 보세요. AI 에이전트가 다음과 같은 결과를 생성했음을 확인할 수 있습니다:
The output produced by the agent
따라서 입력된 기사는 나중에 읽을 수 있도록 북마크할 만큼 가치가 있는 것으로 간주됩니다.

“Send Authenticated Web Request” 블록의 출력을 확인해 보면 다음과 같은 내용을 볼 수 있습니다:
The Markdown version of the scraped article

이는 대상 입력 기사의 마크다운(Markdown) 버전과 일치합니다:
The input blog post article
이는 Bright Data Web Unlocker API가 페이지 콘텐츠를 신속하게 가져왔으며, LLM 처리를 더욱 효율적이고 효과적으로 수행할 수 있는 형식으로 제공했음을 확인해 줍니다.

자, 이제 끝났습니다! AutoGPT에서 Bright Data와 연동하여 동적 웹 데이터를 검색하는 AI 에이전트를 구축하셨습니다.

다음 단계

이것은 간단한 예시였지만, AutoGPT와 Bright Data의 통합은 훨씬 더 고급 에이전트 워크플로를 지원하도록 확장될 수 있다는 점을 기억해 두세요.

예를 들어, 유사한 접근 방식을 통해 에이전트를 다른 Bright Data API 기반 제품과 연결하여 웹 검색 및 크롤링 기능을 추가할 수 있습니다. 마찬가지로, 여러 도메인에서 직접 데이터 피드를 제공하는 스크래핑 API와 통합할 수도 있습니다.

에이전트의 기능을 더욱 강화하고 싶다면, 공식 문서를 자세히 살펴보며 AutoGPT가 제공하는 다양한 기능을 탐색해 보세요.

결론

이 블로그 게시물에서는 AutoGPT에 Bright Data의 웹 탐색, 상호작용, 검색 및 데이터 스크래핑 기능을 추가하는 방법을 배웠습니다. 이를 통해 AI 에이전트는 일반적인 대규모 언어 모델(LLM)의 주요 지식 및 상호작용 한계를 극복할 수 있게 됩니다.

간단한 북마크 조언 AI 에이전트를 구축하는 방법을 살펴보았습니다. 실시간 웹 피드, 웹 검색 또는 웹 상호 작용에 대한 액세스가 필요한 더 복잡한 에이전트 워크플로를 생성하려면 AutoGPT를 Bright Data의 AI 전용 서비스 전체 제품군과 통합하십시오.

지금 바로 Bright Data 계정을 무료로 생성하고, AI에 최적화된 웹 데이터 솔루션을 직접 체험해 보세요!

문의하기 무료 체험 시작하기

Bright Data 통합을 활용한 AutoGPT 기반 AI 에이전트 구축