Bright Data와 Composio 통합으로 AI 에이전트 구축하기

이 튜토리얼에서는 다음을 확인하실 수 있습니다:

Composio의 정의와 AI 에이전트 구축을 위한 독보적인 기능.
Composio를 통해 AI 에이전트를 Bright Data에 연결해야 하는 이유.
Composio에서 사용 가능한 Bright Data 도구 목록.
Composio와 OpenAI 에이전트를 활용해 Bright Data로 AI 에이전트 구동하는 방법.

자, 시작해 보겠습니다!

Composio란 무엇인가요?

Composio는 AI 에이전트와 대규모 언어 모델(LLM)이 실제 도구와 상호작용할 수 있도록 지원하는 올인원 플랫폼입니다. 구체적으로 870개 이상의 툴킷과 플러그 앤 플레이 통합을 제공하며, 인증, 트리거, API 매핑을 자동으로 처리합니다.

Composio는 클라우드 인프라로 구동됩니다. 또한 26.4k 스타를 기록한 GitHub 저장소에서 제공되는 오픈소스 Python 및 TypeScript SDK로 지원됩니다. 이는 개발자 커뮤니티 내에서 AI 에이전트 구축에 대한 이 새로운 접근 방식의 인기와 채택을 보여줍니다.

다양한 프레임워크의 에이전트와 호환되는 Composio는 정확한 도구 호출과 실시간 관측성을 보장합니다. 주요 기능으로는 다중 에이전트 지원, 에이전트 사용 시 향상되는 진화형 스킬, 확장성을 위한 관리형 MCP 게이트웨이, SOC 2 준수 보안 등이 있습니다.

Composio를 통해 Bright Data에 AI 에이전트를 연결해야 하는 이유

Composio와 같은 솔루션의 핵심은 간단합니다: 대규모 언어 모델(LLM)은 본질적으로 한계가 있습니다. 결국 특정 도구가 제공되지 않는 한 외부 세계와 직접 상호작용할 수 없습니다. 바로 여기에 Composio가 필요합니다!

Composio는 AI 에이전트를 위한 수백 개 공급업체의 도구 발견, 도입 및 활용을 크게 간소화합니다. 현재 LLM의 가장 큰 단점은 다음과 같습니다:

훈련 데이터 기반으로만 작동하며, 모델이 공개되면 데이터가 빠르게 구식이 됩니다.
웹과 직접 상호작용할 수 없어, 오늘날 대부분의 정보와 가치가 생성되는 영역에 접근하지 못합니다.

이 두 가지 문제는 Composio에서 공식적으로 제공되는 툴킷 중 하나인 Bright Data로 AI 에이전트를 강화함으로써 해결할 수 있습니다.

Bright Data 솔루션은 AI 에이전트에게 웹 검색, 최신 정보 수집 및 상호작용 능력을 부여합니다. 이는 다음과 같은 솔루션 덕분에 가능해집니다:

SERP API: Google, Bing, Yandex 및 기타 검색 엔진에서 대규모로 차단 없이 웹 검색 결과를 가져옵니다.
웹 언락커 API: 프록시, IP 로테이션, 지문, CAPTCHA를 자동으로 처리하여 모든 웹사이트에 접근하고 깔끔한 HTML 또는 마크다운을 수신합니다.
웹 스크래핑 API: Amazon, LinkedIn, Yahoo Finance, Instagram 등 100개 이상의 인기 플랫폼에서 구조화된 데이터를 가져옵니다.
기타 솔루션…

이러한 서비스는 Composio 전용 도구로 제공되며, 지원되는 AI 에이전트 기술을 사용하여 AI 에이전트에 쉽게 연결할 수 있습니다.

Composio–Bright Data 연결: 도구 목록

Composio에서 사용 가능한 Bright Data 도구는 다음과 같습니다:

도구	식별자	설명
사이트 크롤링 트리거	`BRIGHTDATA_CRAWL_API`	여러 페이지 또는 전체 도메인에 걸쳐 콘텐츠를 추출하기 위한 사이트 크롤 작업 실행 도구입니다. 특정 데이터셋 및 URL 목록에 대한 크롤을 시작해야 할 때 사용합니다.
사용 가능한 스크레이퍼 찾아보기	`BRIGHTDATA_DATASET_LIST`	Bright Data 마켓플레이스에서 사용 가능한 모든 사전 제작 스크레이퍼(데이터셋)를 나열하는 도구입니다. 구조화된 스크레이핑을 위한 사용 가능한 데이터 소스를 찾아볼 때 사용하세요.
데이터 세트 필터링	`BRIGHTDATA_FILTER_DATASET`	마켓플레이스 데이터 세트에 사용자 지정 필터 기준을 적용하는 도구(베타). 데이터 세트를 선택한 후 필터링된 스냅샷을 생성할 때 사용합니다.
사용 가능한 도시 가져오기	`BRIGHTDATA_GET_LIST_OF_AVAILABLE_CITIES`	지정된 국가에 대해 사용 가능한 정적 네트워크 도시를 가져오는 도구입니다. 국가를 선택한 후 정적 프록시 엔드포인트를 구성해야 할 때 사용하십시오.
사용 가능한 국가 가져오기	`BRIGHTDATA_GET_LIST_OF_AVAILABLE_COUNTRIES`	사용 가능한 국가 및 해당 ISO 3166-1 alpha-2 코드를 나열하는 도구입니다. 프록시를 프로비저닝하기 전에 유효한 국가 코드로 영역을 구성해야 할 때 사용하십시오.
스크랩된 데이터 다운로드	`BRIGHTDATA_GET_SNAPSHOT_RESULTS`	스냅샷 ID로 완료된 크롤링 작업의 스크랩된 데이터를 검색하는 도구입니다. 크롤링을 트리거하거나 데이터 세트를 필터링한 후 수집된 데이터를 다운로드할 때 사용합니다.
크롤링 상태 확인	`BRIGHTDATA_GET_SNAPSHOT_STATUS`	스냅샷 ID를 사용하여 크롤 작업의 처리 상태를 확인하는 도구입니다. 데이터 수집이 완료되었는지 확인하기 위해 결과 다운로드 시도 전에 호출하십시오.
잠금 해제 구역 목록	`BRIGHTDATA_LIST_WEB_UNLOCKER_ZONES`	구성된 웹 언락커 영역 및 프록시 엔드포인트를 나열하는 도구입니다. 웹 스크래핑 및 봇 보호 우회를 위한 사용 가능한 영역을 확인하는 데 사용합니다.
SERP 검색	`BRIGHTDATA_SERP_SEARCH`	Bright Data의 SERP 스크래핑 API를 사용하여 다양한 검색 엔진에서 SERP(검색 엔진 결과 페이지) 검색을 수행하는 도구입니다. 검색 결과, 트렌드 주제 또는 경쟁 분석 데이터를 검색해야 할 때 사용하세요. 이 작업은 비동기 요청을 제출하고 추적을 위한 응답 ID를 반환합니다.
웹 언락커	`BRIGHTDATA_WEB_UNLOCKER`	봇 탐지, 캡차 및 기타 스크래핑 방지 조치를 우회하여 웹사이트에서 콘텐츠를 추출하는 도구입니다. 자동화된 접근을 차단하거나 자바스크립트 렌더링이 필요한 웹사이트를 스크래핑해야 할 때 사용하세요.

Composio에서 Bright Data 기반 AI 에이전트 구축 방법

이 단계별 섹션에서는 Composio를 사용하여 Bright Data를 AI 에이전트에 통합하는 방법을 배웁니다. 구체적으로 OpenAI 에이전트를 사용하여 Python 기반 AI 에이전트를 구동하고 Composio SDK를 통해 Bright Data에 연결하는 방법을 이해하게 됩니다.

아래 지침을 따르세요!

필수 조건

이 튜토리얼을 따라하려면 다음이 준비되어 있어야 합니다:

Bright Data 계정 설정 및 API 키 생성에 대한 자세한 안내는 공식 Bright Data 문서를 참조하십시오.

1단계: OpenAI 에이전트를 사용하여 Composio 시작하기

아직 계정이 없다면 Composio에 가입하거나 로그인하세요. “개요” 페이지로 이동합니다:
The Composio “Overview” page
이 페이지에는 OpenAI 에이전트를 사용하여 Composio와 통합된 간단한 AI 에이전트를 설정하는 방법이 설명되어 있습니다. 웹 대시보드에서는 Claude 에이전트, LangChain, Vercel AI 및 기타 여러 프레임워크를 사용한 예제도 제공합니다.

이 가이드에서는 OpenAI 에이전트 SDK 내에서 Composio를 통해 Bright Data에 연결된 AI 에이전트를 구축할 것입니다. 다만 아래 예시는 다른 지원되는 AI 에이전트 프레임워크로도 쉽게 적용할 수 있습니다.

참고: Bright Data를 OpenAI 에이전트 SDK에 직접 통합하는 방법도 확인해 보시기 바랍니다.

프로젝트용 폴더를 생성하고 해당 폴더로 이동하세요:

mkdir composio-bright-data-ai-agent
cd composio-bright-data-ai-agent

다음으로 가상 환경을 초기화합니다:

python -m venv .venv

프로젝트 루트에 agent.py 라는 새 파일을 추가합니다. 디렉터리 구조는 다음과 같아야 합니다:

composio-bright-data-ai-agent/
├── .venv/
└── agent.py

agent.py 파일에는 AI 에이전트 정의 로직이 포함됩니다.

PyCharm Community Edition 이나 Python 확장 프로그램이 설치된 Visual Studio Code 등 선호하는 Python IDE에서 프로젝트 폴더를 로드하세요.

이제 방금 생성한 가상 환경을 활성화하세요. Linux 또는 macOS에서는 다음 명령을 실행합니다:

source .venv/bin/activate

Windows에서는 다음과 같이 실행하세요:

.venv/Scripts/activate

가상 환경이 활성화된 상태에서 “개요” 페이지에 나열된 필수 PyPI 패키지를 설치하세요:

pip install composio composio-openai-agents openai-agents

이 애플리케이션의 종속성은 다음과 같습니다:

composio: Composio 플랫폼과 상호작용하기 위한 Python SDK로, 도구 실행, 인증 처리 및 AI 프레임워크 통합을 지원합니다.
composio-openai-agents: Composio 도구와 OpenAI Agents 프레임워크를 연결하여 원활한 에이전트 기반 워크플로를 구현하는 통합 계층입니다.
openai-agents: OpenAI API 및 100개 이상의 LLM 공급자를 아우르는 다중 에이전트 워크플로우 구축을 위한 가볍고 공급자 독립적인 프레임워크입니다.

잘하셨습니다! 이제 Composio OpenAI 에이전트 프로젝트가 준비되었습니다.

2단계: 환경 변수를 사용한 API 키 로딩 구성

AI 에이전트는 Composio 및 OpenAI를 포함한 타사 서비스에 연결됩니다. 스크립트에 자격 증명을 직접 하드코딩하지 않도록, 에이전트가 .env 파일에서 API 키를 읽도록 구성할 것입니다.

활성화된 가상 환경 내에서 python-dotenv를 설치하세요:

pip install python-dotenv

agent.py 파일 상단에 다음 임포트를 추가하세요:

from dotenv import load_dotenv

다음으로 프로젝트 루트에 .env 파일을 생성합니다:

composio-bright-data-ai-agent/
├─── .venv/
├─── agent.py
└─── .env    # <-----

.env 파일에 Composio 및 OpenAI API 키를 입력하세요:

COMPOSIO_API_KEY="<YOUR_COMPOSIO_API_KEY>"
OPENAI_API_KEY="<YOUR_OPENAI_API_KEY>"

자리 표시자를 실제 API 키로 대체하세요. Composio API 키를 찾을 수 없는 경우, 계정의 “설정” 섹션에서 확인하세요:
The Composio API key

마지막으로 agent. py에서 다음 명령어로 환경 변수를 로드하세요:

load_dotenv()

이제 끝입니다! 이제 스크립트가 코드에 노출하지 않고도 .env 파일에서 필요한 시크릿을 안전하게 읽을 수 있습니다.

3단계: Composio에서 Bright Data 툴킷 구성

Composio에서 Bright Data 툴킷을 구성하려면 Composio 대시보드에서 몇 가지 단계를 완료해야 합니다.

먼저 “개요” 탭에서 “브라우저 툴킷” 섹션을 클릭하세요:
Selecting the “Browser Toolkits” section

그러면 Composio 툴킷 페이지로 이동합니다:
The “All Toolkits” page in Composio

여기서 Composio가 지원하는 모든 통합 기능을 찾아볼 수 있습니다. 검색창에 “bright data”를 입력한 후 해당 카드를 클릭하세요:
Selecting the “Bright Data” toolkit card

Composio Bright Data 툴킷 페이지로 이동합니다:
Pressing the “Add to Project” page
이 페이지에서 사용 가능한 도구를 살펴보고, 문서를 검토하며, 사용 세부 정보를 확인할 수 있습니다. 계속하려면 “Add to Project(프로젝트에 추가)” 버튼을 클릭하세요.

인증 세부 정보를 구성하라는 메시지가 표시되면:

인증 구성 이름 설정(기본 자동 생성된 이름을 유지할 수 있음).
인증 방법을 선택하세요: API 키( Bright Data의 유일한 주요 인증 옵션).

준비가 완료되면 “Bright Data 인증 구성 생성”을 클릭하여 진행하세요:
Clicking the “Create Bright Data Auth Config” button

참고: Composio 인증 구성은 외부 서비스의 자격 증명, 인증 방법 및 권한을 안전하게 저장하는 재사용 가능한 설정입니다. AI 에이전트는 Composio SDK를 통해 이 인증 구성을 사용하여 Bright Data 도구에 프로그래밍 방식으로 연결합니다.

좋습니다! 이제 Composio에서 Bright Data 통합을 인증할 차례입니다.

4단계: Bright Data 통합 인증

Composio에 Bright Data 툴킷을 추가한 후, 통합이 정상적으로 작동하도록 Bright Data 계정을 연결해야 합니다. 이를 통해 Composio는 Bright Data의 웹 스크래핑 및 데이터 서비스에 접근하고 Composio SDK를 통해 AI 에이전트에 노출할 수 있습니다.

Bright Data 계정을 연결하려면 관련 “인증 구성” 페이지에서 “계정 연결” 버튼을 클릭하세요:
Pressing the “Connect Account” button

외부 사용자 ID가 표시됩니다:
The Composio External User ID

해당 값을 복사하여 agent.py 파일에 Python 변수로 붙여넣으세요:

COMPOSIO_EXTERNAL_USER_ID = "<YOUR_COMPOSIO_EXTERNAL_USER_ID>"

Composio에서 사용자 ID는 연결된 계정 및 데이터 접근 권한을 결정합니다. 모든 도구 실행, 인증 요청, 계정 작업에는 올바른 컨텍스트를 식별하기 위한 userId가 필요합니다. 기본적으로 사용자 ID는 연결된 계정을 도구 키트 간에 그룹화하는 컨테이너 역할을 합니다. 개별 사용자, 팀 또는 전체 조직을 대표할 수 있습니다.

다음으로 “계정 연결”을 클릭하여 계속 진행하세요. Bright Data API 키를 입력하라는 메시지가 표시됩니다:
Authenticating the connection to your Bright Data account

Bright Data API 키를 붙여넣고 “계정 연결” 버튼을 클릭하여 연결을 완료하세요. 완료되면 “연결된 계정” 탭에서 상태가 “활성”인 연결된 계정을 확인할 수 있습니다:
The Bright Data account connection

이는 Composio가 Bright Data API 키를 통해 성공적으로 인증되었음을 확인해 줍니다. 이제 Bright Data 툴킷을 AI 에이전트에서 사용할 수 있습니다!

“플레이그라운드” 기능을 통해 Composio 웹 애플리케이션에서 직접 통합을 테스트할 수도 있습니다:
The “Playground” feature
대단합니다! Bright Data가 Composio에 완전히 인증 및 통합되었습니다.

단계 #5: Composio 세션 초기화

이제 OpenAI 에이전트 기반 AI 에이전트를 Composio SDK를 통해 Bright Data에 연결할 모든 준비가 완료되었습니다.

OpenAI 에이전트 공급자로 Composio를 초기화하여 시작하세요:

from composio import Composio
from composio_openai_agents import OpenAIAgentsProvider

# OpenAI Agents 제공자로 Composio 초기화
composio = Composio(provider=OpenAIAgentsProvider())

참고: Composio 생성자는 자동으로 (이미 설정된) COMPOSIO_API_KEY 환경 변수를 찾아 인증에 사용합니다. 또는 api_key 인수를 통해 API 키를 명시적으로 전달할 수도 있습니다.

다음으로 Bright Data 통합에 한정된 Tool Router 세션을 생성합니다:

# Tool Router 세션 생성
session = composio.create(
    user_id=COMPOSIO_EXTERNAL_USER_ID,
    toolkits=["brightdata"],
    auth_configs={"brightdata": "ac_XXXXXXXXX"}, # Bright Data 툴킷용 인증 구성 ID로 대체
)

Tool Router는 Composio의 최신이자 현재 기본 방식인 AI 에이전트 내 도구 구동 방법입니다. 이는 에이전트가 사용 가능한 도구를 탐색하고, 사용할 도구를 계획하며, 인증을 처리하고, 수천 개의 Composio 통합에서 작업을 실행할 수 있도록 하는 통합 인터페이스입니다. 에이전트의 컨텍스트를 압도하지 않으면서 이러한 작업을 백그라운드에서 관리하는 메타 도구 세트를 노출합니다.

composio.create() 메서드는 에이전트가 작동하는 컨텍스트를 정의하는 툴 라우터 세션을 초기화합니다. 기본적으로 에이전트는 모든 Composio 툴킷에 접근할 수 있으며, 사용하려는 도구에 대한 인증을 런타임에 요청받습니다.

그러나 이 경우, 이미 Composio 대시보드에서 Bright Data를 구성했으므로 코드에서 명시적으로 연결해야 합니다. 이를 수행하는 방법은 다음과 같습니다:

툴킷 인자( toolkit argument)에 "brightdata"를 지정합니다(이는 Composio Bright Data 툴킷의 공식 슬러그입니다).
"brightdata" 를 auth_configs의 해당 인증 구성 ID에 매핑합니다.

해당 정보(슬러그 + 인증 구성 ID)를 찾는 위치가 궁금하다면, Composio 대시보드의 Bright Data 툴킷 “Auth Configs” 페이지에서 확인할 수 있습니다:
The Auth Config ID and toolkit slug

참고: Composio에서 인증 구성 ID는 “ac” 접두사로 시작합니다. 또한 툴킷 슬러그는 대소문자를 구분하지 않으므로 "BRIGHTDATA" 와 "brightdata"는 동일합니다.

이제 Bright Data가 올바르게 연결되었는지 다음과 같이 확인할 수 있습니다:

toolkits = session.toolkits()
for toolkit in toolkits.items:
    print(toolkit.name)
    print(toolkit.connection)

결과는 다음과 같아야 합니다:

Bright Data
ToolkitConnection(is_active=True, auth_config=ToolkitConnectionAuthConfig(id='ac_XXXXXXXXX', mode='API_KEY', is_composio_managed=False), connected_account=ToolkitConnectedAccount(id='ca_YYYYYYYY', status='ACTIVE'))

이는 다음을 확인합니다:

툴킷 연결이 활성화된 상태입니다.
연결된 계정 상태는 ACTIVE입니다.

이는 Composio SDK가 Bright Data 통합에 성공적으로 연결되었으며, 툴킷이 AI 에이전트에서 사용 준비가 완료되었음을 의미합니다. 훌륭합니다!

6단계: AI 에이전트 정의

Composio Tool Router 세션을 기반으로 사용 가능한 도구를 다음과 같이 가져옵니다:

tools = session.tools()

아래와 같이 이 도구들을 OpenAI 에이전트 AI 에이전트에 전달하세요:

from agents import Agent

agent = Agent(
    name="웹 데이터 어시스턴트",
    instructions=(
        "당신은 웹 스크래핑, 데이터 접근, 웹 언락킹을 위한 Bright Data의 툴킷에 접근할 수 있는 유용한 어시스턴트입니다."
    ),
    model="gpt-5-mini",
    tools=tools,
)

이렇게 하면 GPT-5 mini 모델로 구동되며 Bright Data 도구와의 통합을 완전히 인지하는 웹 데이터 어시스턴트가 생성됩니다.

참고: OpenAI 계정 인증은 자동으로 수행됩니다. OpenAI 에이전트 SDK가 OPENAI_API_KEY 환경 변수(이전에 설정하신)를 확인하기 때문입니다.

미션 완료! 이제 Composio를 통해 Bright Data와 간편하게 통합되는 OpenAI 기반 AI 에이전트를 보유하게 되었습니다. 실제 시나리오에서 테스트만 남았습니다.

7단계: 에이전트 실행

AI 에이전트가 작동하는지 확인하려면 웹 데이터 접근이 필요한 작업을 부여해야 합니다. 예를 들어, 특정 제품의 리뷰를 통해 감성 분석을 수행하는 등 일반적인 마케팅 시나리오를 처리하도록 요청할 수 있습니다.

이번에는 Composio 제품 자체의 G2 리뷰에 집중해 보겠습니다. 작업을 아래와 같이 지정하세요:

task = """"
1. 가장 적합한 스크레이퍼/데이터셋을 사용하여 다음 G2 URL에서 리뷰를 수집하세요:
'https://www.g2.com/products/composio/reviews'
2. 스냅샷이 준비될 때까지 대기하고 폴링하세요.
3. 수집된 모든 데이터를 포함한 스냅샷을 가져옵니다.
4. 리뷰와 수집된 정보를 분석합니다.
5. 다음을 포함하는 구조화된 마크다운 보고서를 제공합니다:
   - 리뷰에서 직접 인용한 문구를 포함한 감정 분석 섹션
   - 실행 가능한 인사이트 및 개선을 위한 권장 사항
"""

이는 일반적인 LLM이 수행할 수 없는 작업입니다. 실시간 G2 리뷰에 접근할 수 없기 때문입니다. 게다가 G2는 강력한 반봇(anti-bot) 조치로 인해 스크래핑이 매우 어렵기로 악명 높습니다.

대신 AI 에이전트는 다음과 같은 동작을 수행해야 합니다:

Bright Data 도구를 호출하여 해당 시나리오에 가장 적합한 스크레이퍼(예: Bright Data G2 스크레이퍼)를 선택합니다.
대상 G2 URL에 스크레이퍼를 실행합니다.
전용 도구를 사용하여 스크래핑된 리뷰가 포함된 결과 스냅샷을 기다리고 폴링합니다.
스냅샷을 분석하여 최종 구조화된 보고서를 생성합니다.

에이전트 실행:

import asyncio
from agents import Runner

# AI 에이전트 실행
async def main():
    result = Runner.run_streamed(
        starting_agent=agent,
        input=task,
        max_turns=50 # 스냅샷이 10회 이상(기본 max_turns)의 도구 호출을 확인하므로 차단 방지
    )

    # 에이전트 결과를 터미널에 스트리밍
    async for event in result.stream_events():
        # 스트리밍되는 모델 출력 텍스트 출력
        if event.type == "raw_response_event":
            # 이벤트에 출력 텍스트 데이터(response.output_text.delta)가 있는지 확인
            if event.data.type == "response.output_text.delta":
                print(event.data.delta, end="", flush=True)

asyncio.run(main())

완벽합니다! Composio + Bright Data AI 에이전트 설정이 완료되었습니다.

8단계: 모든 것을 통합하기

agent.py 파일은 이제 다음과 같아야 합니다:

import asyncio
from composio import Composio
from composio_openai_agents import OpenAIAgentsProvider
from agents import Agent, Runner
from dotenv import load_dotenv

# .env 파일에서 환경 변수 불러오기
load_dotenv()

# Composio 외부 사용자 ID
COMPOSIO_EXTERNAL_USER_ID = "pg-YYYYYYYYYYYYYYYYYYYYYYYYYYYYY" # 본인의 Composio 사용자 ID로 대체

# OpenAI 에이전트 제공자를 사용해 Composio 초기화
composio = Composio(provider=OpenAIAgentsProvider())

# Tool Router 세션 생성
session = composio.create(
    user_id=COMPOSIO_EXTERNAL_USER_ID,
    toolkits=["brightdata"],
    auth_configs={"brightdata": "ac_XXXXXXXXX"}, # Bright Data 툴킷용 인증 구성 ID로 교체
)

# Composio 도구 접근
tools = session.tools()

# OpenAI 에이전트 SDK를 사용해 도구 기반 AI 에이전트 생성
agent = Agent(
    name="웹 데이터 어시스턴트",
    instructions=(
        "당신은 웹 스크래핑, 데이터 접근, 웹 언락킹을 위한 Bright Data의 도구 키트를 활용하는 유용한 어시스턴트입니다."
    ),
    model="gpt-5-mini",
    tools=tools,)


# G2의 최신 웹 데이터를 활용한 감정 분석 작업 설명
task = """"
1. 가장 적합한 스크레이퍼/데이터셋을 사용하여 다음 G2 URL의 리뷰를 수집하세요:
'https://www.g2.com/products/composio/reviews'
2. 스냅샷이 준비될 때까지 대기 및 폴링합니다.
3. 수집된 모든 데이터를 포함한 스냅샷을 가져옵니다.
4. 리뷰와 수집된 정보를 분석합니다.
5. 다음을 포함하는 구조화된 마크다운 보고서를 제공합니다:
   - 리뷰에서 직접 인용한 문구를 포함한 감정 분석 섹션
   - 실행 가능한 인사이트 및 개선을 위한 권장 사항
"""

# AI 에이전트 실행
async def main():
    result = Runner.run_streamed(
        starting_agent=agent,
        input=task,
        max_turns=50 # 스냅샷이 10회 이상(기본 max_turns) 도구 호출을 확인하므로 차단 방지
    )

    # 에이전트 결과를 터미널에 스트리밍
    async for event in result.stream_events():
        # 스트리밍되는 모델 출력 텍스트 출력
        if event.type == "raw_response_event":
            # 이벤트에 출력 텍스트 데이터(response.output_text.delta)가 있는지 확인
            if event.data.type == "response.output_text.delta":
                print(event.data.delta, end="", flush=True)

asyncio.run(main())

활성화된 가상 환경에서 다음 명령어로 실행하세요:

python agent.py

에이전트는 Bright Data 서비스를 통해 필요한 데이터를 자동으로 수집하는 데 시간이 소요됩니다. 완료되면 터미널에 마크다운 보고서를 직접 스트리밍합니다:
A portion of the Markdown report result produced by the agent

이 출력을 마크다운 뷰어에 복사하여 붙여넣으면 다음과 같은 내용을 볼 수 있습니다:
Exploring the Markdown report

이 보고서는 길고 정확하며 실제 G2 리뷰의 인용문으로 뒷받침됩니다:
The G2 reviews from the target page

배경에서 어떤 작업이 수행되었는지 자세히 확인하려면 Composio 계정의 “Logs” 탭을 참조하세요:

에이전트가 다음을 호출한 것을 확인할 수 있습니다:

Composio Bright Data의 “사용 가능한 스크레이퍼 찾아보기” 도구(BRIGHTDATA_DATASET_LIST)를 호출하여 사용 가능한 모든 스크래핑 API 및 데이터 세트 목록을 가져옵니다.
Composio Bright Data의 “사이트 크롤링 트리거”(BRIGHTDATA_CRAWL_API )를 호출하여 지정된 URL에서 G2 스크레이퍼를 실행하고, Bright Data 클라우드에서 비동기 웹 스크래핑 작업을 시작했습니다.
Composio Bright Data의 “스크랩된 데이터 다운로드”(BRIGHTDATA_GET_SNAPSHOT_RESULTS ) 도구를 사용하여 수집된 데이터가 포함된 스냅샷이 준비될 때까지 폴링했습니다.

이것이 바로 예상된 동작으로, AI 에이전트가 Bright Data와 성공적으로 통합되었음을 확인시켜 줍니다.

자, 이제 완성되었습니다! 약 65줄의 코드로 Composio에서 제공하는 모든 Bright Data 솔루션과 완벽하게 통합되는 AI 에이전트를 구축했습니다.

G2 리뷰에 대한 감성 분석은 Bright Data의 웹 데이터 도구가 지원하는 수많은 사용 사례 중 하나에 불과합니다. 프롬프트를 조정하여 다른 시나리오를 테스트하고, Composio 문서를 탐색하여 더 고급 기능을 발견하여 에이전트를 생산 환경에 바로 적용할 수 있도록 만드세요!