Bright Data를 통해 Dataiku AI 에이전트를 웹에 연결하기

이 튜토리얼에서 배울 내용:

Dataiku란 무엇이며 기업 AI 에이전트 개발에 어떤 가치를 제공하는지.
AI 에이전트의 주요 한계와 웹 접근 도구를 활용해 이를 극복하는 방법.
Dataiku AI 에이전트를 Bright Data Web MCP에 연결하여 웹 스크래핑, 검색, 탐색, 자동화 등을 수행하는 방법.

지금 바로 시작해봅시다!

Dataiku가 AI 에이전트를 지원하는 방식

Dataiku는 조직이 원시 데이터를 실행 가능한 인사이트, 예측 모델, GenAI 애플리케이션으로 전환할 수 있도록 지원하는 중앙 집중식 협업 플랫폼입니다. 데이터 팀과 비즈니스 사용자가 분석 및 AI 프로젝트에서 함께 작업할 수 있는 엔드투엔드 환경을 제공합니다.

Dataiku는 AI 에이전트를 지원하며, 에이전트를 안전하게 대규모로 구축, 배포, 관리할 수 있는 완전한 환경을 제공합니다. 에이전트를 데이터, 모델, 외부 시스템에 연결하는 데 필요한 도구, 거버넌스, 통합 기능을 갖추고 있습니다. 에이전트가 제어 가능하고 감사 가능한 상태를 유지하면서 기업 워크플로우 내에서 안정적으로 운영될 수 있도록 보장합니다.

AI 에이전트를 위해 Dataiku 플랫폼이 제공하는 주요 기능은 다음과 같습니다:

유연한 에이전트 구축: 비기술 사용자와 고급 개발자 모두를 위한 시각적 및 코드 기반 에이전트 생성.
도구 내장 지원: 데이터셋 쿼리, AI 모델 연결, 웹 서비스 호출을 위한 서드파티 서비스 통합.
LLM Mesh: OpenAI, Anthropic, Mistral 등 여러 공급자에 걸쳐 LLM 사용을 관리하고 라우팅하는 중앙 집중식 추상화 계층.
엔터프라이즈 거버넌스: 안전한 프로덕션 사용을 위한 역할 기반 접근 제어, 감사, 추적성, 테스트, 성능 모니터링.

웹 스크래핑, 탐색, 검색, 상호작용 도구로 Dataiku AI 에이전트를 확장해야 하는 이유

모든 LLM 기반 시스템과 마찬가지로 Dataiku AI 에이전트는 근본적인 한계인 정보 정체 문제에 직면해 있습니다…

대규모 언어 모델은 현재가 아닌 과거를 반영하는 학습 데이터를 기반으로 출력을 생성합니다. 그 결과, 빠르게 변화하는 기업 환경에서 사용될 때 오래된 권장 사항, 환각된 사실, 또는 불완전한 인사이트를 생성할 수 있습니다.

실제로 이는 Dataiku 워크플로우에서 심각한 병목 현상이 됩니다. 최신 데이터에 접근할 수 없는 AI 에이전트는 더 이상 사용되지 않는 모범 사례에 의존하거나, API 또는 플랫폼의 최신 업데이트를 놓치거나, 새로 사용 가능한 데이터셋과 비즈니스 신호를 통합하지 못할 수 있습니다. 이는 신뢰성을 낮추고 기업 파이프라인 내 AI 기반 자동화의 가치를 제한합니다.

이 한계를 극복하기 위해 Dataiku 에이전트는 실시간 웹 데이터 인프라에 기본적으로 연결될 수 있습니다. 이것이 바로 Bright Data가 중요한 향상 요소가 되는 이유입니다.

Bright Data의 Web MCP

Bright Data Web MCP는 Dataiku AI 에이전트에 실시간 웹 검색, 데이터 탐색, 구조화된 추출, 자동화된 브라우저 상호작용 기능을 제공합니다. 에이전트가 정적 지식에만 의존하지 않고 최신의 검증 가능한 정보로 운영될 수 있도록 합니다.

Web MCP는 Bright Data의 API 기반 제품 및 서비스와 상호작용하기 위한 70개 이상의 도구를 제공합니다. Rapid 모드(무료 티어)에서도 다음과 같은 유용한 도구를 제공합니다:

도구	설명
`search_engine` + 병렬 사용을 위한 배치 버전	Google, Bing, 또는 Yandex 결과를 구조화된 JSON 또는 Markdown으로 검색
`scrape_as_markdown` + 병렬 사용을 위한 배치 버전	안티 스크래핑 보호 우회를 처리하면서 모든 웹 페이지를 깔끔한 Markdown으로 변환
`discover`	순위가 매겨진 관련 웹 결과를 반환하는 AI 기반 검색

그런 다음, [Pro 모드](https://github.com/brightdata/brightdata-mcp?tab=readme-ov-file#-pricing, modes)는 Yahoo Finance, Amazon, LinkedIn, YouTube, Zillow, Google Maps 등 40개 이상의 플랫폼에서 구조화된 데이터 추출을 위한 고급 기능을 잠금 해제합니다. 또한 전체 웹 브라우저 자동화를 위한 도구도 제공합니다.

중요: Web MCP 도구는 195개 이상의 국가에 걸쳐 4억 개 이상의 IP로 구성된 글로벌 주거용 프록시 네트워크로 구동되는 Bright Data의 대규모 인프라를 기반으로 합니다. 이를 통해 기업 수준의 부하에서도 높은 신뢰성, 확장성, 웹 리소스에 대한 일관된 접근이 보장됩니다.

Bright Data Web MCP를 통해 Dataiku 에이전트에 웹 접근 권한을 부여하는 방법

이 단계별 가이드에서는 Dataiku 에이전트에서 Bright Data Web MCP를 구성하는 과정을 안내합니다. 이를 통해 에이전트가 웹을 탐색하고 실제적이고 최신의 검증 가능한 정보를 기반으로 응답을 제공할 수 있게 됩니다.

아래 지침을 따르세요!

사전 요구 사항

이 튜토리얼 섹션을 따라하려면 다음이 준비되어 있는지 확인하세요:

Dataiku Cloud 계정 (무료 체험판도 가능).
Dataiku에서 지원하는 LLM 공급자 중 하나의 API 키 (이 예제에서는 OpenAI API 키를 사용합니다).
API 키가 구성된 Bright Data 계정.
MCP 작동 방식에 대한 이해.
Web MCP 서버가 제공하는 도구에 대한 이해.

참고: Bright Data API 키 설정에 관한 공식 가이드를 따르세요.

1단계: Dataiku 스페이스 생성

처음으로 Dataiku Cloud에 로그인하면 첫 번째 Dataiku 스페이스를 생성하라는 메시지가 표시됩니다.

스페이스 이름을 입력하고 지역을 선택한 다음 “CREATE MY SPACE” 버튼을 클릭하세요:

스페이스는 자체 구성을 갖춘 격리된 Dataiku 환경으로 생각할 수 있습니다. 각 스페이스는 특정 버전의 Dataiku 플랫폼을 실행합니다. Dataiku는 정기적으로 업데이트를 출시하므로, 스페이스는 최신 기능과 개선 사항에 접근할 수 있도록 주기적으로 업그레이드됩니다.

스페이스가 생성되면 Dataiku 스페이스 대시보드로 이동합니다:

좋습니다! Dataiku Cloud 계정과 스페이스가 이제 사용 준비가 되었습니다.

2단계: LLM 통합 구성

Dataiku 에이전트가 작동하려면 LLM에 접근해야 합니다. 이 섹션에서는 OpenAI 계정을 연결하지만, 다른 지원 공급자에 대해서도 과정이 유사합니다.

“Connections” 페이지를 열고 “ADD A CONNECTION”을 클릭하세요:

“DSS Settings” 페이지로 리디렉션됩니다:

여기서 “NEW CONNECTION” 드롭다운을 클릭하고 “openai” 문자열을 검색한 후 해당 옵션을 선택하세요:

연결 이름(예: “OpenAI”)을 입력하고 OpenAI API 키를 붙여넣으세요. “TEST”를 클릭하여 연결이 작동하는지 확인한 다음 “CREATE”를 선택하여 추가하세요:

생성되면 OpenAI 연결이 “Connections” 페이지에 표시됩니다:

이제 Dataiku 계정이 OpenAI LLM 모델에 접근할 수 있습니다. 외부 모델로 구동되는 AI 에이전트를 구축할 준비가 되었습니다. 멋지네요!

3단계: Bright Data Web MCP 원격 연결 준비

에이전트를 생성하기 전에 Bright Data Web MCP 서버에 대한 연결을 구성해야 합니다.

로컬 AI 에이전트 솔루션과 달리 Dataiku는 클라우드에서 실행됩니다. 즉, Bright Data Web MCP 서버의 원격 버전에 연결해야 합니다. 다시 말해, Web MCP 서버를 로컬에 설치하고 Dataiku에서 연결할 수 없습니다.

참고: Bright Data Web MCP 원격 서버는 엔터프라이즈급입니다. 다른 모든 Bright Data 제품과 마찬가지로 무제한 연결과 높은 확장성을 지원합니다.

시작하려면 Bright Data Web MCP 원격 연결 URL 형식을 숙지하세요:

https://mcp.brightdata.com/mcp?token=<YOUR_BRIGHT_DATA_API_KEY>&pro=1

&pro=1 매개변수는 선택 사항입니다:

&pro=1 없음: Rapid 모드에서 무료 도구(월 5,000건 요청)에만 접근할 수 있습니다.
&pro=1 있음: 70개 이상의 전체 도구 모음과 고급 기능에 접근할 수 있지만 사용 요금이 적용됩니다.

특정 도구 또는 도구 그룹만 활성화하는 것과 같이 더 세밀한 제어를 원한다면 Bright Data 대시보드에서 직접 사용자 지정 원격 MCP URL을 생성할 수 있습니다.

Bright Data 계정에 로그인하고 “AI Gateways > MCP” 페이지로 이동하세요. 설정 마법사를 따라 MCP 서버 접근을 구성하세요. 과정이 끝나면 다음과 같이 사용자 지정 연결 URL을 얻게 됩니다:

“Streamable HTTP” 연결 URL을 복사하세요. Dataiku 스페이스에서 Bright Data Web MCP 연결을 구성하는 데 곧 필요합니다. 좋습니다!

4단계: Dataiku를 Bright Data Web MCP에 연결

Bright Data Web MCP 연결 URL을 확보했으니 이제 Dataiku 스페이스에서 MCP 연결을 생성할 차례입니다.

이전과 마찬가지로 “NEW CONNECTION” 드롭다운을 여세요. 이번에는 “mcp”를 검색하고 “Remote MCP” 옵션을 선택하세요:

MCP 연결에 이름(예: bright-data-web-mcp)을 지정하고 앞서 얻은 원격 Web MCP 연결 URL을 붙여넣으세요:

“TEST”를 눌러 연결이 올바르게 작동하는지 확인한 다음 “CREATE”를 선택하여 추가하세요. 생성되면 MCP 연결이 “DSS Settings” 페이지에 표시됩니다:

훌륭합니다! 이제 Dataiku 스페이스가 Bright Data Web MCP 서버에 연결할 수 있어, 미래의 AI 에이전트에게 실시간 웹 기능에 대한 접근 권한을 부여할 수 있습니다.

5단계: Dataiku AI 에이전트 생성

Dataiku “Overview” 페이지로 돌아가서 “Dataiku Solutions” 카드의 “MANAGE”를 클릭하세요:

프로젝트 관리 페이지로 이동합니다. “NEW PROJECT” 드롭다운을 클릭하고 “Blank project” 옵션을 선택하세요:

Dataiku 프로젝트에 “Web Access”와 같은 이름을 지정하고 “CREATE”를 클릭하세요:

프로젝트 내부에서 “GenAI” 아이콘을 클릭하고 “Agents & GenAI Models”를 선택하세요:

여기서 “CREATE YOUR FIRST AGENT”를 클릭하여 시작하세요:

원하는 에이전트 유형을 선택하고(이 예제에서는 “Simple Visual Agent”를 사용합니다) “CREATE”를 클릭하세요:

이제 AI 에이전트 구성 페이지에 도달합니다:

완벽합니다! 이제 AI 에이전트에 Bright Data Web MCP 도구를 장착할 준비가 되었습니다.

7단계: Web MCP 에이전트 도구 생성

AI 에이전트 구성을 계속하기 전에 앞서 생성한 Remote MCP 연결을 AI 에이전트 도구로 변환해야 합니다.

“GenAI” 아이콘에서 “Agent Tools” 페이지를 여는 것부터 시작하세요:

“Agent Tools” 페이지에서 “NEW AGENT TOOL”을 클릭하세요:

“MCP” 옵션을 선택하고 “CREATE”를 누르세요:

다음으로 앞서 생성한 “bright-data-web-mcp” 연결을 선택하여 Remote MCP 서버를 구성하세요. 그런 다음 “CREATE”를 클릭하세요:

이제 MCP AI 에이전트 도구 구성 페이지에 도달합니다. 여기서 도구를 테스트하고 MCP 도구 세트에 대한 일반적인 설명을 정의할 수 있습니다. 사용 가능한 모든 도구를 선택하고 활성화하세요:

서버를 Pro 모드로 구성한 경우 70개 이상의 전체 Web MCP 도구 세트가 표시됩니다:

그렇지 않으면 Rapid(무료) 모드에서 사용 가능한 도구만 표시됩니다.

오른쪽 상단 모서리의 “SAVE”를 누르세요. Bright Data Web MCP 도구가 이제 Dataiku 에이전트에서 사용 가능합니다. 잘 하셨습니다!

8단계: 웹 접근을 위한 Dataiku 에이전트 구성

이제 웹 관련 작업을 위한 Bright Data 기반 AI 에이전트를 완성하는 데 필요한 모든 구성 요소가 갖춰졌습니다.

“Simple Visual Agent” 페이지로 돌아가세요. “LLM” 드롭다운에서 이전에 생성한 연결의 OpenAI 모델을 확인할 수 있습니다. 이 예제에서는 “GPT-5.4 mini” 모델을 사용합니다:

다음으로, 에이전트가 어떻게 동작해야 하는지 정의하는 명확한 지침을 제공해야 합니다. “Instructions” 필드에 다음과 같은 프롬프트를 붙여넣으세요:

You are a general-purpose assistant with access to the web. Use the Bright Data Web MCP tools whenever you are asked to perform web-related tasks, such as:
- Searching the web
- Fetching, reading, or scraping web pages
- Extracting structured data from supported platforms
- Running browser automation or web automation workflows
- Conducting research, investigations, fact-checking, or news lookups
- Any other task involving URLs, links, or web content

이제 “ADD TOOL”을 클릭하고 “MCP” 옵션을 선택하세요(앞서 구성한 Web MCP 도구 세트에 해당합니다):

최종 웹 지원 Dataiku AI 에이전트는 다음과 같아야 합니다:

Bright Data Web MCP를 통해 웹 접근이 가능한 Dataiku AI 에이전트

임무 완료. 웹 관련 작업을 위해 MCP를 통해 Bright Data와 통합된 Dataiku AI 에이전트를 성공적으로 생성했습니다. 이제 테스트만 남았습니다!

9단계: 에이전트 테스트

AI 에이전트가 올바르게 작동하는지 확인하려면 웹 관련 작업으로 실행해보세요. 예를 들어 다음과 같은 프롬프트를 작성하세요:

Access the Best Buy "Top 100 Deals" page and retrieve the top three products listed there.

For each product, extract structured data. Then use this information to produce a detailed report comparing the three products over product name, description, price, rating if available, and key features or specifications.

Finally, conclude with a short analysis of the retailer's current marketing intent based on the selected products, such as discount strategy, promoted categories, positioning, and what this suggests about demand.

이것은 웹 검색 및 스크래핑 기능이 필요하기 때문에 표준 LLM이 단독으로 수행할 수 없는 작업임을 참고하세요.

프롬프트를 실행하면 다음과 같은 일이 발생합니다:

Best Buy 제품 비교 표에 집중하세요:

보고서에는 브라우저에서 동일한 페이지를 열어 직접 확인할 수 있는 Best Buy의 “이 시즌 Top 100 딜” 페이지에서 상위 3개 제품에 대한 상세 분석이 포함되어 있습니다:

특히 에이전트 로그를 검사하면 다음을 확인할 수 있습니다:

search_engine Web MCP 도구(SERP API 기반)를 호출하여 Google에서 Best Buy Top 100 딜 페이지를 검색했습니다.
구조화된 SERP 데이터를 검색하고 분석하여 올바른 대상 URL을 식별했습니다.
페이지의 Markdown 버전을 반환하는 scrape_as_markdown 도구(Web Unlocker API 기반)를 통해 페이지에 접근했습니다.
Markdown 콘텐츠를 분석하여 상위 3개 Best Buy 제품 URL을 감지했습니다.
web_data_bestbuy_products Web MCP Pro 도구(Bright Data의 Best Buy Scraper에 연결)를 사용하여 각 제품을 스크래핑했습니다.
검색된 모든 정보를 최종 보고서로 집계했습니다.

이는 Bright Data Web MCP 도구가 실제 웹 데이터를 기반으로 AI 에이전트를 운영하는 데 사용되고 있음을 확인합니다.

완성입니다! AI 에이전트에서 Dataiku + Bright Data 통합이 완벽하게 작동합니다. 이것은 단순한 예시였음을 기억하세요. Bright Data 통합 덕분에 이 에이전트는 다양한 사용 사례와 시나리오를 처리할 수 있습니다!

다음 단계

실제 기업용 Dataiku Cloud AI 에이전트를 위해 Slack, Google Drive 및 기타 협업 도구와 같은 추가 서드파티 연결을 추가하는 것을 고려하세요. 또한 데이터베이스와의 데이터 연결 통합도 고려해보세요.

이를 통해 생성된 결과가 조직의 워크플로우와 시스템 전반에 자동으로 공유될 수 있습니다. 또한 프로덕션에서 사용할 수 있도록 에이전트를 배포하는 것도 고려해보세요.

결론

이 글에서는 Dataiku AI 에이전트를 구축하고 Bright Data Web MCP를 사용하여 실제 웹 접근 기능으로 확장하는 방법을 살펴보았습니다. 특히 Dataiku 에이전트를 Web MCP 도구와 통합하여 출력을 실시간의 검증 가능한 웹 데이터에 기반을 두는 방법과 이유를 확인했습니다.

이 통합은 Dataiku 에이전트를 한 단계 끌어올립니다. 에이전트가 웹을 검색하고, 새로운 소스를 자율적으로 발견하고, 구조화된 데이터를 추출하고, 실제 웹사이트와 실시간으로 상호작용할 수 있게 됩니다.

오늘 무료로 Bright Data에 가입하고 AI 지원 웹 도구 통합을 시작하세요!

문의하기 무료 체험 시작하기