Bright Data의 Web MCP로 Databricks Agent Bricks 강화하기

이 블로그 게시물에서 배울 내용:

Databricks Agent Bricks가 무엇이며 AI 에이전트 개발에 어떤 가치를 제공하는지.
Databricks AI 에이전트가 내부 비즈니스 데이터와 외부 웹 인텔리전스를 결합할 때 훨씬 더 강력해지는 이유.
Agent Bricks의 AI 에이전트를 Bright Data의 Web MCP에 연결하여 이러한 기능을 갖추는 방법.

시작해 봅시다!

Databricks Agent Bricks란 무엇인가?

Agent Bricks는 회사 데이터에 기반한 프로덕션급 AI 에이전트를 구축, 배포 및 관리하기 위한 Databricks 서비스입니다. 엔터프라이즈 컨텍스트, AI 모델, 외부 도구를 결합하여 신뢰할 수 있고 확장 가능하며 관리되는 AI 에이전트를 만들 수 있습니다.

문서 분석, 고객 지원, 리서치, 워크플로 자동화, 비즈니스 인텔리전스 등의 시나리오에 특히 유용합니다. 제공하는 주요 기능은 다음과 같습니다:

엔터프라이즈 인식 AI 에이전트: 비즈니스 스키마, 정의, 의미론적 컨텍스트를 사용하여 더 정확하고 근거 있는 응답을 생성합니다.
다양한 에이전트 유형: 지식 어시스턴트, 정보 추출 파이프라인, 다단계 워크플로용 슈퍼바이저 에이전트, 완전 커스텀 Python 에이전트를 지원합니다.
멀티 모델 지원: 모델 전환 및 폴백 로직을 갖춘 단일 플랫폼을 통해 OpenAI, Anthropic, Google, Meta 및 오픈소스 제공업체의 모델에 액세스합니다.
외부 통합: MCP 서버, API 및 엔터프라이즈 시스템에 연결하여 내부 데이터를 넘어 에이전트 기능을 확장합니다.
거버넌스 및 보안: Unity Catalog와 통합하여 권한, 계보, 소유권 및 세분화된 액세스 제어를 적용합니다.
평가 및 관찰 가능성: 자동화된 벤치마킹, LLM-as-a-judge 평가, 디버깅 및 모니터링을 위한 MLflow 추적을 포함합니다.

Databricks AI 에이전트에 웹 접근이 필요한 이유

어떤 플랫폼을 사용하든 엔터프라이즈 AI 에이전트는 접근할 수 있는 도구만큼만 유능합니다. 모든 LLM이 공유하는 두 가지 핵심 한계가 있기 때문입니다:

제한된 지식: LLM은 과거의 스냅샷만을 나타내는 정적 데이터셋으로 훈련됩니다.
외부 시스템에 대한 기본 접근 불가: 기본적으로 LLM은 웹이나 기술 스택의 다른 서비스와 상호작용할 수 없습니다.

이 격차는 일반적으로 MCP 또는 커스텀 통합을 통해 AI 에이전트에 도구를 장착함으로써 해결됩니다. Databricks Agent Bricks가 MCP를 지원하는 이유가 바로 이것입니다.

두 가지 한계를 모두 해결하려면 AI 에이전트가 웹을 검색하고, 관련 정보를 발견하고, 웹사이트에서 콘텐츠를 추출할 수 있게 하는 MCP가 필요합니다. 바로 그것이 Bright Data의 Web MCP가 제공하는 것입니다.

솔루션으로서의 Bright Data Web MCP

Bright Data Web MCP는 Bright Data의 API에 연결하는 도구를 제공합니다. Databricks에서 공식적으로 지원하는 통합 중 하나로, Databricks Marketplace에서 직접 찾을 수 있습니다:

Databricks Marketplace의 Bright Data Web MCP

무료 Rapid 모드 티어(월 5,000건의 무료 요청 포함)에서 Web MCP가 제공하는 도구는 다음과 같습니다:

도구	설명
`search_engine` + 배치 버전	Google, Bing, Yandex 등에서 JSON 또는 Markdown 형식의 구조화된 검색 결과 반환
`scrape_as_markdown` + 배치 버전	안티봇 보호를 우회하면서 웹페이지를 깔끔한 Markdown으로 변환
`discover`	순위가 매겨진 관련 결과를 반환하는 AI 기반 웹 탐색

[Pro 모드](https://github.com/brightdata/brightdata-mcp?tab=readme-ov-file#-pricing, modes)는 Amazon, LinkedIn, Yahoo Finance, YouTube, Zillow, Google Maps 등 40개 이상의 소스에 대한 고급 구조화 추출 기능을 제공합니다. 브라우저 자동화 도구도 포함됩니다. 모든 Web MCP 도구를 살펴보세요.

Bright Data가 돋보이는 점은 4억 개 이상의 주거용 IP 프록시 네트워크를 기반으로 한 엔터프라이즈급 인프라입니다. 이는 무제한 확장성과 동시성을 지원하면서 99.95%의 성공률과 SLA 보장 99.99% 가동 시간을 제공합니다.

Databricks Agent Bricks를 Bright Data의 Web MCP에 연결하는 방법

이 단계별 챕터에서는 Databricks에서 Web MCP를 구성하는 과정을 안내합니다. 그런 다음 Agent Bricks의 Databricks AI 에이전트에 통합하여 웹 검색, 탐색 및 스크래핑 기능을 활성화하는 방법을 배웁니다.

참고: Databricks에서 Bright Data 데이터셋에 접근하고 쿼리하는 방법을 찾고 있다면, 전용 블로그 게시물을 읽어보세요.

아래 지침을 따라하세요!

사전 요구 사항

이 튜토리얼 섹션을 완료하려면 다음이 필요합니다:

Databricks 계정 (신용카드가 구성된 Express 설정을 통한 무료 체험 필요).
API 키가 구성된 Bright Data 계정. Bright Data API 키 생성에 대한 공식 가이드를 참조하세요.

더 원활한 경험을 위해 다음도 갖추는 것이 좋습니다:

MCP 작동 방식에 대한 기본 이해.
Bright Data Web MCP가 제공하는 도구에 대한 친숙함.

1단계: Bright Data Web MCP 설치

Databricks 계정에 로그인합니다. 홈 워크스페이스 대시보드가 표시됩니다:

Bright Data Web MCP는 Databricks Marketplace에서 공식적으로 지원되는 통합입니다. 왼쪽 사이드바에서 “Marketplace” 옵션을 선택한 다음 “View MCP listings”를 클릭합니다:

Databricks Marketplace로 이동합니다. 검색창에 “bright data”를 입력하고 “The web MCP” 목록을 선택합니다:

Bright Data “The web MCP” 페이지에서 세부 정보를 검토하고 “Install”을 클릭하여 워크스페이스에 추가합니다:

다음 세부 정보로 설치 양식을 작성하세요:

Connection name: bright-data-web-mcp (또는 원하는 이름)
Host: https://mcp.brightdata.com (중요: 제안된 URL이 이와 일치하는지 확인)
Base path: /mcp
Bearer token: Bright Data API 키 붙여넣기
Credential type: Bearer token
Port: 433

마지막으로 “Install”을 클릭하여 공식 통합을 통해 Bright Data Web MCP를 Databricks 워크스페이스에 추가합니다. 훌륭합니다!

2단계: Bright Data 서버에 대한 연결 허용

설치 후 bright-data-web-mcp 페이지로 이동합니다. 그러나 구성된 MCP 서버에 대해 도구가 감지되지 않을 수 있습니다:

이는 Databricks가 Web MCP 서버에 필요한 mcp.brightdata.com을 포함한 외부 도메인에 대한 아웃바운드 연결을 기본적으로 차단하기 때문입니다.

참고로, 기본 기술 오류는 다음과 같습니다:

"Failed request to https://mcp.bringthdata.com:443/mcp. Error: Access to mcp.bringthdata.com is denied because of serverless network policy."

이를 해결하려면 Databricks 계정 설정에서 서버리스 이그레스 트래픽에 대해 mcp.brightdata.com에 대한 액세스를 명시적으로 허용해야 합니다. 오른쪽 상단 모서리의 워크스페이스 드롭다운을 열고 “Manage account”를 선택합니다:

“Security” 섹션으로 이동하여 “Serverless egress control”을 선택하고 “Create new network policy”를 클릭합니다:

정책에 이름(예: bright-data-mcp)을 지정하고 “Restricted access to specific destinations” 옵션을 선택합니다. 그런 다음 “Add destination” 버튼을 사용하여 mcp.brightdata.com을 허용된 목적지로 추가합니다:

모든 Databricks 서버리스 제품에 대해 정책을 활성화하고 “Create”를 클릭합니다:

다음으로 Workspaces 페이지로 이동하여 워크스페이스를 선택하고 “Networking” 드롭다운 섹션의 편집 아이콘을 클릭합니다. 네트워크 정책을 bright-data-mcp로 설정한 다음 “Save”를 클릭합니다:

bright-data-web-mcp 페이지로 돌아가 새로 고침합니다. 이제 Databricks가 Web MCP 도구를 성공적으로 로드하는 것을 볼 수 있습니다:

이 도구들은 Rapid(무료) 모드의 Web MCP가 제공하는 기능에 해당합니다. 잘 하셨습니다!

3단계: Web MCP 연결 작동 확인

bright-data-web-mcp page에서 “Try in Playground”를 클릭합니다. MCP 서버가 이미 구성된 AI 채팅 인터페이스가 열립니다.

다음과 같이 간단한 질문을 해보세요:

Scrape the https://example.com page as Markwon

AI가 지정된 URL에서 작업을 완료하기 위해 Web MCP 도구 scrape_as_markdown을 자율적으로 호출하는 것을 볼 수 있습니다:

반환된 Markdown(Bright Data의 Web Unlocker API로 지원되는 scrape_as_markdown 도구를 통해 검색됨)은 대상 페이지에서 볼 수 있는 콘텐츠와 일치합니다:

이는 AI가 Web MCP 도구를 올바르게 사용하고 있으며 통합이 예상대로 작동하고 있음을 확인합니다. 완벽합니다!

4단계: Databricks AI 에이전트 정의

Databricks Agent Bricks 서비스에 접근하려면 왼쪽 사이드바에서 “Agents”를 클릭합니다. 그런 다음 “Create Agent”를 눌러 새 AI 에이전트를 추가합니다:

만들고자 하는 에이전트 유형을 선택하라는 메시지가 표시됩니다. 이 튜토리얼에서는 “Supervisor Agent”를 선택합니다:

슈퍼바이저 에이전트는 AI 에이전트와 도구를 조율하여 더 복잡한 작업을 해결하는 멀티 에이전트 오케스트레이션 시스템입니다.

Bright Data Web MCP를 연결하려면 “Tools and subagents” 섹션 아래의 “Add an External MCP”를 클릭합니다:

다음으로 이전에 구성한 bright-data-web-mcp 연결을 선택합니다:

이제 에이전트가 Bright Data Web MCP 도구에 접근할 수 있게 됩니다. 동일한 프로세스를 반복하여 추가 도구, MCP 서버, Genie Spaces 또는 다른 통합을 추가할 수 있습니다.

이 예시에서 에이전트는 샘플 samples.bakehouse Delta 데이터셋에 연결된 내장 Genie Space인 “Bakehouse Sales Starter Space”에도 연결되었습니다.

중요: 프로덕션에서는 자체 Databricks 데이터셋에 연결된 커스텀 Genie Spaces를 사용하도록 에이전트를 설정하세요. 또한 특정 사용 사례에 더 잘 맞도록 에이전트 이름, 지침 및 설명을 커스터마이즈해야 합니다.

훌륭합니다! 남은 단계는 Web MCP로 구동되는 Databricks AI 에이전트를 테스트하는 것입니다.

5단계: 에이전트 테스트

Databricks AI 에이전트가 올바르게 작동하는지 확인하려면 내부 비즈니스 데이터와 외부 웹 인텔리전스를 결합하는 작업을 시도해 보세요. 예를 들어 다음과 같이 작성합니다:

Retrieve our revenue for May 2024. Then search online for bakery industry revenue data for the same period. Scrape the most relevant sources and produce a report highlighting both internal revenue performance and external market insights, including trends, expectations, and overall industry conditions.

프롬프트를 실행하면 다음과 같은 결과를 볼 수 있습니다:

구체적으로 Databricks AI 에이전트는:

“Bakehouse Sales Starter Space”를 쿼리하여 요청된 기간의 매출 데이터를 검색했습니다.
Bright Data Web MCP의 search_engine 도구(Bright Data의 SERP API로 구동)를 호출하여 제과 업계 성과에 관한 Google의 관련 검색 결과를 수집했습니다.
반환된 결과에서 가장 관련성 높은 소스를 식별했습니다.
scrape_as_markdown 도구를 사용하여 해당 페이지에서 콘텐츠를 추출했습니다.
외부 인사이트와 내부 비즈니스 데이터를 결합하여 통합 보고서를 생성했습니다.

최종 출력이 독점 비즈니스 정보와 최신 시장 인텔리전스를 혼합하고 있음을 주목하세요. Web MCP 없이는 LLM이 기본 웹 접근 기능을 갖추고 있지 않아 이것이 불가능했을 것입니다.

Web MCP는 그 격차를 해소하여 Databricks AI 에이전트가 웹을 검색하고, 관련 소스를 탐색하고, 복잡하거나 보호된 페이지를 포함한 웹사이트에서 정보를 추출할 수 있게 합니다. 이 모든 것은 확장성과 동시성을 위해 구축된 Bright Data의 엔터프라이즈급 인프라에서 실행됩니다.

이것으로 완성입니다! 이 예시는 구축할 수 있는 것의 표면만 긁은 것입니다. Databricks AI 에이전트와 Bright Data Web MCP를 결합하면 다양한 사용 사례를 위해 내부 분석과 실시간 웹 데이터를 통합하는 훨씬 더 고급 워크플로를 만들 수 있습니다.

결론

이 튜토리얼에서 Databricks Agent Bricks가 무엇이며 지원하는 기능에 대해 배웠습니다. 특히 Databricks AI 에이전트를 구축하고 Bright Data Web MCP에 연결하는 방법을 살펴보았습니다.

이 통합 덕분에 Databricks AI 에이전트는 리서치, 그라운딩, 데이터 보강 및 기타 많은 작업을 위해 웹에 접근할 수 있습니다. 이를 통해 내부 Databricks 데이터와 엔터프라이즈 수준의 외부 인텔리전스를 결합하여 더 깊고 풍부한 분석의 문을 열 수 있습니다.

더 고급 시나리오를 위해 AI 생태계를 위해 구축된 Bright Data 솔루션의 전체 범위를 탐색해 보세요.

오늘 Bright Data 계정을 만들고 AI 지원 웹 데이터 도구로 구축을 시작하세요!

문의하기 무료 체험 시작하기