Nexla와 Bright Data로 자동화된 웹 데이터 파이프라인 구축

이 글에서 다루는 내용은 다음과 같습니다:

Nexla Express가 무엇이며 어떤 기능을 제공하는지.
Bright Data의 Web MCP를 연결하면 왜 더욱 강력해지는지.
웹 데이터 파이프라인 구축을 위해 Bright Data의 Web MCP를 Express에 통합하는 방법.

바로 시작해 봅시다!

Nexla Express란 무엇인가?

Nexla Express, 즉 Express는 엔터프라이즈 에이전틱 데이터 통합 플랫폼입니다. 코드 작성이나 인프라 관리 없이 일반 영어로 설명하는 것만으로 데이터 파이프라인을 구축할 수 있습니다.

Express는 API, 데이터베이스, 파일에 연결하여 수집, 변환, 배포를 자동으로 처리합니다. ETL 스크립트, 스키마 매핑, 인프라 관리가 필요 없어집니다.

주요 사용 사례로는 분석 파이프라인 구축, 시스템 간 데이터 동기화, 보고용 데이터셋 준비 등이 있습니다. 데이터 배관 유지보다는 제품 개발, 인사이트, 비즈니스 의사결정에 집중하여 더 빠르게 출시하고 엔지니어링 부담을 줄일 수 있습니다.

Web MCP 기능으로 Express를 확장해야 하는 이유

많은 비즈니스 프로세스는 내부 데이터베이스나 데이터 웨어하우스 시스템에 존재하지 않는 정보에 의존합니다. 최신 뉴스, 시장 신호, 경쟁사 가격 데이터가 그 예입니다. 이 데이터는 공개 웹에서 오며 분석과 의사결정에 핵심적인 역할을 합니다.

이로 인해 두 가지 주요 과제가 발생합니다:

실시간 외부 데이터 접근 제한: 기존 데이터 파이프라인은 주로 내부 소스에서 작동하며 신선한 웹 정보에 대한 직접 접근이 부족한 경우가 많습니다.
대규모 웹 데이터 수집의 어려움: 현대 웹사이트는 봇 방지 기술, 동적 콘텐츠, 복잡한 브라우저 상호작용을 사용하여 안정적인 웹 데이터 수집을 어렵게 만듭니다.

이러한 한계는 외부 기능으로 Express를 확장함으로써 극복할 수 있습니다. 바로 그것이 플랫폼이 MCP 통합을 지원하는 이유입니다.

예를 들어, Bright Data Web MCP를 통합하면 Express는 실시간 웹 검색, 웹사이트 탐색, 웹 스크래핑, 브라우저 자동화 기능에 접근할 수 있게 됩니다. 이를 통해 파이프라인이 엔터프라이즈 데이터와 웹의 실시간 정보를 결합할 수 있습니다.

Web MCP는 웹 데이터 수집, 탐색, 자동화를 위한 70개 이상의 도구를 제공합니다. Nexla Express에 연결되면 이 도구들은 대화 내에서 사용 가능해지고 생성된 파이프라인에 통합될 수 있습니다.

이 모든 도구는 195개국에 걸쳐 4억 개 이상의 주거용 IP로 구성된 Bright Data의 글로벌 네트워크 위에서 실행됩니다. 이 인프라는 99.95% 성공률, 99.99% 가동률, 무제한 확장성을 달성하면서 엔터프라이즈 규모의 워크로드를 처리하도록 설계되었습니다.

웹 데이터 파이프라인을 위해 Bright Data Web MCP를 Express에 연결하는 방법

이 섹션에서는 Bright Data의 Web MCP가 Express에 엔터프라이즈 수준의 확장 가능한 웹 데이터 파이프라인을 구축하는 능력을 부여하는 방법을 살펴봅니다.

아래 지침을 따라 진행하세요!

사전 요구사항

다음 단계로 넘어가기 전에 아래 사항을 준비했는지 확인하세요:

Nexla Express 계정 (무료 플랜으로 충분합니다).
API 키가 구성된 Bright Data 계정. 공식 가이드를 따라 Bright Data API 키를 생성하세요.

반드시 필요하지는 않지만, 예제를 더 현실적으로 만들기 위해 Snowflake 데이터베이스도 연결할 것입니다. 다른 Express 지원 데이터 소스를 사용해도 됩니다.

구체적으로, Snowflake에서 Bright Data가 무료로 제공하는 “AI Training Dataset from Wikipedia” 데이터셋을 사용할 것입니다. 이것을 웹 데이터 파이프라인의 기본 소스 역할을 하는 내부 지식 기반으로 취급할 것입니다.

MCP 작동 방식과 Web MCP 서버가 제공하는 도구에 익숙해지는 것도 도움이 됩니다.

1단계: Web MCP 시작하기

Airia 에이전트를 만들기 전에 Airia가 원격 Web MCP 서버에 접근하는 데 사용할 연결 URL을 가져오세요.

참고: Bright Data Web MCP 원격 서버는 엔터프라이즈 시나리오를 위해 설계되었습니다. 다른 모든 Bright Data 서비스와 마찬가지로 무제한 확장성과 동시 연결을 지원합니다.

먼저 표준 Web MCP 원격 연결 URL 형식을 숙지하세요:

https://mcp.brightdata.com/mcp?token=<YOUR_BRIGHT_DATA_API_KEY>&pro=1

<YOUR_BRIGHT_DATA_API_KEY>를 실제 Bright Data API 키로 교체하세요. token 파라미터는 요청을 인증하고 Bright Data 계정에 연결합니다. URL의 &pro=1 파라미터는 선택 사항입니다:

&pro=1 없이: Rapid 모드의 무료 도구에만 접근 가능합니다 (월 최대 5,000건 요청).
&pro=1 포함: 70개 이상의 전체 도구 카탈로그와 고급 기능에 접근할 수 있습니다. Bright Data 표준 사용 요금이 적용됩니다.

특정 도구나 도구 그룹만 활성화하는 등 더 세밀한 제어를 원한다면 Bright Data 대시보드에서 직접 커스텀 MCP 연결 URL을 생성하세요.

Bright Data 계정에 로그인하여 “AI Gateways > MCP” 페이지로 이동하세요. 설정 마법사를 따라 MCP 서버를 구성하고 커스텀 Web MCP 연결 URL을 생성하세요:

생성된 “Streamable HTTP” 연결 URL을 복사하거나 위에서 설명한 형식을 사용하여 직접 만드세요. 다음 단계에서 Bright Data Web MCP를 Express 파이프라인에 연결하는 데 사용할 것입니다. 잘 하셨습니다!

2단계: Nexla Express에서 Web MCP 연결 추가하기

Express에 로그인하고 왼쪽 메뉴에서 “Explore MCPs”를 선택하세요. “MCP STORE” 페이지에서 “Add Custom MCP” 버튼을 클릭하세요:

다음으로, “SERVER URL” 필드에 Web MCP 연결 URL을 붙여넣어 “Add MCP Server” 양식을 작성하세요:

“Connect”를 클릭하면 Express가 Bright Data Web MCP 서버에 연결을 설정합니다. 좋습니다!

3단계: 통합 작동 확인

이제 Nexla Express가 Web MCP 서버에 연결하여 70개 이상의 도구에 접근하는 것을 볼 수 있습니다 (pro=1 파라미터를 생략했다면 Rapid 모드의 제한된 도구 세트):

도구들이 Nexla Express 대화형 에이전트에서 실제로 사용 가능한지 확인하려면 왼쪽 메뉴에서 “New Chat” 항목을 클릭하세요:

그런 다음 “Add MCP” 아이콘을 클릭하고 “mcp.brightdata.com” 옵션을 선택하여 MCP를 연결하세요:

다음과 같은 프롬프트를 실행하세요:

Which Bright Data Web MCP tools do you have access to?

응답에는 사용 가능한 모든 도구와 각 도구의 기능 설명이 나열됩니다:

이를 통해 Express가 원격 MCP 서버에서 제공하는 Bright Data Web MCP 도구에 성공적으로 접근할 수 있음이 확인됩니다. 훌륭합니다!

4단계: 웹 데이터 파이프라인 구축

Web MCP에 연결된 Express 채팅에서 다음과 같이 프롬프트를 작성하세요:

Connect to my Snowflake instance and retrieve the full record from the Wikipedia table in the AI_TRAINING_DATASET_FROM_WIKIPEDIA database where the "Title" field equals "FIFA World Cup".
Given the retrieved record, scrape the Wikipedia article URL to fetch the latest version of the article in Markdown format.
Then, compare the freshly retrieved content with the version stored in Snowflake and generate a report that:
- Summarizes the key differences between the stored and current versions.
- Highlights any added, removed, or significantly modified sections.
- Identifies major content updates, factual changes, or structural changes.
Present the results in a clear, structured report.

이것은 엔터프라이즈 데이터 웨어하우스/데이터베이스에서의 데이터 검색과 실시간 웹 스크래핑을 결합하기 때문에 훌륭한 예시입니다. 실제 시나리오에서는 특정 비즈니스 목표에 맞게 프롬프트를 조정하세요.

예상되는 동작은 Wikipedia 콘텐츠를 추출, 보강, 비교하는 엔드투엔드 파이프라인입니다. 정적 데이터 검색을 위해 Snowflake에 연결하고 신선한 Wikipedia 데이터 스크래핑을 위해 Bright Data Web MCP 도구를 사용합니다.

프롬프트를 실행하면 Nexla Express가 필요한 Snowflake 연결 세부 정보를 입력할 수 있는 양식을 생성합니다. 양식을 작성하고 “Connect”를 클릭하세요:

그러면 Nexla Express가 활성 데이터 소스를 설정하여 Snowflake 데이터에 접근할 수 있게 됩니다.

데이터베이스에서 모든 열을 포함한 요청된 레코드를 가져옵니다:

다음으로, url 열에서 페이지 URL을 읽고 Bright Data scrape_as_markdown 도구(Bright Data의 Web Unlocker API에 의존)를 사용하여 스크래핑합니다. 페이지 콘텐츠를 분석한 후 Snowflake에 저장된 데이터와 비교하여 풍부한 비교 보고서를 생성합니다: