에이전트 기반 웹의 최대 장애물은 여전히 “구식 웹”입니다. 동적 요소, JS 과다 사용, CAPTCHA, 유료화 장벽, 팝업, 속도 제한, 에이전트가 안정적으로 파싱할 수 없는 복잡한 HTML 등이 대표적입니다. 바로 이 때문에 우리는 웹 MCP를 구축했습니다. 에이전트가 구식 웹에 접근하고 상호작용할 수 있도록 하기 위해서입니다. 또한 핵심 기능을 무료로 제공하기로 결정한 이유도 여기에 있습니다.
Bright Data의 Web MCP 수석 개발자이자 유지보수 담당자로서 우리는 초기에 이것이 “일반적인” MCP가 아니라는 점을 알았습니다. 대부분의 MCP 서버는 단일 SaaS/API(예: Gmail, HubSpot, GitHub)를 감싸는 것으로, 이는 깔끔하고 구조화된 문제입니다: 하나의 스키마와 인증 모델, 예측 가능한 입력과 출력, 문서화된 오류와 함께 반복 가능한 작업들.
그러나 웹 MCP는 인터넷 전체를 감싸고 있습니다.
모든 사이트가 자체적으로 변화하는 “API”인 오픈 웹과 통합되며, 페이지가 클라이언트 측에서 렌더링되고, 무한 스크롤이 나타나며, CAPTCHA나 속도 제한이 분 단위로 동작을 변경할 수 있습니다. Web MCP는 탄력적인 탐색 및 가져오기, 관리되는 세션 및 지역 제어, 지저분한 HTML을 사용 가능한 JSON/Markdown으로 정리하는 추출 기능을 통해 이러한 혼란을 흡수합니다.
웹 MCP란 무엇인가
Web MCP는 에이전트가 실제 웹을 탐색하도록 합니다. JS 렌더링 페이지와 CAPTCHA를 처리한 후 모델이 활용할 수 있는 깨끗한 텍스트를 반환합니다. MCP 도구로 패키징된 “에이전트를 위한 인터넷 접속”이라고 생각하세요.
왜 무료인가? 무료 플랜은 비용 부담 없이 구축 및 테스트를 시작하는 데 필요한 기능(일상적 사용에도 충분)을 제공합니다. 월 5,000회 요청(Rapid 모드)이 포함되며, 검색 결과와 “Markdown으로 스크랩”이라는 두 가지 일상 도구를 제공합니다. 대부분의 에이전트가 페이지를 찾고 안정적으로 읽기에 완벽합니다.
클릭, 스크롤, 스크린샷, 구조화된 JSON 추출 기능이 필요해지면 나중에 Pro로 업그레이드할 수 있습니다(로컬 버전에서는 PRO_MODE 설정, 원격 버전에서는 &pro=1 추가).
빠른 시작 및 문서
가이드 튜토리얼
웹 규모 MCP 서버 구축
“일반적인” MCP가 고정된 API를 통해 결정론적 도구를 제공하는 반면, 웹 MCP는 혼란스러운 인터넷 환경에서도 에이전트가 안정적으로 작동할 수 있도록 내결함성 도구를 제공합니다. 이를 제대로 구현하려면 큰 엔지니어링 과제와 실질적인 책임이 따릅니다.
전체 웹을 위한 MCP를 출시한다는 것은 세 가지 엄격한 기준을 충족해야 함을 의미했습니다:
- 가볍고 스마트해야 함 — 연결만으로 토큰을 소모하지 않도록
- 확장성 및 성능 보장 — 데모가 아닌 실제 생산 부하에서도 작동해야 함
- 안전하고 규정 준수 — 팀이 자신 있게 배포할 수 있도록
1) 가볍고 스마트해야 함 (기능을 단순화하지 않으면서 토큰 효율성 확보)
초기에는 60개 이상의 도구를 탑재했지만, 초기 사용자들이 알려준 귀중한 통찰은 이랬습니다: 에이전트 호출의 약 90%가 ‘검색’과 ‘스크랩-마크다운 변환’ 두 가지 기능만 사용했습니다.
그러나 일반적인 MCP는 수십 개의 도구를 미리 열거합니다. MCP에서는 첫 단계가 /list/tools입니다. 60개 이상의 도구를 열거하는 이 핸드셰이크 과정만으로도 실제 작업 전에 약 17,000 토큰이 소모되었습니다 🤯. 이는 모델을 혼란스럽게 하여 잘못된 도구 선택으로 이어졌고, 결과적으로 속도와 일관성을 저하시켰습니다.
우리는 핸드셰이크 중 발생하는 토큰 비용이 실행 시간 지연보다 사용자를 훨씬 더 많이 쫓아낸다는 점, 그리고 CAPTCHA 처리가 기본 요건이라는 점을 깨달았습니다: 이를 적용하지 않으면 실제 웹페이지에서 너무 많은 실패가 발생했기 때문입니다.
우리의 해결책: 두 가지 모드.
빠른 모드 (기본값)
정확히 두 가지 도구만 사용:
search_engine→ SERP 결과 반환scrape_as_markdown→ 모든 URL을 깔끔하고 LLM 친화적인 마크다운으로 가져옴
최소화된 핸드셰이크: 최소한의 도구 메타데이터, 최소한의 혼란
검색 + 추출 작업의 압도적 다수를 커버
빠르고 실시간 사용 사례에 적합
스크레이프_어스_마크다운이 중요한 이유
대부분의 “웹” 통합은 CAPTCHA와 차단으로 인해 이 단계에서 멈추며, 이는 현대 웹에서는 작동하지 않습니다.scrape_as_markdown:
- 자바스크립트 중심 사이트에서도 작동 (완전한 렌더링)
- CAPTCHA 자동 해결
- 원시 HTML보다 LLM이 훨씬 잘 소화하는 깔끔한 마크다운을 반환
구조화된 JSON(예: 제품 데이터)이 필요할 때는 Pro로 전환하여 수직 스크레이퍼를 사용하세요.
Pro 모드 (선택적 사용)
- 약 60여 가지의 전체 도구(전자상거래, 소셜, 뉴스, 부동산, 금융, LinkedIn/HR 등)
- 워크플로우에 필요한 경우 Bright Data의 웹 스크레이퍼 API를 사용하여 구조화된 JSON을 반환
- 수직적 구조가 토큰 비용을 정당화할 때 옵트인합니다
결과: 더 빠른 시작, 더 적은 토큰 사용, 올바른 도구를 선택하는 더 행복한 에이전트.
프로 모드 활성화 방법
- 원격/호스팅: 연결 URL에
&pro=1추가 - STDIO/자체 호스팅:
PRO_MODE = true설정
2) 확장성과 성능 보장 (실제 트래픽을 위해 구축됨)
오케스트레이션을 핫 패스에서 제외하여 요청 시간이 Web MCP가 아닌 대상 사이트에서 발생하도록 했습니다.
아키텍처 개요:
- 단일 MCP 엔드포인트에 두 가지 모드 도구 인터페이스 제공
- 자바스크립트 중심 페이지 또는 대상 사이트와의 상호작용이 필요한 경우를 위한 헤드리스 브라우저 오케스트레이션
- 자동 CAPTCHA 해결 및 복원력 있는 세션 관리
- 조정 가능한 동시성 및 계정별 격리
실제 적용 시:
- 낮은 핸드셰이크 오버헤드(Rapid 모드) → 최소화된 시작 시간
- 실제 환경의 자바스크립트 풍부한 사이트에서도 견고한 스크래핑
- 배치 작업 및 고-QPS 에이전트를 위한 운영 여유 공간
3) 보안 및 규정 준수 보장 (Bright Data의 GDPR 프로그램 기반)
Web MCP는 Bright Data API를 감싼 얇은 래퍼이므로, 에이전트에 제어 기능을 재구현할 필요 없이 플랫폼의 개인정보 보호, 보안 및 거버넌스 체계(GDPR/CCPA)를 그대로 활용할 수 있습니다. 자세한 내용은 당사 신뢰 센터에서 확인하세요.
MCP 레이어는 최소한으로 유지되는 동안, 귀사는 Bright Data의 검증된 인프라 및 정책(실제 고객이 사용하는 것과 동일한 설정) 위에서 운영됩니다. 플랫폼의 법적 근거는 입증되었으며, Meta 및 X Corp과의 소송에서 승소하여 공개 웹 데이터에 대한 책임 있는 접근을 뒷받침합니다.
Web MCP에 (의도적으로) 포함되지 않은 사항
웹 MCP는 자체 격리, 거주지, PII 편집 또는 속도 제한 계층을 추가하지 않습니다. 이러한 안전 장치는 Bright Data의 API/정책으로 처리되거나, 귀사의 위험 수준에 따라 에이전트/애플리케이션에 구현되어야 합니다.
쉬운 빠른 시작
from langchain_mcp_adapters.client import MultiServerMCPClient
from langgraph.prebuilt import create_react_agent
client = MultiServerMCPClient({
"brightdata": {
"url": "https://mcp.brightdata.com/sse?token=<API_TOKEN>", # Pro 가입 시 &pro=1 추가
"transport": "sse",
}
})
tools = await client.get_tools() # Rapid 모드는 간결하고 가치 높은 데이터 세트를 반환합니다
agent = create_react_agent("openai:gpt-4.1", tools)
# 이제 에이전트가 실시간 사이트를 안정적으로 검색하고 추출할 수 있습니다:
resp = await agent.invoke({"messages": "미국 여권 갱신 수수료에 대한 최신 지침을 찾아 변경 사항을 요약하세요."})무료는 “변명의 여지 없음”을 의미합니다
에이전트가 실시간 웹에 연결되지 않으면 시의적절한 작업에서 확신에 찬 오류를 범합니다. Web MCP의 무료 티어로 오늘 바로 해결하세요.
