실시간 데이터 처리를 위해 Crush CLI를 Bright Data 웹 MCP에 연결하세요

이 블로그 글에서는 다음을 확인하실 수 있습니다:

Ctush가 무엇이며, 왜 AI 코딩 지원을 위한 CLI 애플리케이션으로 사랑받는지
웹 상호작용 및 데이터 추출 기능으로 확장하여 효율성을 극대화하는 방법.
Crush CLI를 Bright Data 웹 MCP 서버에 연결하여 향상된 AI 코딩 에이전트를 만드는 방법.

자, 시작해 보겠습니다!

Crush란 무엇인가요?

Crush는 터미널용 오픈소스 AI 코딩 에이전트입니다. 특히 Crush CLI는 Go 기반 CLI 애플리케이션으로, 터미널 환경에 직접 AI 지원을 제공합니다. 코딩, 디버깅 및 기타 개발 작업을 지원하기 위해 여러 LLM과 상호작용할 수 있는 TUI(터미널 사용자 인터페이스)를 제공합니다.

크러쉬의 특별한 점은 다음과 같습니다:

크로스 플랫폼: macOS, Linux, Windows(PowerShell 및 WSL), FreeBSD, OpenBSD, NetBSD의 모든 주요 터미널에서 작동합니다.
다중 모델 지원: 다양한 LLM 중에서 선택하거나, OpenAI 또는 Anthropic 호환 API를 통해 자체 모델을 통합하거나, 로컬 모델에 연결할 수 있습니다.
세션 기반 경험: 프로젝트별로 여러 작업 세션과 컨텍스트를 유지합니다.
높은 유연성: 컨텍스트를 유지한 채 세션 중간에 LLM을 전환할 수 있습니다.
LSP 지원: Crush는 현대적인 IDE와 마찬가지로 추가적인 컨텍스트와 인텔리전스를 위한 LSP(Language Server Protocols)를 지원합니다.
확장성: MCP(HTTP, stdio, SSE)를 통한 타사 기능 통합 지원.

이 프로젝트는 이미 GitHub에서 10,000개 이상의 스타를 달성했으며, 35명 이상의 기여자가 참여하는 활발한 개발자 커뮤니티에 의해 적극적으로 유지 관리되고 있습니다.

웹 MCP로 Crush CLI의 LLM 지식 격차 극복

모든 LLM이 공통적으로 직면하는 과제는 지식의 한계입니다. Crush CLI에서 구성하는 LLM도 예외는 아닙니다. 이러한 모델은 고정된 데이터셋으로 훈련되므로, 그들의 지식은 과거의 정적 스냅샷에 불과합니다. 즉, 최근 사건이나 발전 사항을 알지 못한다는 의미입니다.

이는 빠르게 변화하는 기술 세계에서 중요한 단점입니다. 업데이트된 지식 기반이 없다면 LLM은 더 이상 사용되지 않는 라이브러리나 구식 프로그래밍 관행을 제안하거나, 단순히 새로운 기능과 도구를 알지 못할 수 있습니다.

그렇다면 Crush AI 코딩 어시스턴트가 단순히 오래된 정보를 불러오는 것 이상을 할 수 있다면 어떨까요? 최신 문서, 기사, 가이드를 웹에서 검색한 후 그 실시간 데이터를 활용해 더 정확하고 향상된 지원을 제공할 수 있다고 상상해 보세요.

Crush를 웹 접근 및 데이터 검색 기능을 LLM에 제공하는 솔루션에 연결하면 이를 실현할 수 있습니다. 바로 Bright Data의 Web MCP 서버가 제공하는 기능입니다. 이 오픈소스 서버(이제 무료 티어도 제공!)는 웹 상호작용 및 데이터 수집을 위한 60개 이상의 AI 지원 도구를 제공합니다.

Bright Data 웹 MCP 통합

해당 MCP 서버에서 찾을 수 있는 주요 도구 두 가지는 다음과 같습니다:

search_engine: SERP API에 연결하여 Google, Bing 또는 Yandex에서 검색을 수행하고 검색 엔진 결과 페이지 데이터를 HTML 또는 마크다운 형식으로 반환합니다.
scrape_as_markdown: Web Unlocker를 활용하여 단일 웹 페이지의 콘텐츠를 스크래핑합니다. 고급 추출 옵션을 지원하며, 봇 탐지 시스템을 우회하고 CAPTCHA를 대신 해결해 줍니다.

이 외에도 웹 페이지와 상호작용하기 위한 55개 이상의 전문 도구(예: scraping_browser_click)와 Amazon, LinkedIn, TikTok 등 다양한 도메인에서 구조화된 데이터 피드를 수집하는 도구가 있습니다. 예를 들어, web_data_amazon_product 도구는 제품 URL을 사용하여 Amazon에서 직접 상세하고 구조화된 제품 정보를 가져올 수 있습니다.

이러한 도구를 활용하여 Crush와 함께 Bright Data Web MCP를 활용할 수 있는 방법은 다음과 같습니다:

프로젝트에 필요한 최신 정보를 즉시 가져옵니다. 예를 들어 야후 파이낸스의 주가나 전자상거래 사이트의 제품 상세 정보 등을 수집할 수 있습니다. 분석, 테스트, 모킹 등을 위해 해당 데이터를 로컬 파일에 저장하세요.
사용 중인 라이브러리나 프레임워크의 최신 문서를 AI가 가져오도록 하여 제안되는 코드가 최신 상태이며 더 이상 사용되지 않는 것이 아님을 확인하세요.
컨텍스트 인식 링크를 수집하여 마크다운 파일, 문서화 또는 기타 출력물에 해당 리소스를 통합하세요. 코드 편집기를 벗어나지 않고도 가능합니다.

Web MCP가 Crush CLI 에이전트를 어떻게 향상시킬 수 있는지 확인해 보세요!

Crush를 Bright Data의 Web MCP에 연결하는 방법

이 가이드 튜토리얼에서는 Crush를 로컬에 설치 및 구성하고 Bright Data의 Web MCP와 통합하는 방법을 배웁니다. 결과적으로 다음과 같은 기능을 갖춘 향상된 AI 코딩 에이전트를 얻을 수 있습니다:

즉석에서 Amazon 제품 페이지를 스크래핑합니다.
데이터를 로컬 JSON 파일에 저장합니다.
해당 데이터를 불러와 처리하는 Node.js 스크립트 생성.

아래 지침을 따르세요!

필수 조건

시작하기 전에 다음 사항을 확인하세요:

로컬에 Node.js 설치 (최신 LTS 버전 권장).
지원되는 LLM 제공업체 중 하나로부터 API 키를 준비하세요(이 가이드에서는 Google Gemini를 사용합니다).
API 키가 준비된 Bright Data 계정 (아직 계정이 없더라도 생성 방법을 안내해 드리니 걱정하지 마세요).

또한 선택 사항이지만 도움이 되는 배경 지식:

MCP 작동 방식에 대한 일반적인 이해.
Bright Data 웹 MCP 서버 및 관련 도구에 대한 어느 정도의 친숙함.
CLI 코딩 에이전트의 작동 방식 및 파일 시스템과의 상호작용 방법에 대한 이해.

1단계: Crush 설치 및 구성

@charmland/crush npm 패키지를 통해 시스템에 Crush CLI를 전역 설치하세요:

npm install -g @charmland/crush

npm을 통해 CLI를 설치하고 싶지 않다면 다른 설치 옵션을 확인하세요.

이제 Crush를 다음과 같이 실행할 수 있습니다:

crush

아래와 같은 LLM 선택 화면이 표시됩니다:

Selecting the LLM model to configure on Crush

수십 개의 제공업체와 수백 개의 모델 중에서 선택할 수 있습니다. 화살표 키를 사용하여 API 키를 보유한 제공업체에서 원하는 모델을 찾을 때까지 탐색하세요. 이 예시에서는 “Gemini 2.5 Flash”(API를 통해 사실상 무료로 사용 가능)를 선택하겠습니다.

다음으로 API 키 입력을 요청받습니다. 키를 붙여넣고 Enter를 누르세요:

이 경우 Google Studio AI에서 무료로 발급받을 수 있는 Google Gemini API 키를 붙여넣으세요.

Crush가 API 키를 검증하여 정상 작동하는지 확인합니다.

검증이 완료되면 다음과 같은 화면이 표시됩니다:

“준비 중…” 섹션에 프롬프트를 입력할 수 있습니다.

참고: Crush CLI를 다시 실행할 경우 LLM 연결 설정을 두 번 요청하지 않습니다. 설정된 LLM 키가 글로벌 구성 파일 $HOME/.config/crush/crush.json (Windows의 경우 %USERPROFILE%AppDataLocalcrushcrush.json)에 자동 저장되기 때문입니다.

Visual Studio Code(또는 선호하는 IDE)에서 글로벌 crush.json 구성 파일을 열어 확인하세요:

보시다시피, crush.json 파일에는 선택한 모델의 구성과 함께 API 키가 포함되어 있습니다. 이는 LLM을 선택할 때 Crush CLI에 의해 자동으로 채워졌습니다. 이 파일을 편집하여 다른 AI 모델(로컬 모델 포함)을 구성할 수도 있습니다.

마찬가지로, 프로젝트 디렉터리 내에 로컬 crush.json 또는 .crush.json 파일을 생성하여 글로벌 설정을 재정의할 수 있습니다. 자세한 내용은 공식 문서를 참조하세요.

대단합니다! 이제 Crush CLI가 시스템에 설치되어 작동 중입니다.

2단계: Bright Data의 웹 MCP 테스트

아직 계정이 없다면 Bright Data 계정을 생성하세요. 기존 계정이 있다면 로그인하세요.

다음으로 공식 안내에 따라 Bright Data API 키를 생성하세요. 곧 필요할 수 있으니 안전한 곳에 보관하세요. 간편함을 위해 관리자 권한이 부여된 API 키를 사용한다고 가정하겠습니다.

@brightdata/mcp 패키지를 사용하여 Web MCP를 전역으로 설치하세요:

npm install -g @brightdata/mcp

그런 다음 다음 Bash 명령어로 서버가 작동하는지 확인하세요:

API_TOKEN="<YOUR_BRIGHT_DATA_API>" npx -y @brightdata/mcp

또는 Windows PowerShell에서 동일하게 실행:

$Env:API_TOKEN="<YOUR_BRIGHT_DATA_API>"; npx -y @brightdata/mcp

<YOUR_BRIGHT_DATA_API> 자리 표시자를 앞서 생성한 실제 Bright Data API 토큰으로 대체하세요. 위 명령어는 필수 API_TOKEN 환경 변수를 설정하고 @brightdata/mcp npm 패키지를 통해 MCP 서버를 실행합니다.

모든 것이 정상적으로 작동하면 다음과 같은 로그를 확인할 수 있습니다:

The Bright Data Web MCP server startup logs

첫 실행 시 MCP 서버는 Bright Data 계정에 자동으로 두 개의 영역을 생성합니다:

mcp_unlocker: 웹 언락커용 존.
mcp_browser: 브라우저 API용 영역입니다.
이 두 영역은 MCP 서버 도구의 전체 기능을 사용하기 위해 필수적입니다.

생성 여부를 확인하려면 Bright Data 대시보드에 로그인하여 “프록시 및 스크래핑 인프라” 페이지로 이동하세요. 두 영역이 목록에 표시되어야 합니다:

The mcp_unlocker and mcp_browser zones created by the Web MCP at startup

참고: API 토큰에 관리자 권한이 없는 경우 해당 영역이 생성되지 않을 수 있습니다. 이 경우 공식 문서에 설명된 대로 환경 변수를 사용하여 영역 이름을 지정하며 수동으로 설정할 수 있습니다.

참고: 기본적으로 MCP 서버는 search_engine 및 scrape_as_markdown 도구만 노출합니다.

브라우저 자동화 및 구조화된 데이터 피드를 위한 고급 도구를 사용하려면 프로 모드를 활성화해야 합니다. 이를 위해 MCP 서버 실행 전에 PRO_MODE=true 환경 변수를 설정하세요:

API_TOKEN="<YOUR_BRIGHT_DATA_API>" PRO_MODE="true" npx -y @brightdata/mcp

또는 Windows에서:

$Env:API_TOKEN="<YOUR_BRIGHT_DATA_API>"; $Env:PRO_MODE="true"; npx -y @brightdata/mcp

중요: 프로 모드를 사용하면 60개 이상의 모든 도구에 액세스할 수 있습니다. 그러나 프로 모드의 추가 도구는 무료 계층에 포함되지 않으며 요금이 부과됩니다.

Bright Data의 웹 MCP 서버에 대한 자세한 내용은 공식 문서를 참조하세요.

완벽합니다! 웹 MCP 서버가 컴퓨터에서 정상적으로 실행되는지 확인했습니다. 다음 단계는 Crush를 구성하여 서버를 시작하고 부팅 시 연결하도록 설정하는 것이므로 서버를 중지하세요.

3단계: Crush에서 Web MCP 구성

Crush는 로컬 또는 글로벌 crush.json 구성 파일의 mcp 항목을 통해 MCP 통합을 지원합니다.

이 예시에서는 Crush CLI 환경에서 Bright Data의 Web MCP를 전역적으로 구성한다고 가정합니다. 따라서 전역 설정 파일을 엽니다:

Linux/macOS: $HOME/.config/crush/crush.json.
Windows: %USERPROFILE%AppDataLocalcrushcrush.json.

다음 내용이 포함되어 있는지 확인하세요:

"mcp": {
   "brightData": {
     "type": "stdio",
     "command": "npx",
     "args": [
       "-y",
       "@brightdata/mcp"
     ],
     "env": {
       "API_TOKEN": "<YOUR_BRIGHT_DATA_API_KEY>",
       "PRO_MODE": "true"
     }
   }
 }

이 구성에서:

mcp 항목은 Crush가 외부 MCP 서버를 실행하는 방법을 알려줍니다.
brightData 항목은 웹 MCP 실행에 필요한 명령어와 환경 변수를 정의합니다. (참고: PRO_MODE 설정은 선택 사항이지만 권장됩니다. 또한 <YOUR_BRIGHT_DATA_API_KEY> 를 본인의 Bright Data API 키로 대체하세요.)

즉, 이 설정은 brightData라는 사용자 정의 MCP 서버를 추가합니다. Crush는 파일에 설정한 환경 변수를 사용하고 지정된 npx 명령어(이전 단계에 표시된 명령어와 동일)를 통해 서버를 시작합니다. 간단히 말해, Crush는 이제 로컬 Web MCP 프로세스를 시작하고 시작 시점에 해당 프로세스에 연결할 수 있습니다.

훌륭합니다! 이제 Crush CLI 내에서 MCP 통합을 테스트할 시간입니다.

단계 #4: MCP 연결 확인

실행 중인 모든 Crush 인스턴스를 종료하고 다시 실행하세요:

crush

MCP 연결이 예상대로 작동하면 “MCPs” 섹션에 brightData 항목이 표시됩니다:

Note the available Bright Data MCP server with 60 tools

CLI는 60개의 도구를 사용할 수 있다고 표시합니다. 이는 프로 모드로 실행되도록 구성했기 때문입니다. 그렇지 않으면 2개의 도구(scrape_as_markdown 및 search_engine)만 사용할 수 있습니다. 잘하셨습니다!

단계 #5: Crush에서 작업 실행하기

Crush CLI 설정의 새로운 기능을 확인하려면 다음과 같은 프롬프트를 실행해 보세요:

"https://www.amazon.com/Microfiber-Cleaning-Cloth-Performance-Washes/dp/B08BRJHJF9/"에서 데이터를 스크랩하여 로컬 "product.json" 파일에 저장하고, Node.js "script.js" 스크립트를 정의하여 해당 파일을 로드하고 터미널에 내용을 출력합니다.

이 테스트 케이스는 최신 제품 데이터 검색을 요청하므로 Bright Data의 Web MCP가 제공하는 도구를 활용해야 합니다. 또한 데이터 분석 프로젝트를 모의 실행하거나 설정할 때 사용할 수 있는 현실적인 워크플로를 보여줍니다.

프롬프트를 Crush에 붙여넣고 Enter를 눌러 실행하세요. 다음과 같은 결과가 표시됩니다:

위 GIF는 속도를 높인 것이지만, 단계별로 진행되는 과정은 다음과 같습니다:

Crush가 작업에 적합한 도구로 web_data_amazon_product (CLI에서는 mcp_brightData_web_data_amazon_product로 참조됨)를 식별하고 실행 허가를 요청합니다.
승인되면 MCP 통합을 통해 스크래핑 작업이 실행됩니다.
결과 JSON 제품 데이터가 터미널에 표시됩니다.
Crush가 이 데이터를 product.json이라는 로컬 파일에 저장해도 되는지 묻습니다.
승인 후 파일이 생성되고 스크래핑된 데이터로 채워집니다.
그런 다음 Crush CLI는 JSON 내용을 로드하고 출력하는 script.js에 대한 JavaScript 로직을 생성합니다.
승인하면 script.js 파일이 생성됩니다.
Node.js 스크립트 실행에 대한 권한을 묻는 메시지가 표시됩니다.
권한을 부여하면 script.js가 실행되고 제품 데이터가 터미널에 출력됩니다.

명시적으로 요청하지 않았음에도 CLI가 생성된 Node.js 스크립트 실행을 요청한 점에 유의하십시오. 이 동작은 의도된 것으로, 테스트(그리고 오류 발생 시 수정)를 용이하게 하고 워크플로우에 가치를 더합니다.

작업 디렉토리에는 최종적으로 다음 두 파일이 생성됩니다:

├── prodcut.json
└── script.js

VS Code에서 product.json을 열면 다음과 같은 내용을 확인할 수 있습니다:

이 파일은 Bright Data의 Web MCP를 통해 Amazon에서 수집한 실제 제품 데이터를 포함합니다.

이제 script.js를 열어 보세요:

이 스크립트는 Node.js를 사용하여 product.json의 내용을 불러와 표시합니다. 다음 명령어로 실행하세요:

node script.js

출력 결과는 다음과 같아야 합니다:

자, 이제 워크플로가 성공했습니다.

자세히 설명하자면, product.json 에서 불러와 터미널에 출력된 내용은 실제 아마존 상품 페이지에서 확인할 수 있는 실제 데이터와 일치합니다.

중요: product.json에는 AI가 생성한 허구적 내용이 아닌 실제 스크래핑된 데이터가 포함됩니다. 아마존은 고급 봇 방지 기능(예: 아마존 CAPTCHA)으로 인해 스크래핑이 매우 어렵기로 악명 높기 때문에 이 점을 강조하는 것이 중요합니다. 따라서 일반적인 LLM만으로는 이 목표를 달성할 수 없습니다!

이 예시는 Crush와 Bright Data의 MCP 서버를 결합했을 때의 진정한 힘을 보여줍니다. 이제 새로운 프롬프트로 실험해보고 CLI에서 직접 더 진보된 LLM 기반 데이터 워크플로를 탐색해 보세요!

결론

이 튜토리얼에서는 Crush를 Bright Data의 Web MCP(이제 무료 티어가 제공됩니다!)와 연결하는 방법을 살펴보았습니다. 그 결과 웹에 접근하고 상호작용할 수 있는 강력한 CLI 코딩 에이전트가 탄생했습니다. 이 통합은 Crush CLI의 내장된 MCP 서버 지원 덕분에 가능해졌습니다.

이 가이드의 예제 작업은 의도적으로 단순하게 구성되었습니다. 그러나 이 통합을 통해 훨씬 더 복잡한 사용 사례를 해결할 수 있다는 점을 잊지 마세요. 결국 Bright Data 웹 MCP 도구는 다양한 에이전트 시나리오를 지원합니다.

고급 에이전트를 생성하려면 Bright Data AI 인프라에서 제공하는 모든 서비스를 살펴보세요.

무료 Bright Data 계정에 가입하고 AI 지원 웹 도구로 오늘 바로 실험을 시작하세요!

문의하기 무료 체험 시작하기