Bright Data의 Web MCP를 Kiro와 통합하기

이 튜토리얼에서 배우게 될 내용:

• Kiro의 정의와 기술적 역량.
• Kiro를 Bright Data의 Web MCP 서버와 연결하면 정적 코드 생성기에서 실시간 데이터 수집, 봇 방지 기능 우회, 구조화된 출력 생성 기능을 갖춘 동적 에이전트로 변환되는 방법.
• Kiro를 활용하여 실시간 구인 시장 데이터 수집, CSV 파일 정리, 분석 스크립트 생성, 통찰력 있는 보고서 작성의 전체 프로세스를 자동화하는 방법.

GitHub에서 프로젝트를 확인하세요.

자, 시작해 보겠습니다!

Kiro란 무엇인가?

Kiro는 사양 기반 개발과 자동화된 프로세스를 활용하여 개발자의 작업 방식을 변화시키는 AI 기반 IDE입니다. 단순히 코드를 생성하는 일반적인 AI 코딩 도구와 달리, Kiro는 자체적으로 작동하며 코드베이스를 확인하고 여러 파일을 변경하며 처음부터 끝까지 완전한 기능을 구축합니다.

주요 기술적 역량:

• 스펙 기반 워크플로: Kiro는 프롬프트를 명확한 요구사항, 기술 설계 및 작업으로 전환하여 “감각 코딩”을 제거합니다.
• 에이전트 후크: 문서 업데이트, 테스트, 코드 품질 검사를 관리하는 백그라운드 자동화 작업.
• MCP 통합: 모델 컨텍스트 프로토콜(Model Context Protocol) 내장 지원으로 외부 도구, 데이터베이스, API에 직접 연결됩니다.
• 에이전트 자율성: 목표 중심 추론을 활용해 다단계 개발 작업을 수행합니다.

VS Code 기반에 Anthropic의 Claude 모델을 적용한 Kiro는 익숙한 워크플로를 유지하면서 즉시 사용 가능한 개발을 위한 강력한 구조를 제공합니다.

Bright Data MCP 서버로 Kiro를 확장해야 하는 이유

Kiro의 에이전트 추론 능력은 뛰어나지만, 그 LLM은 오래된 훈련 데이터에 의존합니다. Kiro를 Bright Data의 웹 MCP 서버에 연결하면 이러한 “고정된” 모델을 실시간 데이터 에이전트로 바꿀 수 있습니다. 실시간 웹 콘텐츠에 접근하고, 봇 방어 기능을 우회하며, Kiro의 워크플로에 직접 구조화된 결과를 제공할 수 있습니다.

MCP 도구	사용
search_engine	경쟁사 분석이나 트렌드 조사를 위한 최신 Google/Bing/Yandex 검색 결과(SERP)를 즉시 검색
scrape_as_markdown	읽기 쉬운 마크다운으로 반환되는 한 페이지 스크랩, 빠른 문서/예제에 적합
scrape_batch	여러 URL의 병렬 스크래핑; 가격 모니터링 또는 대량 확인에 이상적입니다 (시간 초과 시 단일 페이지 도구로 대체됨).
web_data_amazon_product	아마존 ASIN에 대한 제목, 가격, 평점 및 이미지가 포함된 깔끔한 JSON, HTML 파싱 불필요

이것이 도움이 되는 이유:

• 실시간 입력값(가격, 문서, 소셜 트렌드)이 Kiro가 생성한 스펙과 코드로 직접 유입됩니다.
• 자동화된 봇 방지 처리로 개발자는 스크래핑 문제 대신 개발 로직에 집중할 수 있습니다.
• 구조화된 JSON 응답은 정규 표현식 작업 없이도 TypeScript/Python에 바로 적용됩니다.

Bright Data MCP를 연결하면 모든 Kiro 프롬프트에서 “실시간 데이터”를 핵심 요소로 활용할 수 있어 정적 코드 생성을 완전한 즉시 사용 가능한 자동화로 전환합니다.

Kiro를 Bright Data의 MCP에 연결하는 방법

이 안내 섹션에서는 Bright Data의 웹 MCP 서버를 사용하여 Kiro를 설치하고 구성하는 방법을 배웁니다. 최종 결과는 코딩 워크플로 내에서 실시간 웹 데이터에 직접 액세스하고 처리할 수 있는 AI 개발 환경이 될 것입니다.

구체적으로, 웹 데이터 기능을 갖춘 향상된 Kiro 설정을 구축하고 이를 사용하여 다음을 수행할 수 있습니다:

• 여러 사이트에서 실시간 데이터 수집
• 현재 시장 정보를 기반으로 구조화된 사양 생성
• 개발 환경 내에서 수집된 데이터 처리 및 분석

시작하려면 아래 단계를 따르세요!

필수 조건

이 튜토리얼을 따라하려면 다음이 필요합니다:

• 로컬에 설치된Node.js 18 이상 (최신 LTS 버전 권장)
• Kiro 접근 권한 (대기 목록에 가입하고 확인을 받아야 함)
• Bright Data 계정

아직 Bright Data 계정이 없더라도 걱정하지 마세요. 다음 단계에서 계정 설정을 안내해 드리겠습니다.

1단계: Kiro 설치 및 구성

Kiro 설치 전, kiro.dev에서 대기자 명단에 등록하고 접근 권한 확인을 받아야 합니다. 접근 권한을 획득한 후 공식 설치 가이드를 따르세요.

첫 실행 시 웰컴 화면이 표시됩니다. 설정 마법사를 따라 IDE를 구성하세요.

2단계: Bright Data MCP 서버 설정

Bright Data로 이동하여 Bright Data 계정을 생성하거나 기존 계정에 로그인하세요.

로그인 후 시작 페이지로 이동합니다. 왼쪽 사이드바에서 MCP 섹션으로 이동하세요.

MCP 구성 페이지에는 자체 호스팅(Self-hosted)과 호스팅(Hosted) 두 가지 옵션이 있습니다. 본 튜토리얼에서는 최대 제어권을 제공하는 자체 호스팅 옵션을 사용합니다.

2단계에서 API 키와 MCP 구성 코드 블록을 확인할 수 있습니다. 전체 MCP 구성 코드를 복사하세요:

{
    "mcpServers": {
        "Bright Data": {
            "command": "npx",
            "args": ["@brightdata/mcp"],
            "env": {
                "API_TOKEN": "<api token>"
            }
        }
    }
}

여기에는 필요한 모든 연결 정보와 API 토큰이 포함되어 있습니다.

3단계: Kiro에서 MCP 구성

Kiro를 열고 새 프로젝트를 생성하거나 기존 폴더를 엽니다.

왼쪽 사이드바에서 Kiro 탭으로 이동하세요. 네 가지 섹션이 표시됩니다:

• SPECS
• 에이전트 후크
• 에이전트 스티어링
• MCP 서버

MCP 서버 섹션을 클릭하세요. 미리 구성된 서버가 하나 표시됩니다. 이 기본 서버 구성을 제거하세요.

Bright Data에서 복사한 MCP 구성 코드를 구성 영역에 붙여넣어 추가하세요.

Kiro가 구성을 처리하기 시작합니다. 연결을 설정하는 동안 처음에는 “연결 중…” 또는 “연결되지 않음” 상태가 표시될 수 있습니다.

처리 완료 시 상태가 “연결됨”으로 변경되며, 다음 네 가지 MCP 도구를 사용할 수 있습니다:

• search_engine
• scrape_as_markdown
• search_engine_batch
• scrape_batch

4단계: MCP 연결 확인

통합을 테스트하려면 사이드바에서 사용 가능한 MCP 도구 중 하나를 클릭하세요. 이렇게 하면 해당 도구가 Kiro의 채팅 인터페이스에 자동으로 추가됩니다.

Enter 키를 눌러 테스트를 실행하세요. Kiro는 Bright Data MCP 서버를 통해 요청을 처리하고 올바르게 형식화된 결과를 반환하여 통합이 정상적으로 작동하는지 확인합니다.

완벽합니다! 이제 Kiro 설치 환경에서 MCP 통합을 통해 Bright Data의 웹 스크래핑 기능을 이용할 수 있습니다. 개발 환경 내에서 자연어 프롬프트를 사용하여 공개 웹사이트의 데이터를 직접 추출할 수 있습니다.

5단계: Kiro에서 첫 번째 MCP 작업 실행하기

이제 실용적인 데이터 수집 작업으로 Kiro + Bright Data MCP 통합을 테스트해 보겠습니다. 이 예시는 현재 취업 시장 데이터를 수집하고 자동으로 처리하는 방법을 보여줍니다.

테스트 프롬프트:

Google에서 "원격 React 개발자 채용"을 검색하고, 상위 5개 채용 정보 웹사이트를 스크래핑하여 직무 제목, 회사명, 급여 범위, 필수 기술을 추출하세요. 이 데이터로 CSV 파일을 생성하고 평균 급여와 가장 흔한 요구 사항을 분석하는 Python 스크립트를 생성하세요.

이 작업은 실제 사용 사례를 시뮬레이션합니다:

• 시장 조사 및 급여 벤치마킹
• 경력 계획을 위한 기술 동향 분석
• 채용 팀을 위한 경쟁 정보 수집

이 프롬프트를 Kiro 채팅 인터페이스에 붙여넣고 Enter를 누르세요.

아래는 Kiro가 이 작업을 수행하는 동안 정확히 따랐던 순서입니다:

1. 검색 단계
   • Kiro는 검색 엔진 MCP 도구를 호출하여 Google에서 “원격 React 개발자 채용 공고”를 검색했습니다.
   • 호출 결과 약 3초 만에 주요 구인 게시판 URL 목록이 반환되었습니다.
2. 일괄 스크래핑 시도
   • Kiro는 scrape_batch를 호출하여 다섯 개의 URL을 한 번에 모두 가져왔습니다.
   • 약 60초 후 일괄 요청이 시간 초과되어 키로는 MCP 오류(32001 요청 시간 초과)를 기록했습니다.
3. 단일 페이지 스크래핑으로 대체
   • Kiro는 scrape_as_markdown으로 전환하여 각 사이트를 순차적으로 스크래핑했습니다:
   1. 인디드
   2. ZipRecruiter
   3. LinkedIn
   4. Wellfound
   5. We Work Remotely
   • 각 스크래핑은 4~10초 내에 완료되었으며 읽기 쉬운 마크다운 형식으로 반환되었습니다.
4. 데이터 구조화
   • 구문 분석 루틴이 직책, 회사, 급여, 기술, 출처 필드를 추출했습니다.
   • Kiro는 정리된 행들을 메모리 내 테이블로 집계했습니다.
5. CSV 파일 생성
   • Kiro는 테이블을 workspace 내 remote_react_jobs.csv 로 저장했습니다.
6. 세션 인계(컨텍스트 연속성)
   • 원본 채팅이 Kiro의 컨텍스트 창을 초과했습니다.
   • Kiro는 데이터 손실을 방지하기 위해 이전 컨텍스트를 자동으로 가져와 새 채팅 세션을 열었습니다.
7. 파이썬 분석 스크립트 생성
   • 새 세션에서 Kiro는 다음을 포함하는 analyze_react_jobs.py를 생성했습니다.
     • CSV 로딩 및 정리
     • 급여/기술 요약 로직
     • Matplotlib + Seaborn 차트 코드
   • 스크립트는 print("분석 완료")로 종료됩니다.

BrightData의 MCP 도구를 통해 Kiro는 다음을 자동으로 처리할 수 있었습니다:

• 잡 사이트에서의CAPTCHA 해결 및 봇 탐지
• 다양한 웹사이트 레이아웃에서의 데이터 추출
• 급여 형식 및 기술 목록 표준화
• 헤더가 포함된 적절한 CSV 구조 생성
• 배치 작업에서 타임아웃 발생 시 적응형 스크래핑 전략 적용

6단계: 출력 결과 탐색 및 활용

Kiro가 작업을 완료하면 프로젝트 디렉토리에 두 개의 주요 파일이 생성됩니다:

• remote_react_jobs.csv: 구조화된 채용 시장 데이터 포함
• analyze_react_jobs.py: 데이터 분석 및 인사이트 도출을 위한 Python 스크립트

수집된 데이터를 확인하려면 remote_react_jobs.csv 파일을 엽니다:

이 CSV 파일에는 다음과 같은 열로 구성된 실제 구인 시장 정보가 포함되어 있습니다:

• 직책
• 회사명
• 급여 범위
• 필요 기술
• 구인 게시판 출처

이 데이터는 자리 표시자 콘텐츠가 아닌 실제 채용 공고에서 가져온 것입니다. Bright Data의 MCP 서버는 레이아웃과 형식이 서로 다른 여러 구직 사이트에서 구조화된 정보를 추출하는 복잡한 작업을 처리했습니다.

다음으로 생성된 analyze_react_jobs.py 스크립트를 살펴보세요.

이 스크립트에는 다음 기능을 포함합니다:

• CSV 데이터 로드 및 정리
• 평균 급여 범위 계산
• 가장 흔히 요구되는 기술 식별
• 요약 통계 생성
• 시각화 자료 및 상세 보고서 생성

분석 스크립트 실행 전 필수 종속성 설치:

pip install -r requirements.txt

그런 다음 분석 스크립트를 실행하여 상세한 인사이트를 얻으세요:

python analyze_react_jobs.py

스크립트를 실행하면 자동으로 두 개의 추가 파일이 생성됩니다:

1. 상세 텍스트 보고서 (react_jobs_analysis_report.txt):

2. 시각적 분석 차트 (react_jobs_analysis.png):

종합 분석은 성공적으로 수집된 72개의 작업 기반입니다 .

생성된 시각화 자료는 네 가지 핵심 인사이트를 제공합니다:

1. 직무 유형 분포: 정규직 vs 계약직 vs 파트타임 역할의 명확한 구분
2. 필요 기술 상위 10개: 기술 수요 빈도의 시각적 표현
3. 채용 채널별 일자리: 플랫폼별 채용 공고 수
4. 급여 분포: 모든 직위의 급여 범위를 보여주는 히스토그램

이는 Kiro가 자연어의 단순한 요청을 완전한 데이터 수집 및 분석 프로세스로 전환하는 방식을 보여줍니다. 통합은 배치 작업 시간 초과 시 조정과 같은 웹 스크래핑 문제를 자동으로 처리하면서, 지속적인 시장 조사를 위한 즉시 사용 가능한 코드, 상세한 보고서 및 전문적인 시각 자료를 생성합니다.

결론

이번 튜토리얼은 여기까지입니다. 본 블로그에서는 Kiro를 Bright Data의 Web MCP 서버와 연결하여 성능을 향상시키는 방법을 배웠습니다. 이를 통해 실시간 웹 데이터를 스크래핑하고 AI 개발 환경 내에서 바로 실시간 정보를 처리할 수 있습니다.

다양한 출처의 원격 React 개발자 채용 공고를 스크래핑, 정리, 분석, 시각화하는 실용적인 예시를 통해 이를 보여주었습니다. 이 완전한 자동화는 Kiro의 AI와 Bright Data의 최고 수준의 스크래핑 도구를 결합한 힘을 입증합니다.

이 통합을 활용하면 개발자는 정적 코드 생성을 넘어 제품 개발 속도를 높이고 정확성을 향상시키는 완전 자동화된 데이터 기반 워크플로로 나아갈 수 있습니다.

지금 바로 Bright Data 계정을 생성하고 실시간 웹 인텔리전스로 AI 에이전트를 강화하세요.