AI

Bright Data 및 Lindy AI 에이전트를 사용한 데이터 스크래핑 방법

코딩이나 기술적 설정 없이 Bright Data와 Lindy AI 에이전트를 활용하여 경쟁사 조사, 리드 강화, 시장 모니터링을 효율화하는 방법을 알아보세요.
1 분 읽기
How to Scrape Data Using Bright Data & Lindy AI blog image

웹에서 리드, 가격 정보 또는 경쟁사 정보를 수집하는 것은 이론상으로는 쉬워 보입니다. 그러나 이를 확장하고, 깨끗하게 유지하며, 유용한 곳으로 전달하는 것이 진정한 과제입니다. 대부분의 팀은 스프레드시트를 정리하는 데 몇 시간을 소비하거나 작업을 완료하기 전에 포기합니다.

이 글에서는 다음을 다룹니다:

  • Lindy란 무엇이며 누구를 위해 만들어졌는가
  • 다양한 사용 사례를 위해 Bright Data와 Lindy가 함께 작동하는 방식
  • 경쟁사 모니터링, 리드 보강, 시장 추적 등의 사례
  • 두 플랫폼을 연결하는 방법
  • 워크플로우의 장기적 유용성 유지 팁

린디와 그 기능부터 살펴보겠습니다.

Lindy란 무엇이며 누구를 위한 플랫폼인가?

Lindy는 일상적인 업무 작업을 처리하는 AI 에이전트를 구축하기 위한 자동화 플랫폼입니다. 코드 작성 없이 이메일 응답, CRM 업데이트, 통화 일정 관리, 문서에서 인사이트 추출 등의 작업을 지원합니다.

너무 많은 도구에서너무 많은 수동 워크플로를 처리해야 하는 소규모 팀, 창업자, 운영자에게 Lindy가 유용합니다. 인력을 전혀 고용하지 않으면서도 몇 명의 뛰어난 운영 보조원을 고용하는 것과 같습니다.

드래그 앤 드롭 방식의 워크플로 빌더를 통해 각 에이전트의 논리를 시각적으로 구성합니다. 입력값을 선택하고, 조건이나 동작을 설정하며, 에이전트가 어떻게 알림을 보내거나 사용자를 참여시킬지 결정합니다.

또한 리드 자격 평가, 후속 조치, 회의 일정 예약 등 일반적인 작업을 처리하기 위해 미리 구축된 템플릿을 사용할 수도 있습니다.

다음은 실제 사례 몇 가지입니다:

  • 린디 에이전트가 수신 전화를 응대하고 Google 스프레드시트에 기록한 후 일정 예약 링크로 후속 조치를 진행합니다.
  • Typeform 설문조사에서 새로운 리드를 점수화하고 분류한 후 태그와 함께 CRM에 추가할 수 있습니다.
  • Lindy는 매일 쌓이는 미확인 이메일을 스캔하고 분류하는 데 도움을 줍니다. 이후 청구, 일정 관리, 우선순위 회신 등 버킷별로 분류할 수 있습니다.

Lindy는 7,000개 이상의 도구와 연동되며 기존 스택 전반에서 작동합니다. 기술적 설정이나 스크립트가 필요하지 않아 팀은 스크립트 작성이나 엔지니어 채용 없이도 워크플로를 시작할 수 있습니다.

Lindy와 Bright Data가 비즈니스에서 함께 작동할 수 있는 부분을 살펴보겠습니다.

AI 에이전트와 실시간 웹 데이터의 만남: 효과적인 활용 사례

Bright Data는 실시간 공개 웹 데이터에 대한 접근을 제공합니다. Lindy는 그 다음에 일어나는 일을 자동화합니다. 함께 사용하면 수동적인 조사 및 라우팅 작업을 완전히 제거할 수 있습니다

이러한 작업에는 경쟁사 추적, 유망 고객 관리, 시장 변화 모니터링 등이 포함됩니다. 두 도구가 함께 작동하는 세 가지 방법은 다음과 같습니다:

경쟁사 리서치

경쟁사 동향을 추적하는 것은 유용하지만 수동으로 수행하려면 많은 시간이 소요됩니다. Bright Data를 사용하면 가격 페이지, 기능 변경 로그, 블로그 업데이트, 심지어 G2나 Trustpilot 같은 플랫폼의 리뷰까지 모니터링할 수 있습니다.

데이터를 수집한 후에는 Lindy 에이전트가 작업을 이어받습니다. 주요 업데이트를 추출하고 변경 사항을 요약하여 Slack 채널이나 Notion 문서에 하이라이트를 전달하며, 팀 내 관련 담당자에게 태그를 지정합니다.

이 워크플로는 수동 링크 검색과 월간 보고서 작성 과정을 생략하여 팀의 시간을 절약합니다. 백그라운드에서 실행되며, 상황이 발생할 때마다 팀을 최신 상태로 유지합니다.

리드 목록 보강

Bright Data는 직책, 기술 스택 사용 현황, 위치, 최근 채용 활동 등기업 또는 연락처 수준의 정보를 수집할 수 있습니다. 이 데이터는 적절한 위치로 전달되어 실행으로 전환될 때만 유용합니다.

이때 린디가 해결책을 제시합니다. 신규 리드가 유입되면 린디 에이전트가 항목을 정리하고 태그로 보강하며, 사용자가 정의한 로직으로 점수를 매긴 후 CRM으로 전송합니다. 또한 리드를 담당자에게 배정하거나, 작업을 생성하거나, 아웃바운드 이메일 또는 전화를 발동할 수도 있습니다.

이러한 설정은 팀이 매주 리드 스프레드시트나 CRM 기록을 지속적으로 모니터링하지 않아도 체계적으로 업무를 관리할 수 있도록 지원합니다.

시장 정보 리포팅

SaaS, 금융, 전자상거래 분야에 종사하는 팀이라면 시장 변화에 발맞추기 어려울 수 있습니다. Bright Data는 구인 게시판, 규제 관련 페이지부터 틈새 뉴스 사이트나 레딧 스레드까지 모든 것을 모니터링합니다.

Lindy 에이전트는 이러한 업데이트를 이해하기 쉬운 보고서로 요약할 수 있습니다. 매주 금요일마다 주간 요약보고서를 발송하는 AI 에이전트를 운영할 수 있습니다. 또한 유입되는 데이터 유형에 따라 제품, GTM, 운영 팀별로 별도의 에이전트를 생성할 수도 있습니다.

이러한 보고서는 티켓 생성, 회의 일정 조정, 주의가 필요한 사항 발생 시 관련 슬랙 채널 알림 등후속 조치를 자동으로 실행할 수 있습니다.

다음으로, Bright Data와 Lindy를 결합한 간단한 워크플로우가 실제로 어떻게 작동하는지 살펴보겠습니다.

Bright Data와 Lindy 연결 방법

Bright Data와 Lindy를 연결하고 첫 번째 플로우를 실행하려면, Bright Data에서 필요한 데이터를 선택하고 Lindy가 해당 데이터에 대해 어떻게 동작할지 정의하는 것부터 시작하세요.

Bright Data는 공개 웹에서 최신 데이터를 가져오고, Lindy는 사용자가 정의한 규칙에 따라 해당 데이터에 대해 작업을 수행합니다. 기본적인 플로우 설정 방법은 다음과 같습니다:

1단계: Bright Data 쿼리 또는 데이터셋 생성

먼저 원하는 데이터 유형을 결정하세요. Bright Data는 이를 위한 몇 가지 방법을 제공합니다:

  • 전자상거래 목록이나 제품 리뷰와 같은 사전 구축된 데이터셋 사용
  • 웹 스크레이퍼 IDE 또는 웹 언락커를 사용한 맞춤형 스크래핑 작업 생성
  • 특정 검색어 또는 도메인에 대한 구조화된 결과를 API로 가져오기

웹훅을 통해 실시간으로 출력을 스트리밍하거나, CSV로 내보내거나, 스토리지 버킷에 동기화할수 있습니다. 형식과 빈도(시간별 업데이트 또는 주간 스냅샷)도 제어할 수 있습니다.

2단계: 데이터 모니터링 또는 처리를 위한 Lindy 에이전트 설정

데이터 피드를 분류한 후 데이터를 처리할 Lindy 에이전트를 구축하세요. 리드 보강, 보고, 알림과 같은 사용 사례를 선택하고 Lindy의 드래그 앤 드롭 빌더를 사용하여 시각적으로 로직을 설정하세요.

예시:

  • Bright Data에서 새로운 경쟁사 업데이트가 들어오면 요약하여 Slack에 게시합니다.
  • [X] 기술 스택을 언급한 신규 채용 공고가 게시되면 Google 스프레드시트에 표시합니다.
  • 지난 30일 내 자금 조달을 완료한 리드가 있으면 아웃바운드 영업 개발 담당자(SDR)에게 할당합니다.

Lindy 에이전트는 구조화된 데이터를 읽고 유용한 부분을 추출하여 요약본을 생성할수 있습니다. 이후 메시지 전송, CRM 업데이트, 문서 생성 등의 작업을 수행할 수 있습니다.

3단계: 트리거 및 출력 구성

이제 두 도구를 연결하세요. 다음 중 선택할 수 있습니다:

  • Bright Data가 웹훅을 통해 Lindy로 데이터를 전송하도록 설정
  • Bright Data가 결과를 저장하는 Google 스프레드시트 또는 엔드포인트를 Lindy가 폴링하도록 설정

데이터가 들어오면 Lindy는 다음과 같은 작업을 수행할 수 있습니다:

  • 요약 내용을 Slack에 게시
  • 인사이트를 Notion 또는 Google Docs에 추가
  • CRM에 작업 생성
  • 전화 일정 예약 또는 후속 이메일 발송

게시 전 모든 출력을 미리 볼있으며, 필요한 경우 승인 단계를 추가할 수 있어 여전히 사람의 감독이 필요한 워크플로우에 유용합니다.

Bright Data와 Lindy를 함께 사용하면 유용한 보고서와 자동화 기능을 지속적으로 생성할 수 있습니다.

Bright Data + Lindy를 최대한 활용하는 팁

Bright Data + Lindy를 최대한 활용하는 가장 좋은 방법은 소규모로 시작하여 명확한 결과를 가진 확장 가능한 워크플로를 구축하는 것입니다.

이를 위한 몇 가지 방법은 다음과 같습니다:

하나의 명확한 결과로 시작하세요

모든 것을 한 번에 자동화하려고 하지 마십시오. 주간 가격 조사, 스크랩된 리드 라우팅, 구인 게시판 업데이트 추출 등 이미 수동으로 수행 중인 프로세스 하나를 선택하세요. 추가하기 전에 하나의 수동 워크플로우로 시작하여 처음부터 끝까지 실행해 보십시오.

필요 시 승인 단계 활용

Lindy는 수동 점검점을 삽입할 수 있어 즉시 완전한 통제권을 넘길 필요가 없습니다. 이는 아웃바운드 메시지, 고객 대상 요약, 또는 예외 사례가 발생할 수 있는 워크플로우에 특히 유용합니다.

단계와 논리를 명확하게 명명하세요

Lindy 내에서 각 에이전트와 워크플로우에 수행 내용을 라벨링하세요. 나중에 흐름을 인계하거나 수정, 디버깅하기가 훨씬 쉬워집니다.

Bright Data를 스크래핑에만 국한하지 마세요

대부분은 Bright Data를 가격이나 제품 스크래핑 용도로 생각합니다. 하지만 채용 동향 추적, 투자자 활동 모니터링, 리뷰 내 감정 변화 분석, 정부 사이트 전반의 입법 동향 감시에도 동일하게 유용합니다.

워크플로 검토를 정기적으로 계획하세요

매월 플로우가 여전히 필요한 작업을 수행하는지 확인하도록 알림을 설정하세요. 데이터가 여전히 관련성이 있는지, 논리가 정확한지, 올바른 사람들이 결과를 받고 있는지 점검하세요.

첫 번째 에이전트 설정에서 가치를 얻은 후에는 추가 AI 에이전트 투자 정당화가 더 쉬워집니다. 간단한 것부터 시작하여 팀의 필요에 따라 확장하세요.

Bright Data와 Lindy로 웹 데이터 워크플로우 자동화

스크랩한 데이터를 CRM에 복사-붙여넣기하거나 원시 스프레드시트를 활용 가능한 형태로 변환할 필요가 없습니다. Bright Data는 웹에서 실시간 인사이트를 수집하고 Lindy는 이를 요약, Slack 알림, 리드 기록 또는 이메일 업데이트로 자동 변환합니다.

다음과 같은 작업을 처리할 수 있습니다:

  • 경쟁사 모니터링: Bright Data로 변경 내역, 가격 페이지, 리뷰 사이트를 스크래핑한 후 Lindy 에이전트가 결과를 정리하고 관련 담당자에게 알립니다.
  • 자동 업데이트되는 리드 강화: Bright Data로 최신 연락처 또는 기업 정보를 수집하고, Lindy가 리드 점수를 매기고, 라우팅하며, 아웃바운드 단계를 시작하도록 합니다.
  • 행동으로 이어지는 시장 추적: 채용 동향, 업계 뉴스, 제품 트렌드를 모니터링합니다. Lindy 에이전트가 주간 보고서를 생성하고 후속 조치를 보내며, 변화에 따라 내부 워크플로우를 자동으로 실행합니다.
  • 기술적 설정 불필요: Lindy 템플릿으로 시작하여 Bright Data 소스를 연결하면 웹 신호에서 비즈니스 성과까지 단 몇 분 만에 전환됩니다.

모든 것을 자동화할 필요는 없습니다. 팀의 시간을 가장 많이 차지하는 워크플로우를 먼저 파악하고, Lindy와 Bright Data의 조합이 업무를 얼마나 간편하게 만드는지 확인해 보세요.