Bright Data를 통해 Alteryx One으로 자동화된 웹 데이터 분석 워크플로우 구축하기

이 글에서 배울 내용:

• Alteryx One이 무엇이며 어떤 기능을 제공하는지.
• Bright Data의 웹 데이터와 연결하면 워크플로우가 더욱 인사이트 있게 되는 이유.
• Bright Data 웹 스크래핑으로 수집한 구조화된 최신 웹 데이터를 활용하여 Alteryx One에서 자동화된 워크플로우를 정의하는 방법.

바로 시작해 봅시다!

Alteryx One이란?

Alteryx One은 통합 AI 기반 분석 플랫폼입니다. 데이터 준비, 분석, 자동화, AI를 단일 환경에서 통합합니다. 구체적으로, 조직이 여러 데이터 소스에 연결하고, 재사용 가능한 워크플로우를 구축하며, 대규모로 인사이트를 운영화할 수 있도록 지원합니다.

Alteryx One이 제공하는 주요 기능은 다음과 같습니다:

• AI 네이티브 분석: 별도의 도구 없이 분석 워크플로우에 AI를 통합하여 패턴을 감지하고, 인사이트를 생성하며, 예측 모델링을 지원합니다.
• AI 준비 데이터 준비: 내장된 거버넌스를 통해 여러 소스의 데이터를 연결, 정제, 변환하여 신뢰할 수 있는 분석 준비 데이터셋을 만듭니다.
• 워크플로우 자동화: 반복적인 분석 작업과 엔드투엔드 프로세스를 자동화하여 수동 작업을 줄이고 일관성을 향상시킵니다.
• 통합 분석 워크스페이스: 팀이 협업하여 분석 워크플로우를 구축, 실행, 관리할 수 있는 단일 환경을 제공합니다.
• 엔터프라이즈 거버넌스 및 보안: 대규모 조직 전반에서 분석이 안전하게 확장될 수 있도록 컴플라이언스, 계보 추적, 접근 제어를 보장합니다.
• 확장 가능한 통합: 엔터프라이즈 시스템 및 LLM과 연결하여 기존 데이터 에코시스템에 분석을 직접 내장합니다.

Bright Data가 Alteryx One을 지원하는 방법

Alteryx One 워크플로우의 성능은 소비하는 데이터의 품질에 달려 있습니다. 물론 플랫폼은 데이터 준비, 분석, 자동화를 위한 강력한 기능을 제공합니다. 하지만 입력 데이터의 품질, 최신성, 신뢰성이 궁극적으로 출력 결과의 정확도를 결정합니다. 바로 이 지점에서 Bright Data가 엔터프라이즈급 웹 데이터 제공업체로서 핵심적인 역할을 합니다!

Bright Data는 195개국에 걸쳐 4억 개 이상의 IP로 구성된 글로벌 프록시 인프라를 통해 대규모 구조화 웹 데이터를 제공합니다. 99.99%의 가동률과 99.95%의 성공률로 프로덕션급 분석 파이프라인에 필요한 신뢰성을 제공합니다.

Alteryx One과의 직접 통합을 위해, Bright Data의 Web Scraping API를 사용하여 최신 웹 데이터를 가져오거나 Bright Data 데이터셋을 통해 정적 웹 데이터에 접근하는 것으로 시작할 수 있습니다. 이 데이터는 구조화된 형식으로 Amazon S3(또는 다른 일반적인 전달 대상)에 자동으로 전달될 수 있습니다.

그런 다음 Alteryx One은 S3에서 해당 데이터셋을 직접 가져와 노코드 워크플로우를 통해 처리합니다. 마지막으로 처리된 결과는 다운스트림 사용을 위해 S3(또는 원하는 대상)에 다시 기록됩니다.

결과적으로 자동화된 엔드투엔드 분석 파이프라인이 완성됩니다. 여기서 Bright Data는 신뢰할 수 있는 엔터프라이즈급 데이터 수집을 보장하고, Alteryx One은 해당 데이터를 실행 가능한 인사이트로 변환합니다.

Bright Data의 웹 데이터로 Alteryx One에서 자동화된 데이터 분석 워크플로우 구축하기

이 단계별 챕터에서는 Alteryx One에서 자동화된 워크플로우를 설정하는 과정을 안내합니다.

이러한 유형의 웹 자동화 워크플로우를 시연하기 위해 다음 구성 요소를 활용합니다:

1. Bright Data Yahoo Finance Scraper를 사용하여 최신 주식 데이터를 수집하고, Amazon S3 전달을 위해 구성합니다.
2. 데이터를 가져와 거래량 기준으로 정렬하고, 상승 주식과 하락 주식 두 개의 데이터셋으로 분할하는 Alteryx One 워크플로우. 그런 다음 처리된 출력을 Amazon S3에 다시 기록합니다.

아래 지침에 따라 이 워크플로우를 구축해 보세요!

사전 요구 사항

이 섹션을 따라하려면 다음이 필요합니다:

• Alteryx One 계정 (무료 체험판도 가능합니다).
• AWS 계정에 정의된 S3 버킷.
• API 키가 구성된 Bright Data 계정. 공식 지침에 따라 API 키를 생성하세요.

이 튜토리얼에서는 S3 버킷 이름이 bright-data-datasets라고 가정합니다. 하지만 다른 버킷 이름도 사용할 수 있습니다.

Step #1: Bright Data Scraping API 설정

웹 데이터 자동화 파이프라인의 첫 번째 단계는 웹에서 소스 데이터를 가져오는 것입니다. 이를 위해 Bright Data Yahoo Finance Scraper를 활용하여 실시간 금융 데이터를 수집합니다. 시작해 봅시다!

아직 계정이 없다면 Bright Data 계정을 생성하세요. 이미 계정이 있다면 기존 계정으로 로그인하세요. 컨트롤 패널에서 “Scrapers > Scrapers Library” 페이지로 이동합니다:

“yahoo finance”를 검색하고 “finance.yahoo.com” 스크래퍼를 선택합니다:

Yahoo Finance Scraper 페이지에서 스크래퍼의 입력 요구 사항과 출력 스키마를 검토합니다:

간단히 말해, 이 스크래퍼는 하나 이상의 Yahoo Finance 주식 페이지 URL을 입력으로 받아 구조화된 실시간 금융 데이터를 반환합니다. 정확히 우리가 필요한 것입니다!

Step #2: S3 전달 구성

Bright Data Web Scraping API는 스크래핑된 데이터를 Amazon S3에 자동으로 전달하는 기능을 지원합니다(다른 여러 클라우드 스토리지 제공업체 및 전달 방법도 지원). Amazon S3로의 전달을 활성화하려면 먼저 스크래퍼를 비동기 모드로 전환해야 합니다.

“Configuration” 탭에서 “Asynchronous” 옵션을 선택합니다. 그런 다음 “Delivery settings”를 클릭합니다:

다음으로, 아래 설정을 사용하여 Amazon S3 버킷으로의 전달을 구성합니다:

• “Enable delivery” 토글을 활성화합니다.
• 출력 데이터 형식을 CSV로 설정합니다.
• 스토리지 대상으로 “Amazon S3″를 선택합니다.
• S3 버킷 이름을 입력합니다(이 예시에서는 bright-data-datasets). (“Endpoint URL” 필드는 비워 두어도 됩니다.)
• “Target path”는 비워 두어 버킷의 루트 폴더에 파일을 업로드합니다.
• “Authentication type” 옵션을 “Access keys”로 설정합니다.
• AWS Access Key ID와 AWS Secret Access Key를 붙여넣습니다.
• 파일 이름을 stocks로 설정합니다.

이 구성으로 Web Scraping API는 비동기 모드로 실행됩니다. 데이터를 즉시 반환하는 대신, Bright Data는 자체 인프라에서 실행되는 스크래핑 작업을 생성합니다. 작업이 완료되면 스크래핑된 데이터가 자동으로 Amazon S3 버킷에 업로드됩니다. 완전히 자동화된 방식입니다!

Step #3: 웹 데이터 수집 작업 실행

웹 데이터 추출 워크플로우가 올바르게 작동하는지 확인하기 위해 몇 가지 Yahoo Finance 주식 URL을 입력으로 추가합니다. 이 예시에서는 Nasdaq 상위 10개 주식(즉, NVDA, AAPL, GOOGL, MSFT, AMZN, TSLA, META, AVGO, WMT, AMD)을 추적한다고 가정합니다.

스크래핑 작업을 프로그래밍 방식으로 트리거하려면 스크래퍼 페이지에 제공된 cURL 스니펫을 사용할 수 있습니다:

curl -H "Authorization: Bearer <YOUR_BRIGHT_DATA_API_KEY>" -H "Content-Type: application/json" -d '{"input":[{"url":"https://finance.yahoo.com/quote/NVDA"},{"url":"https://finance.yahoo.com/quote/AAPL"},{"url":"https://finance.yahoo.com/quote/GOOGL"},{"url":"https://finance.yahoo.com/quote/MSFT"},{"url":"https://finance.yahoo.com/quote/AMZN"},{"url":"https://finance.yahoo.com/quote/TSLA"},{"url":"https://finance.yahoo.com/quote/META"},{"url":"https://finance.yahoo.com/quote/AVGO"},{"url":"https://finance.yahoo.com/quote/WMT"},{"url":"https://finance.yahoo.com/quote/AMD"}]}' "https://api.brightdata.com/datasets/v3/trigger?dataset_id=gd_lmrpz3vxmz972ghd7&notify=false&include_errors=true"

또는 다음 Python 스크립트를 실행할 수 있습니다:

# pip install requests

import requests
import json

headers = {
    "Authorization": "Bearer <YOUR_BRIGHT_DATA_API_KEY>",
    "Content-Type": "application/json",
}

data = json.dumps({
    "input": [{"url":"https://finance.yahoo.com/quote/NVDA"},{"url":"https://finance.yahoo.com/quote/AAPL"},{"url":"https://finance.yahoo.com/quote/GOOGL"},{"url":"https://finance.yahoo.com/quote/MSFT"},{"url":"https://finance.yahoo.com/quote/AMZN"},{"url":"https://finance.yahoo.com/quote/TSLA"},{"url":"https://finance.yahoo.com/quote/META"},{"url":"https://finance.yahoo.com/quote/AVGO"},{"url":"https://finance.yahoo.com/quote/WMT"},{"url":"https://finance.yahoo.com/quote/AMD"}],
})

response = requests.post(
    "https://api.brightdata.com/datasets/v3/trigger?dataset_id=gd_lmrpz3vxmz972ghd7&notify=false&include_errors=true",
    headers=headers,
    data=data
)

print(response.json())

두 경우 모두 <YOUR_BRIGHT_DATA_API_KEY>를 실제 Bright Data API 키로 교체해야 합니다.

참고: 더 간단한 방법으로는 컨트롤 패널에서 “Run manually” 버튼을 클릭하여 작업을 실행할 수 있습니다.

트리거되면 스크래핑 요청이 Bright Data의 클라우드 인프라로 전송되어 추출 작업이 시작됩니다. Bright Data 컨트롤 패널에서 실시간으로 상태를 모니터링할 수 있습니다:

작업 상태가 “Ready”로 변경되면 Amazon S3 버킷을 열어보세요. stocks.csv라는 새 파일이 생성된 것을 확인할 수 있습니다:

stocks.csv 파일을 다운로드하여 열어보면 다음과 같은 내용을 확인할 수 있습니다:

이것은 지정된 Yahoo Finance 페이지에서 제공되는 것과 동일한 주식 데이터입니다. Bright Data Yahoo Finance Scraper API가 주식 데이터를 가져와 구조화된 CSV 형식으로 변환했습니다.

스크래핑된 데이터의 구조와 사용 가능한 컬럼을 더 잘 이해하려면 Yahoo Finance 스크래퍼 페이지의 “Overview” 탭에 있는 “Dictionary” 섹션을 확인하세요:

훌륭합니다! 이제 Alteryx One 웹 데이터 파이프라인을 구축하는 데 필요한 데이터가 준비되었습니다.

Step #4: Alteryx One을 S3 데이터 소스에 연결

현재 스크래핑된 소스 데이터는 Amazon S3에 전달됩니다. 다음 단계는 Alteryx One 계정을 해당 S3 버킷에 연결하여 워크플로우가 필요에 따라 데이터에 접근하고 분석할 수 있도록 하는 것입니다.

Amazon S3 버킷에 대한 연결을 생성하려면 Alteryx One에 로그인하세요. “Data” 페이지로 이동하여 “Connections” 탭을 열고 “New Connection”을 클릭합니다:

다음으로, “External Amazon S3” 연결 양식을 아래와 같이 구성합니다:

• Connection Name: Bright Data S3 (또는 원하는 이름).
• Default Bucket: bright-data-datasets (또는 실제 버킷 이름).
• Access Key ID 및 Secret Access Key: AWS Access Key ID와 AWS Secret Access Key.

“Create”를 클릭하면 Amazon S3 연결이 “Connections” 탭에 나타납니다:

훌륭합니다! 이제 Yahoo Finance Scraper API가 출력을 저장하는 Amazon S3 버킷에서 입력 데이터를 읽는 Alteryx One 워크플로우를 정의할 차례입니다.

Step #5: Alteryx One 워크플로우 초기화

“Overview” 페이지로 이동하여 “New Workflow with Designer Cloud” 버튼을 클릭합니다:

또는 Alteryx One 데스크톱 앱에서 워크플로우를 생성할 수도 있습니다.

워크플로우에 “Automated Stock Analyzer”와 같은 이름을 지정합니다:

워크플로우 구축의 첫 번째 단계는 소스 데이터를 로드하는 것입니다. 이를 위해 “Input Data” 노드를 워크플로우 캔버스로 드래그합니다:

그런 다음 노드를 더블 클릭하여 구성하고 Amazon S3 버킷에 연결하여 stocks.csv 파일을 선택합니다. 설정 마법사를 따라 데이터셋을 가져옵니다. 완료되면 데이터가 성공적으로 로드된 것을 확인할 수 있습니다:

이 시점에서 워크플로우는 스크래핑된 웹 데이터에 접근할 수 있습니다. 이제 데이터 분석 로직을 추가할 수 있습니다.

Step #6: 데이터 분석 로직 정의

일별 거래량과 같은 특정 기준으로 결과를 정렬하고 싶다고 가정합니다. “Sort” 노드를 추가하고 정렬 구성에서 volume 컬럼을 선택하고 순서를 Ascending으로 설정합니다:

이제 데이터셋을 두 그룹으로 분할하고 싶다고 가정합니다:

1. 당일 상승 마감한 주식.
2. 당일 하락 마감한 주식.

이를 위해 exchange 필드에 “up” 또는 “down”이 포함되어 있는지에 따라 주식을 분류합니다. “Filter” 노드를 추가하고 “Sort” 노드의 출력에 연결합니다. 그런 다음 다음과 같은 필터 조건을 정의합니다:

• Column Name: exchange
• Operator: Equals
• Value: up

Filter 노드는 두 가지 출력을 생성합니다:

• T (True): exchange 필드가 “up”인 주식을 포함합니다.
• F (False): exchange 필드가 “up”이 아닌 주식(즉, “down”)을 포함합니다.

이 간단한 웹 자동화 워크플로우의 마지막 단계는 출력 대상을 정의하는 것입니다. 진행해 봅시다!

Step #7: 출력 파일 지정

캔버스에 “Output Data” 노드를 추가하고 “Filter” 노드의 T 출력에 연결합니다. “Output Data” 노드를 구성하여 Amazon S3 버킷(또는 다른 연결된 데이터 소스)에 데이터를 기록합니다. 예를 들어 up_stocks.csv라는 파일을 생성합니다:

“Next”를 클릭한 다음 “Confirm”을 클릭하여 T 브랜치의 출력 구성을 저장합니다. F 브랜치에 대해 동일한 과정을 반복하고 down_stocks.csv 파일에 기록하도록 구성합니다.

최종 워크플로우는 다음과 같습니다:

완료되었습니다! 이제 워크플로우를 실행하여 모든 것이 예상대로 작동하는지 테스트하기만 하면 됩니다.

Step #8: 워크플로우 실행

“Run Job” 버튼을 클릭하고 Bright Data 기반의 자동화된 웹 데이터 분석 워크플로우가 완료될 때까지 기다립니다:

실행이 완료되면 Alteryx One에서 성공 알림을 받고 확인 이메일도 수신됩니다.

이제 T 시나리오에 대해 생성된 출력을 확인합니다:

이 출력에는 변동 상태가 “up”인 주식만 포함되어 있으며, 거래량 기준 오름차순으로 정렬되어 있습니다. 동일한 데이터는 파이프라인이 생성하여 Amazon S3 버킷에 저장한 up_stocks.csv 파일에서도 확인할 수 있습니다.

다음으로 F 시나리오에 대해 생성된 출력을 확인합니다:

이 출력에는 변동 상태가 “down”인 주식만 포함되어 있으며, 마찬가지로 거래량 기준 오름차순으로 정렬되어 있습니다. 동일한 결과가 Amazon S3 버킷의 down_stocks.csv 파일에 기록됩니다.

완성되었습니다! Bright Data를 기반으로 Alteryx One에서 웹 데이터 분석 파이프라인을 구축했습니다. 이것은 단순한 예시일 뿐이며, 다양한 웹 데이터 자동화 시나리오가 가능합니다.

다음 단계

이것은 몇 가지 샘플 단계로 구성된 간단한 데이터 분석 파이프라인에 불과하다는 점을 기억하세요. 실제로는 추가 처리 노드(AI 노드 포함)를 추가하고 여러 데이터 소스를 도입하여 훨씬 더 복잡하게 만들 수 있습니다.

예를 들어, 다른 Bright Data Web Scraping API를 구성하여 동일한 Amazon S3 버킷에 기록하도록 할 수 있습니다. 그런 다음 결과 데이터셋을 조인 작업을 사용하여 결합하여 보강 및 고급 분석을 수행할 수 있습니다.

또한 완전히 자동화된 최신 데이터 파이프라인을 구축하려면:

1. Bright Data Web Scraping API를 트리거하여 Amazon S3의 소스 데이터를 업데이트합니다.
2. Bright Data에서 웹훅을 구성하여 Alteryx One 워크플로우 실행 API를 호출합니다.

결론

이 튜토리얼에서는 Alteryx One이 자동화된 데이터 분석에 어떤 가치를 제공하는지 배웠습니다. 특히 Bright Data의 Web Scraping API를 통해 수집된 데이터를 Amazon S3를 통해 Alteryx One에 통합하는 방법을 살펴보았습니다. 고품질 웹 데이터는 인사이트의 정확도와 가치를 크게 향상시켜 더 나은 분석 결과로 이어집니다.

지금 바로 Bright Data 무료 계정을 생성하고 엔터프라이즈급 웹 데이터 솔루션을 탐색해 보세요!