월마트는 어디를 봐야 할지 모르면 스크래핑하기 어려운 사이트일 수 있습니다. 하지만 올바른 도구를 사용하면 전문가처럼 몇 분 안에 월마트를 스크래핑할 수 있습니다.
이 가이드에서는 다음 방법을 사용하여 월마트를 스크래핑하는 방법을 배울 수 있습니다.
- 월마트 수동 스크래핑.
- Bright Data의 Walmart 스크레이퍼 API를 통한 Walmart 스크래핑.
- 클로드(Claude)와 브라이트 데이터 MCP 서버를 이용한 월마트 스크래핑.
왜 월마트를 스크래핑해야 할까요?
월마트는 전 세계 최대의 소매업체입니다. 온라인 시장에서는 아마존에 이어 두 번째로 큰 규모를 자랑합니다. 월마트를 스크래핑해야 할 이유는 매우 많습니다.
최적의 거래를 찾거나 경쟁사 분석을 수행하든, 월마트는 쇼핑 데이터의 보물창고입니다. 제품 메타데이터, 고객 리뷰, 가격 변동, 배송 옵션 등 필요한 정보가 모두 존재합니다 — 어디서 찾아야 하는지만 알면 됩니다.
개발자, 취미 개발자, 노코드 데이터 팀 모두 쉽게 월마트를 스크래핑할 수 있습니다. 월마트 데이터를 활용하면 분석과 애플리케이션을 미래로 이끌 데이터 기반 의사 결정을 내릴 수 있습니다.
필수 조건
이 튜토리얼을 시작하기 위해 필요한 것은 몇 가지뿐입니다. Python 섹션이나 AI 섹션만 보려면 자유롭게 건너뛰어도 됩니다. 이 튜토리얼의 모든 부분에는 Bright Data API 키가 필요합니다. 물론, 구식 방식으로 스크래핑하는 경우에만 Python이 필요합니다. AI로 스크래핑하는 경우에만 Claude가 필요합니다.
- Bright Data API 키: Bright Data 제품 사용을 위해 API 키가 필요합니다. 무료 체험판에 가입하여 시작하세요.
- 파이썬: 파이썬에 익숙하지 않더라도 걱정하지 마세요! 공식 다운로드 페이지에서 최신 버전을 가져오세요. 사용 중인 OS에 맞는 지침을 따르세요.
- Claude 데스크톱 애플리케이션: Windows 및 mac용 다운로드 링크입니다. Claude는 모델 컨텍스트 프로토콜을 통해 타사 도구에 연결할 수 있게 해줍니다.
시작하기
코딩을 시작하기 전에 새로운 가상 환경을 설정해야 합니다.
python -m venv venv새 환경을 활성화하세요.
source venv/bin/activateRequests와 BeautifulSoup을 설치합니다.
pip install requests beautifulsoup4수동 스크래핑
프록시 사용 여부에 관계없이 Walmart를 수동으로 스크래핑하는 방법을 보여드리겠습니다. 프록시 없이 시도했을 때는 계속 차단되었습니다. 그럼에도 직접 시도해 보셔도 좋습니다.
프록시 없이 스크래핑하기
아래 코드는 기본적인 월마트 스크래퍼입니다. 찾기 매우 어렵지만, 월마트는 제품 데이터를 페이지 내 JSON 블롭에 내장합니다. 이 데이터는 id가 __NEXT_DATA__이고 type이 application/json인 script 요소 안에 포함되어 있습니다. 우리는 이러한 특성을 활용해 CSS 선택자를 만듭니다: script[id='__NEXT_DATA__'].
아래 코드는 실패할 가능성이 높습니다. 스크래퍼가 실패할 때 페이지를 확인하고 상황을 파악할 수 있도록 응답을 HTML 페이지에 작성합니다.
import requestsrnfrom bs4 import BeautifulSouprnimport jsonrnrnrnresponse = requests.get(u0022https://www.walmart.com/search?q=laptopsu0022)rnrnwith open(u0022response.htmlu0022, u0022wu0022) as file:rn file.write(response.text)rnrnextracted_data = []rnrnsoup = BeautifulSoup(response.text, u0022html.parseru0022)rnrnscript_tag = soup.select_one(u0022script[id='__NEXT_DATA__'][type='application/json']u0022)rnjson_data = json.loads(script_tag.text)rnitem_list = json_data[u0022propsu0022][u0022pagePropsu0022][u0022initialDatau0022][u0022searchResultu0022][u0022itemStacksu0022][0][u0022itemsu0022]rnrnfor item in item_list:rn if item[u0022__typenameu0022] != u0022Productu0022:rn continuernrn name = item.get(u0022nameu0022)rn product_id = item[u0022usItemIdu0022]rn if not name:rn continuern link = fu0022https://www.walmart.com/reviews/product/{product_id}u0022rn price = item[u0022priceu0022]rn sponsored = item[u0022isSponsoredFlagu0022]rn rating = item[u0022averageRatingu0022]rnrn scraped_product = {rn u0022nameu0022: name,rn u0022starsu0022: rating,rn u0022urlu0022: link,rn u0022sponsoredu0022: sponsored,rn u0022priceu0022: price,rn u0022product_idu0022: product_idrn }rnrn extracted_data.append(scraped_product)rnrnwith open(u0022unproxied-laptops.jsonu0022, u0022wu0022) as file:rn json.dump(extracted_data, file, indent=4)
위 코드를 실행하면 차단될 가능성이 높습니다. 저희도 지속적으로 이 문제를 겪었습니다. 브라우저 내에서 HTML 페이지를 열면 다음과 같은 화면이 나타납니다. 스크래퍼가 분명히 탐지되었으며, 이 페이지를 통과할 방법이 없습니다.
프록시를 이용한 스크래핑
다음 코드 예시에서는 동일한 기본 스크레이퍼를 Web Unlocker API로 개조합니다. 이 API를 사용해 API 키와 일부 매개변수를 포함한 POST 요청을 수행합니다. 그 외에는 프로그램이 거의 동일합니다. API 키와 영역 이름을 반드시 본인 것으로 교체하세요.
더 이상 문제 해결을 위해 HTML을 별도 파일에 작성할 필요가 없습니다. 코드는 예상대로 작동합니다.
import requests
from bs4 import BeautifulSoup
import json
headers = {
"Authorization": "Bearer <your-bright-data-api-key>",
"Content-Type": "application/json"
}
data = {
"zone": "web_unlocker1",
"url": "https://www.walmart.com/search?q=laptops",
"format": "raw"
}
response = requests.post(
"https://api.brightdata.com/request",
json=data,
headers=headers)
extracted_data = []
soup = BeautifulSoup(response.text, "html.parser")
script_tag = soup.select_one("script[id='__NEXT_DATA__'][type='application/json']")
json_data = json.loads(script_tag.text)
item_list = json_data["props"]["pageProps"]["initialData"]["searchResult"]["itemStacks"][0]["items"]
for item in item_list:
if item["__typename"] != "Product":
continue
name = item.get("name")
product_id = item["usItemId"]
if not name:
continue
link = f"https://www.walmart.com/reviews/product/{product_id}"
price = item["price"]
sponsored = item["isSponsoredFlag"]
rating = item["averageRating"]
scraped_product = {
"name": name,
"stars": rating,
"url": link,
"sponsored": sponsored,
"price": price,
"product_id": product_id
}
extracted_data.append(scraped_product)
with open("scraped-laptops.json", "w") as file:
json.dump(extracted_data, file, indent=4)코드를 실행하면 깔끔한 JSON 파일로 제품 정보가 가득 채워집니다. 아래 데이터는 일부만 보여드리기 위해 일부러 잘라낸 것입니다. 깔끔한 형식만 확인하시면 됩니다.
[
{
"name": "ASUS CX15 15.6 인치 FHD IPS 크롬북 노트북 인텔 셀러론 N4500 4GB RAM 128GB eMMC 퓨어 그레이",
"stars": 4.3,
"url": "https://www.walmart.com/reviews/product/13722470932",
"sponsored": true,
"price": 159,
"product_id": "13722470932"
},
{
"name": "델 인스피론 14 노트북 5440 14인치 FHD+ 인텔 코어 i5-1334U 8GB RAM 512GB NVMe SSD 카본 블랙",
"평점": 4.4,
"url": "https://www.walmart.com/reviews/product/8988969760",
"스폰서": true,
"가격": 349,
"제품_id": "8988969760"
},이 월마트 스크래핑 접근 방식은 Bright Data의 주거용 프록시 네트워크를 활용하여 차단되는 것을 방지하면서 스크래핑된 URL 수를 확장할 수 있게 합니다.
스크레이퍼 API
Bright Data 월마트 스크레이퍼 API를 사용하면 사전 구축된 스크레이퍼를 실행하고 필요에 따라 수집을 트리거할 수 있습니다. 이는 최소한의 코드만 필요하거나 반복적인 수집을 통해 역사적 데이터셋을 구축하려는 경우에 매우 유용합니다. 우리는 “월마트 제품 검색” 탭 아래에서 “URL로 수집”을 선택했습니다.
이제 기본 URL을 제거하고 요청 빌더에 원하는 URL을 추가하세요. 노트북을 사용하는 경우 아래에 있는 URL을 복사하여 붙여넣으세요.
https://www.walmart.com/search?q=laptops
요청 빌더 오른쪽에는 자동 생성된 실행 명령어가 표시됩니다. 저희는 Windows를 사용했으므로 아래의 Powershell 명령어를 복사하여 붙여넣었습니다. 본인에게 가장 적합한 형식을 선택하세요.
echo '[{"url":"https://www.walmart.com/search?q=laptops"}]' | curl.exe -H "Authorization: Bearer <your-bright-data-api-key>" -H "Content-Type: application/json" -d "@-" "https://api.brightdata.com/datasets/v3/trigger?dataset_id=gd_m7khey0wb7wviejgj&include_errors=true"“로그” 탭을 클릭하면 스크레이퍼 진행 상황을 로그에서 확인할 수 있습니다. 준비가 완료되면 원하는 형식으로 보고서를 다운로드할 수 있습니다.
보고서 다운로드가 완료되면 월마트 상품에 대한 방대한 보고서를 받게 됩니다. 형식을 선택할 수 있으며, 여러 종류의 JSON과 CSV 스프레드시트 형식이 제공됩니다.
{"id":"53H3B7IK07HL","url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","typename":"Product","buy_box_suppression":false,"similar_items":false,"us_item_id":"13678864426","is_bad_split":false,"name":"HP 15.6인치 FHD IPS 윈도우 노트북 인텔 코어 i7-1355U 16GB RAM 1TB PCIe NVMe SSD 내추럴 실버","check_store_availability_atc":false,"see_shipping_eligibility":false,"type":"VARIANT","weight_increment":1,"image_info":{"url":"https://i5.walmartimages.com/seo/HP-15-6-inch-Windows-Laptop-Intel-Core-i7-1355U-16GB-RAM-1TB-SSD-Natural-Silver_de82070a-d2bc-4ea4-bf42-3d1239d93e3d.be919c24e2f3dd7c97e5ccbd8970396a.jpeg?odnHeight=180&odnWidth=180&odnBg=FFFFFF","id":"E117356E0994479A9382100D3AB2B225","name":"HP-15-6-inch-Windows-Laptop-Intel-Core-i7-1355U-16GB-RAM-1TB-SSD-Natural-Silver_de82070a-d2bc-4ea4-bf42-3d1239d93e3d.be919c24e2f3dd7c97e5ccbd8970396a.jpeg","thumbnail_url":"https://i5.walmartimages.com/seo/HP-15-6-inch-Windows-Laptop-Intel-Core-i7-1355U-16GB-RAM-1TB-SSD-Natural-Silver_de82070a-d2bc-4ea4-bf42-3d1239d93e3d.be919c24e2f3dd7c97e5ccbd8970396a.jpeg?odnHeight=180&odnWidth=180&odnBg=FFFFFF","size":"104-104","all_images":[]},"aspect_info":{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426"},"canonical_url":"https://www.walmart.com/ip/HP-15-6-inch-Windows-Laptop-Intel-Core-i7-1355U-16GB-RAM-1TB-SSD-Natural-Silver/13678864426?classType=VARIANT","category":{"url":"https://www.walmart.com/browse/3944_1089430_3951_8835131_1737838_1315601","category_path_id":"0:3944:1089430:3951:8835131:1737838:1315601"},"반품 정책":{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","반품 기간":{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","unit_type":"Day"}},"badges":{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","tags":[{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","__typename":"BaseBadge","key":"SAVE_WITH_W_PLUS","text":"저장하기","type":"ICON"}],"groups":[{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","__typename":"UnifiedBadgeGroup","name":"fulfillment","members":[{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","__typename":"BadgeGroupMember","id":"L1052","key":"FF_DELIVERY","member_type":"badge","rank":1,"sla_text":"1시간","style_id":"FF_STYLE_THUNDERBOLT","text":"최대한 빠른 배송"},{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","__typename":"배지그룹멤버","id":"L1053","key":"FF_SHIPPING","member_type":"badge","rank":2,"sla_text":"내일","style_id":"FF_STYLE","text":"무료 배송, 도착 예정 "},{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","__typename":"배지그룹멤버","id":"L1051","key":"FF_픽업","member_type":"배지","rank":3,"sla_text":"오후 7시","style_id":"FF_STYLE","text":"무료 픽업 가능","}]}],"groups_v2":"[]"},"buy_now_eligible":true,"class_type":"VARIANT","average_rating":4.4,"number_of_reviews":115,"sales_unit_type":"EACH","seller_id":"F55CDC31AB754BB68FE0B39041159D63","판매자명":"Walmart.com","조기구매가능품목":false,"사전조기구매이벤트":false,"조기구매이벤트":false,"블리츠상품":false,"연간이벤트":false,"연간이벤트v2":false,"availability_status_v2":{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","display":"재고 있음","value":"IN_STOCK"},"group_meta_data":{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","number_of_components":0},"offer_id":"167D2663980D33B8A6EC1C096E9D7A16","pre_order":{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","is_pre_order":false},"fulfillment_summary":[{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","fulfillment":"DELIVERY","store_id":"2108","fulfillment_methods":["UNSCHEDULED","SCHEDULED"]},{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","fulfillment":"PICKUP","store_id":"2108","delivery_date":"2026-07-21T23:00:00.000Z","fulfillment_methods":["미예약","예약"]},{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","fulfillment":"DELIVERY","store_id":"0","delivery_date":"2026-07-22T21:59:00.000Z","fulfillment_methods":["UNSCHEDULED"]}],"price_info":{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","item_price":"$959.99","line_price":"$619.00","line_price_display":"지금 $619.00","savings":"$340.99 절약","savings_amt":340.99,"was_price":"$959.99","최저가격":433,"가격범위문구":"$433.00부터 시작하는 옵션","최종가격계산방식":false,"B2B가격":false},"변형기준":[],"스냅적격":false,"배송방식":"매장","show_atc":false,"sponsored_product":{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","sp_qs":"6zMQrU4FZVwFjcXr8O5NVyk0BiDLjp2NT_Z0lJtju-STWusrQcwJEDZNYI4-K6jzL9jWasEvGb0VgkggSzqdaz_6wmiULHw1KbykRca50297WyT-2Mocv3HA5PmRQImcjSlQgM_eTHWLnS5qfW7R4--zdmRPGUywkx0v5yDqIbFmyiqtH19U3gyALKHSadiKNcQvYifUHFIheHXj_Sqgswm4ujES3nBcldtxJkDTKRF6OnwqYSrVQCZBFN8Q7XIrVou3_w1O7zcNkYR_bljlY5J3mITg_xivqsJYeFpsNJI","click_beacon":"https://www.walmart.com/sp/track?adUid=9eb11e15-1abe-4caa-b684-3008c76d7bbf-0-0&pgId=laptops&spQs=6zMQrU4FZVwFjcXr8O5NVyk0BiDLjp2NT_Z0lJtju-STWusrQcwJEDZNYI4-K6jzL9jWasEvGb0VgkggSzqdaz_6wmiULHw1KbykRca50297WyT-2Mocv3HA5PmRQImcjSlQgM_eTHWLnS5qfW7R4--zdmRPGUywkx0v5yDqIbFmyiqtH19U3gyALKHSadiKNcQvYifUHFIheHXj_Sqgswm4ujES3nBcldtxJkDTKRF6OnwqYSrVQCZBFN8Q7XIrVou3_w1O7zcNkYR_bljlY5J3mITg_xivqsJYeFpsNJI&storeId=2108&pt=search&mloc=sp-search-middle&bkt=ace1_default%7Cace2_12171%7Cace3_default%7Ccoldstart_on%7Csearch_default&pltfm=desktop&rdf=0&plmt=__plmt__&eventST=__eventST__&pos=__pos__&bt=__bt__&tn=WMT&wtn=elh9ie&tax=3944_1089430_3951_8835131_1737838&et=head_torso&st=head"},"show_options":true,"show_buy_now":false,"ar_experiences":{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","is_ar_home":false,"is_zeekit":false,"is_ar_optical":false},"event_attributes":{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","price_flip":false,"special_buy":false},"구독":{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","__typename":"SubscriptionData","subscription_eligible":false,"show_subscription_cta":false},"has_care_plans":true,"pet_rx {"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","적격":false},"비전":{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","vision_center_approved":false},"show_explore_other_conditions_cta":false,"is_preowned":false,"mhmd_flag":false,"see_similar":false,"availability_status_display_value":"재고 있음","product_location_display_value":"K13","can_add_to_cart":false,"badge":{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426"},"fulfillment_badge_groups":[{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","text":"최대 ","sla_text":"1시간","is_sla_text_bold":true,"class_name":"w-fit items-center br1 ph1 bg-blue-130 white ff-thunderbolt","key":"FF_DELIVERY"},{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","text":"무료 배송, 도착 예정","sla_text":"내일","is_sla_text_bold":true,"class_name":"dark-gray","key":"FF_SHIPPING"},{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","text":""sla_text":"오후 7시"","is_sla_text_bold":true,"class_name":"dark-gray","key":"FF_PICKUP"}],"fulfillment_icon":{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","key":"SAVE_WITH_W_PLUS","label":"Save with"},"special_buy":false,"price_flip":false,"image":"https://i5.walmartimages.com/seo/HP-15-6-inch-Windows-Laptop-Intel-Core-i7-1355U-16GB-RAM-1TB-SSD-Natural-Silver_de82070a-d2bc-4ea4-bf42-3d1239d93e3d.be919c24e2f3dd7c97e5ccbd8970396a.jpeg?odnHeight=180&odnWidth=180&odnBg=FFFFFF","image_name":"HP-15-6-inch-Windows-Laptop-Intel-Core-i7-1355U-16GB-RAM-1TB-SSD-Natural-Silver_de82070a-d2bc-4ea4-bf42-3d1239d93e3d.be919c24e2f3dd7c97e5ccbd8970396a.jpeg","is_out_of_stock":false,"price":619,"rating":{"url":"https://www.walmart.com/ip/HP-156-inch-FHD-IPS-Windows-Laptop-Intel-Core-i71355U-16GB-RAM-1TB-PCIe-NVMe-SSD-Natural-Silver/13678864426","average_rating":4.4,"number_of_reviews":115},"sales_unit":"EACH","variant_list":[],"is_variant_type_swatch":false,"should_lazy_load":false,"is_sponsored_flag":true,"is_left_side_grid_item":"true","product_index":0,"item_stack_position":1,"page_number":5,"placement_on_page":1,"currency":"$","timestamp":"2026-07-21T19:40:28.632Z","input":{"url":"https://www.walmart.com/search?q=laptops"}}Claude와 MCP 서버를 사용한 월마트 데이터 스크래핑
마지막으로 Claude와 MCP 서버를 활용해 월마트 데이터를 스크래핑할 수 있습니다. Claude에서는 MCP 연결만 설정하면 나머지는 LLM이 처리합니다. 자연어 처리로 스크래핑을 수행하는 셈이죠.
Claude를 실행하세요. 다음으로 “파일”을 클릭하고 설정을 엽니다.
“개발자 설정”에서 “구성 편집”을 클릭하여 구성 파일을 엽니다. 다음 JSON을 구성 파일에 복사하여 붙여넣으세요. 자리 표시자를 자신의 API 키로 반드시 교체해야 합니다.
{
"mcpServers": {
"Bright Data": {
"command": "npx",
"args": ["@brightdata/mcp"],
"env": {
"API_TOKEN": "<your-bright-data-api-key>"
}
}
}
}모든 설정이 정상적으로 작동하면 개발자 설정으로 이동하면 다음과 유사한 구성을 확인할 수 있습니다.
이제 클로드에게 스크래핑을 요청하기만 하면 됩니다! 정말 간단하죠. 스크래핑이 실패한다면 컨텍스트 제한에 걸린 것입니다. 월마트 제품 페이지는 방대하며 클로드의 무료 계정은 제한된 컨텍스트 창만 제공합니다. 프로 플랜으로 업그레이드하여 컨텍스트 창을 개선하세요 — 저희도 이 페이지를 처리하기 위해 업그레이드해야 했습니다.
다음 URL에서 노트북을 추출해 주세요: https://www.walmart.com/search?q=laptops.
스크래핑이 완료되면 Claude가 페이지에서 찾은 노트북을 요약해 줍니다.
이제 클로드에게 데이터를 JSON 파일로 변환해 달라고 요청하세요.
모든 노트북을 JSON 파일에 저장해 주세요. 가능하고 편하신다면 광고와 중복 항목은 제거해 주시기 바랍니다.
아래는 Claude가 제공한 JSON 파일입니다. 놀라울 정도로 상세한 정보가 담긴 제품 페이지 한 장입니다. Claude는 총 380대의 노트북이 있다고도 언급했습니다.
데모를 위해 380개 모두를 크롤링하도록 클로드에게 요청할 수도 있지만, 우리는 그렇게 하지 않기로 했습니다.
{
"source": "Walmart.com",
"search_query": "laptops",
"extraction_date": "2026-07-21",
"total_results": 380,
"laptops": [
{
"id": 1,
"name": "HP 15.6 인치 FHD IPS 윈도우 노트북 인텔 코어 i7-1355U 16GB RAM 1TB PCIe NVMe SSD 내추럴 실버",
"brand": "HP",
"current_price": 619.00,
"original_price": 959.99,
"discount_percentage": 35.5,
"processor": "Intel Core i7-1355U",
"ram": "16GB",
"storage": "1TB PCIe NVMe SSD",
"screen_size": "15.6 인치",
"display_type": "FHD IPS",
"operating_system": "Windows",
"color": "내추럴 실버",
"rating": 4.4,
"review_count": 115,
"features": ["FHD IPS 디스플레이", "고성능"],
"category": "윈도우 노트북",
"availability": "재고 있음",
"shipping": "무료 배송, 오늘 도착"
},
{
"id": 2,
"name": "SANPTENT 15.6인치 1080p FHD 노트북 컴퓨터 16GB RAM 512GB SSD 4코어 인텔 셀러론 N5095 탑재",
"brand": "SANPTENT",
"current_price": 279.99,
"original_price": 599.00,
"discount_percentage": 53.3,
"processor": "인텔 셀러론 N5095 (4 코어)",
"ram": "16GB",
"storage": "512GB SSD",
"screen_size": "15.6 인치",
"display_type": "1080p FHD",
"operating_system": "Windows 11 Pro",
"color": "지정되지 않음",
"평점": 4.4,
"리뷰 수": 890,
"기능": ["지문 인식기", "백라이트 키보드", "Windows 11 Pro"],
"카테고리": "Windows 노트북",
"재고 상태": "재고 있음",
"배송": "무료 배송, 내일 도착"
},
{
"id": 3,
"name": "ASUS CX15 15.6인치 FHD IPS 크롬북 노트북 인텔 셀러론 N4500 4GB RAM 128GB eMMC 패브릭 블루",
"brand": "ASUS",
"current_price": 159.00,
"original_price": 219.99,
"discount_percentage": 27.7,
"processor": "Intel Celeron N4500",
"ram": "4GB",
"storage": "128GB eMMC",
"screen_size": "15.6 인치",
"display_type": "FHD IPS",
"operating_system": "Chrome OS",
"color": "패브릭 블루",
"rating": 4.3,
"review_count": 484,
"features": ["나노엣지 디스플레이", "퓨어 그레이 옵션 제공"],
"category": "크롬북",
"availability": "재고 있음",
"shipping": "무료 배송, 오늘 도착"
},
{
"id": 4,
"name": "Apple MacBook Air 13.3인치 노트북 - 스페이스 그레이, M1 칩, Apple 인텔리전스 전용 설계, 8GB RAM, 256GB 저장공간",
"brand": "Apple",
"current_price": 599.00,
"original_price": 649.00,
"discount_percentage": 7.7,
"processor": "Apple M1 Chip",
"ram": "8GB",
"storage": "256GB",
"screen_size": "13.3 인치",
"display_type": "레티나",
"operating_system": "macOS",
"color": "스페이스 그레이",
"rating": 4.7,
"review_count": 6428,
"features": ["Apple 인텔리전스를 위해 설계됨", "M1 칩", "다양한 색상 옵션"],
"category": "MacBook",
"availability": "재고 있음",
"배송": "무료 배송, 내일 도착",
"색상 옵션": ["스페이스 그레이", "실버", "골드"]
},
{
"id": 5,
"name": "HP 15.6인치 Windows 터치 노트북 Intel Core i3-N305 8GB RAM 256GB SSD 문라이트 블루",
"brand": "HP",
"current_price": 279.00,
"original_price": 469.00,
"discount_percentage": 40.5,
"processor": "Intel Core i3-N305",
"ram": "8GB",
"storage": "256GB SSD",
"screen_size": "15.6 인치",
"display_type": "터치스크린",
"operating_system": "Windows",
"color": "문라이트 블루",
"평점": 4.7,
"리뷰 수": 25,
"특징": ["터치스크린", "다양한 옵션 제공"],
"카테고리": "윈도우 노트북",
"재고 상태": "재고 있음",
"배송": "무료 배송, 오늘 도착"
},
{
"id": 6,
"name": "HP 14인치 x360 FHD 터치 크롬북 노트북 인텔 프로세서 N100 4GB RAM 64GB eMMC 스카이 블루",
"brand": "HP",
"current_price": 189.00,
"original_price": 429.99,
"discount_percentage": 56.0,
"processor": "인텔 프로세서 N100",
"ram": "4GB",
"storage": "64GB eMMC",
"screen_size": "14 인치",
"display_type": "FHD 터치",
"operating_system": "Chrome OS",
"color": "하늘색",
"rating": 4.5,
"review_count": 2118,
"features": ["2-in-1 컨버터블", "터치스크린", "x360 디자인"],
"category": "크롬북",
"availability": "재고 있음",
"배송": "무료 배송, 오늘 도착"
},
{
"id": 7,
"name": "15.6" 노트북 인텔 셀러론 N5095, 16GB RAM, 512GB SSD, Windows 11 Pro 업무용 컴퓨터, 지문 인식기, 백라이트 키보드, 실버",
"brand": "SANPTENT",
"current_price": 299.99,
"original_price": 1099.00,
"discount_percentage": 72.7,
"processor": "Intel Celeron N5095",
"ram": "16GB",
"storage": "512GB SSD",
"screen_size": "15.6 인치",
"display_type": "표준",
"operating_system": "Windows 11 Pro",
"color": "실버",
"평점": 4.2,
"리뷰 수": 10,
"특징": ["지문 인식기", "백라이트 키보드", "업무용 컴퓨터"],
"카테고리": "Windows 노트북",
"재고 상태": "재고 있음",
"배송": "무료 배송, 3일 이상 소요"
},
{
"id": 8,
"name": "HP 17.3" 터치스크린 노트북, 인텔 코어 i3, 16GB RAM, 128GB eMMC + 1TB SSD, Windows 11 H, 실버",
"brand": "HP",
"current_price": 549.00,
"original_price": 829.00,
"discount_percentage": 33.8,
"processor": "인텔 코어 i3",
"ram": "16GB",
"storage": "128GB eMMC + 1TB SSD",
"screen_size": "17.3인치",
"display_type": "터치스크린",
"operating_system": "Windows 11 Home",
"color": "실버",
"평점": 4.6,
"리뷰 수": 121,
"특징": ["대형 17.3" 디스플레이", "터치스크린", "듀얼 스토리지"],
"카테고리": "윈도우 노트북",
"재고 상태": "재고 있음",
"배송": "무료 배송, 2일 내 도착"
},
{
"id": 9,
"name": "MSI 얇은 15.6인치 FHD 144Hz 게이밍 노트북 인텔 코어 i5-13420H NVIDIA 지포스 RTX 4050 - 16GB DDR4 512GB SSD 그레이 (2026)",
"브랜드": "MSI",
"현재가격": 629.00,
"원가": 699.00,
"할인율": 10.0,
"프로세서": "인텔 코어 i5-13420H",
"ram": "16GB DDR4",
"storage": "512GB SSD",
"screen_size": "15.6 인치",
"display_type": "FHD 144Hz",
"operating_system": "Windows",
"color": "회색",
"평점": 3.9,
"리뷰 수": 9,
"특징": ["144Hz 게이밍 디스플레이", "NVIDIA GeForce RTX 4050", "게이밍 노트북"],
"카테고리": "게이밍 노트북",
"재고 상태": "재고 있음",
"배송": "무료 배송, 내일 도착",
"graphics_card": "NVIDIA GeForce RTX 4050"
}
],
"summary": {
"total_laptops_extracted": 9,
"price_range": {
"min_price": 159.00,
"max_price": 619.00
},
"brands": ["HP", "SANPTENT", "ASUS", "Apple", "MSI"],
"categories": ["Windows 노트북", "크롬북", "맥북", "게이밍 노트북"],
"operating_systems": ["Windows", "Windows 11 Pro", "Windows 11 Home", "Chrome OS", "macOS"],
"notes": "광고 및 프로모션 콘텐츠 제거됨. 중복 항목 필터링됨. 모든 가격은 USD 기준입니다."
}
}결론
적절한 도구를 사용하면 월마트 스크래핑은 쉽습니다. 도구 없이는 거의 불가능합니다. 선택하세요 — 구식 코딩, 자동 스크래퍼, 아니면 시장에서 가장 뛰어난 추출 도구를 갖춘 LLM. 어떤 선택을 하든, 월마트 스크래핑은 대부분의 사람들이 생각하는 것보다 훨씬 쉽습니다.
Bright Data에서는 구식 스크래핑부터 최신 AI 팀까지, 그 사이의 모든 것을 아우르는 다양한 도구를 보유하고 있습니다.
무료 체험판에 가입하고 지금 바로 시작하세요!
