이 글에서는 다음을 논의할 것입니다:
- 여행 산업에서 데이터 수집의 어려움
- 기업들이 웹 데이터를 활용해 운영 효율성을 극대화하는 방법
여행 산업에서 데이터 수집의 어려움
경쟁사 정보 수집의 어려움
대상 사이트에서 실시간 여행 데이터(가격 및 패키지 등)를 수집할 때 두 가지 주요 과제는 다음과 같습니다:
첫째: 경쟁사 사이트는 단일 IP 주소에서 과도한 트래픽이 감지될 경우 데이터 수집을 차단합니다(즉, ‘속도 제한’).
둘째: 타겟 고객의 요구에 맞춰 지역별 맞춤형 정보에 접근하기 어렵습니다. 많은 사이트가 정보를 왜곡하거나 자사 지역 외부에서 발생하는 요청을 차단합니다(예: 뉴욕 소재 호텔이 일본 OTA에서 소비자에게 표시되는 가격을 확인하려는 경우).
API 관련 과제
일반적인 데이터 수집 및 특히 여행 산업 맥락에서 API 사용 시 주요 도전 과제는 다음과 같습니다:
- 오래된 데이터 – 이는 대상 사이트에서 최신으로 커밋된 버전이 아닌 캐시된 정보의 마지막 버전을 가져온다는 의미입니다. 예를 들어, 시장에서 가장 경쟁력 있는 상품을 제공하려는 여행 패키지 업체가 하루 전 정보에 기반해 거래를 진행할 경우 문제가 발생할 수 있습니다.
- 동시 요청 제한 – 많은 API는 사용자가 동시에 실행할 수 있는 활성 세션 수에 제한을 두습니다. 이는 경쟁력을 유지하기 위해 수백 또는 수천 개의 업계 사이트를 동시에 스캔해야 하는 OTA에게 주요 제약 요소가 될 수 있습니다.
- API 호출 – 특정 기간 동안 전송 가능한 호출 횟수를 제한하는 API가 많아, 이는 또 다른 수량적 제약입니다. 여행 사이트는 새로운 여행 트렌드와 소비자 행동을 자유롭게 모니터링하기보다, 대상 데이터를 꼼꼼히 선별하고 정확한 배치 크기를 계산해야 합니다. 이는 기업이 잠재적으로 발견할 수 있는 데이터 기반 기회의 양을 심각하게 제한할 수 있습니다.
- 배치 크기 – 배치 크기 제한은 대상 사이트 측에서도 발생할 수 있습니다. 대상 사이트가 요청당 100개 레코드로 배치를 제한한다면, 작업을 완료하려면 10번의 데이터 요청이 필요합니다. 이는 실질적으로 정보 검색 속도가 느려진다는 의미로, 즉 시장 변화에 대응하여 회사가 신속하게 전환하거나 선제적으로 반응/행동하는 능력이 둔화된다는 것을 의미합니다.
기업들이 웹 데이터를 활용해 운영을 가속화하는 방법
기업 #1: 제3자 유통 채널에 요금이 어떻게 표시되는지 궁금해하는 호텔 체인
기업 소개: 미국에 위치한 중형 호텔체인입니다 . 주로 레저 고객을 대상으로 하며, 대부분의 고객이 객실을 검색하고 예약하는 OTA 기반 웹 트래픽에 크게 의존하고 있습니다.
도전 과제: 예약을 제3자 사이트에 의존하다 보니, 업체들이 객실을 얼마에 표시하는지 통제할 수 없습니다. OTA들은 악명 높게도 업체에 알리지 않고 가격을 인하한 뒤, 다른 목록의 가격을 올려 차액을 보충합니다. 이는 특정 상황에서 고객을 유치하기 위한 전략으로, OTA에는 유리하지만 호텔 브랜드를 훼손합니다.
호텔 체인은 이러한 관행이 운영 계약을 위반한다고 주장하며 OTA에 법적 조치를 요구하고자 합니다. 그러나 이를 실행하기 전에 주장을 입증할 수 있는 정보를 수집해야 합니다. 문제는 호텔 기술팀이 구식 API를 사용 중이어서 모든 제3자 사이트에 ‘동시 요청’을 보내는 데 어려움을 겪고, ‘오래된 데이터’를 수신하는 경우가 매우 빈번하다는 점입니다.
해결책: 해당 기업은 현재 회전식 주거용 IP 네트워크에 접근할 수 있는 데이터 수집 네트워크를 활용하고 있습니다. 이는 전 세계 국가 및 도시에 거주하는 실제 개인에게 속한 글로벌 IP 네트워크입니다. 이제 호텔은 각 요청이 서로 다른 기기를 통해 라우팅되므로 무제한의 동시 요청을 보낼 수 있습니다.
이 프록시 네트워크는 지연 시간이 매우 낮고 캐시된 정보에 접근하지 않으며, 대신 실시간 대상 사이트에서 직접 데이터를 획득하므로 데이터는 매우 정확하며 실시간으로 검색됩니다.
결과: 해당 기업은 이제 모든 제3자 공급업체가 사전 정의 및 합의된 요율 이하로 가격이 하락하지 않도록 보장할 수 있게 되었습니다.
회사 #2: 자사 상품의 경쟁력을 고민하는 온라인 여행사(OTA)
회사: 항공권, 렌터카, 숙박을 포함한 여행 패키지를 제공하는OTA입니다 . 전 분야에 걸쳐 많은 경쟁사가 존재하며 지속적으로 변화하고 진화하는 생태계에서 운영됩니다.
과제: 해당 기업은 다양한 지역에서 사업을 운영하고 있어, 경쟁사가 서로 다른 타깃 고객층에게 유사한 상품을 어떻게 제시하는지에 대한 실시간 정보를 수집해야 합니다. 그러나 본사가 독일에 위치해 있어 이 작업이 쉽지 않습니다. 경쟁사 사이트에서 정보를 수집할 수는 있지만, 대상 사이트에 과도한 트래픽을 보내는 바람에 IP가 차단되는 경우가 잦습니다. 또한 독일 IP 주소로는 중국 사이트 등에 접근할 수 없는 경우도 있습니다.
해결책: 이 회사는 ‘웹 언락커( Web Unlocker)’라는 도구를 도입하기로 결정했습니다. 이 도구는 IP 로테이션 프로세스를 자동화하고 머신 러닝(ML) 알고리즘을 활용하여 대상 사이트의 차단 및 제한을 해결하고 우회할 수 있게 해줍니다.
결과: 이 OTA는 경쟁력을 강화하고 운영 환경에 더 적합한 번들 상품을 제공할 수 있게 되었습니다. 경쟁사의 번들 상품 변경 시 시스템이 자동 업데이트되어 필요 시 전략적으로 대응할 수 있는 기반을 마련했습니다.
결론
여행 업계의 많은 기업들은 API 수준에서 오래된 데이터와 동시 요청으로 어려움을 겪고 있습니다. 다른 기업들은 시장 점유율 확대를 위해 실시간 경쟁사 정보를 확보하는 데 어려움을 겪고 있습니다. 데이터 수집 능력과 성공률을 향상시키는 데 도움이 되는 데이터 수집 네트워크를 활용하면 매우 경쟁이 치열한 시장에서 귀사가 두각을 나타낼 수 있습니다.
