간단한 프록시 조작으로 요청 속도를 높이는 방법을 알아보세요
의제
- 일반적인 속도 문제 해결을 위한 간단한 단계
- 대상 도메인에 가장 빠른 IP와 슈퍼 프록시 사용하기
- 응답 대역폭 감소
- 프록시 설정 최적화
웨비나 시청이 번거로우신 분들을 위한 요약
요청을 보내고 받는 데 소요되는 시간은 데이터 수집 작업의 성공에 중요합니다. 먼저 요청 시간을 단축하는 방법을 보여드리겠습니다.
슈퍼 프록시에 도달하기 전에 요청을 수정할 수 있게 해주는 프록시 관리자를 사용해 보겠습니다.
프록시 관리자는 크롤러와 슈퍼 프록시 사이의 중개자 역할을 하여 슈퍼 프록시와 프록시 출구 노드(피어라고도 함)로 전송되는 트래픽을 제어하고 형성하는 데 도움을 줍니다.
또한 응답을 받은 후 어떤 작업이 수행되어야 하는지도 제어합니다.
프록시 관리자는 컴퓨터에 로컬로 설치되는 오픈 소스 소프트웨어입니다.
다운로드는 당사 웹사이트( brightdata.com/products/proxy-manager), github.com/luminati-io/luminati-proxy, npmjs.com/package/@luminati-io/luminati-proxy, hub.docker.com/r/luminati/luminati-proxy/에서가능합니다.
먼저 프록시 매니저 대시보드와 각 프록시 포트의 HAR 뷰어 탭에서 확인할 수 있는 요청 로그를 살펴보겠습니다.
요청을 클릭하면 요청 및 응답 세부 정보와 함께 소요 시간이 표시됩니다.
소요 시간은 대상 사이트로 요청을 전송하고 수신하는 데 걸린 시간과 응답이 돌아오는 데 걸린 시간을 나타냅니다.
요청 전송 시간이 원하는 시간을 초과할 경우, 해당 프록시 포트의 ‘요청 속도’ 탭에서 설정을 변경할 수 있습니다.
왕복 시간을 단축하려면 내 위치에서 가장 가까운 슈퍼 프록시를 선택할 수 있습니다.
프록시 매니저에서 프록시 포트의 ‘요청 속도’ 탭으로 이동한 후, ‘슈퍼 프록시 위치’ 드롭다운 목록에서 원하는 국가를 선택하면 됩니다.
참고: 출구 노드 IP 지리적 위치는 슈퍼 프록시 자체의 위치에 영향을 받지 않습니다.
지리적 위치 기반으로 슈퍼 프록시를 획득하여 지연 시간을 줄이는 방법은 servercountry-COUNTRY_CODE.zproxy.lum-superproxy.io 명령으로도 가능합니다. 현재 슈퍼 프록시 획득에 지원되는 국가 코드는 AU, CN, GB, IN, NL, US입니다.
예를 들어, 호주에서 슈퍼 프록시를 획득하려면 다음 명령을 실행하기만 하면 됩니다: servercountry-au.zproxy.lum-superproxy.io
속도를 향상시키는 또 다른 방법은 각 요청을 서로 다른 슈퍼 프록시를 통해 여러 번 병렬로 전송하여 가장 빠른 프록시를 사용하는 것입니다.
이를 위해 병렬 레이스 요청 수를 3으로 설정하고 최소 슈퍼 프록시 수를 5로 설정하면 됩니다.
‘슈퍼 프록시에서 DNS 해결’ 설정도 피어 측에서 해결하는 것보다 빠릅니다.
설정 후 대상 웹사이트에 단일 요청을 보내 성공 여부를 확인하는 간단한 테스트를 수행하세요.
요청 속도를 개선하는 또 다른 방법은 속도 임계값을 설정하고 해당 임계값을 충족하는 IP 풀을 저장하는 것입니다.
이는 프록시 관리자(Proxy Manager)의 ‘규칙(Rules)’ 탭에서 설정할 수 있습니다.
요청 시간이 500밀리초 미만인 경우를 선택하여 시간 임계값을 충족하거나 미달할 때 트리거되는 규칙을 생성하겠습니다.
다음으로 동작을 ‘빠른 풀에 IP 저장’으로 선택하면 특정 대상 웹사이트에 가장 빠른 IP 풀이 생성되며, 풀 크기를 20개 IP로 설정하겠습니다.
HTTPS 프로토콜에서 프록시 관리자 규칙이 작동하려면 HTTPS 분석기를 활성화해야 합니다.
brightdata.com/faq#proxy-certificate에서안내를 확인하세요.
운영 체제 및 브라우저에 따라 여기에서 각 항목에 대한 구체적인 지침을 찾을 수 있습니다.
응답에서 불필요한 파일을 제거하여 느린 응답 시간을 최적화할 수 있습니다.
규칙 탭에서 제거할 파일 유형을 정규식 필드에 선택하고 특정 URL에 대한 트리거를 활성화하면 됩니다.
오른쪽에 규칙이 자바스크립트 함수로 표시되며 코드에 복사할 수 있습니다.
규칙 섹션 아래의 ‘테스트’를 클릭하여 항상 규칙을 테스트하세요.
데이터센터 네트워크 및 정적 주거용 IP는 초당 500 요청으로 제한됩니다.
이 한도에 도달하면 다음 오류가 발생합니다: CODE 429: TUN_ERR: IP당 요청이 너무 많음
해결 방법: 요청 속도를 낮추거나 IP를 추가 구매하여 부하를 더 많은 데이터센터 IP에 분산시키세요.
데이터센터 IP는 서버 IP이며, 정적 주거용 IP는 초고속 ISP IP로 필요 시 무제한 사용 가능합니다.
수천만 명의 실제 사용자 IP로 구성된 주거용 네트워크를 통한 요청 수에는 제한이 없습니다.
Bright Data에는 하루에 2천만 건 이상의 요청을 보내는 고객이 많습니다.
하루에 수천만 건의 요청을 실행하는 고객의 경우, 크롤러나 봇을 프록시 매니저에 직접 연결하거나 API를 통해 프록시 매니저에 연결하여 슈퍼 프록시에 접속하는 것이 이상적인 구성입니다.
프록시 매니저는 고객사 현장에 설치되며, 높은 부하 시 트래픽 부하를 여러 프록시 매니저로 분산해야 합니다.
그렇지 않으면 단일 프록시 매니저 머신의 높은 트래픽 부하로 인해 502 오류 코드가 발생할 수 있습니다.
여러 프록시 매니저를 구성하려면 한 대의 PC에 프록시 매니저를 설치하고, 필요한 프록시 포트, 프록시 포트 대상 지정, 네트워크 규칙 및 포트 구성을 설정하십시오.
프록시 포트는 일반 탭에서 설정할 수 있으며, SSL 로그 활성화를 위해 ‘예’를 선택하십시오.
이제 이 프록시 포트에 연결할 IP(크롤러 또는 봇의 IP)를 화이트리스트에 추가하십시오.
이를 통해 허용된 소스만 프록시 관리자의 각 프록시 포트를 사용할 수 있습니다.
크롤러 머신에서 IP를 확인하여 ‘허용된 IP 주소’ 필드에 입력한 후 V를 클릭하세요.
이제 ‘수동 구성’ 탭으로 이동하여 JSON 파일을 복사합니다.
다른 머신에 프록시 관리자를 설치하려면 ‘수동 구성’ 탭에서 편집을 클릭하고 JSON 파일을 붙여넣은 후 저장하세요.
이렇게 하면 허용된 IP를 포함한 모든 프록시 포트와 해당 구성이 복사됩니다.
이제 프록시 관리자가 설치된 여러 머신이 있으므로, 인스턴스 간 트래픽 분할은 요청을 해당 머신 IP와 프록시 관리자 포트로 전달하여 수행됩니다.
요청 형식은 다음과 같습니다:
요청 1 -> [첫 번째 서버 IP]:24000
요청 2 -> [두 번째 서버 IP]:24000
참고: 앞서 설명한 대로 프록시 관리자 인증서를 설치해야 합니다.
웨비나를 마무리하며, 요청 속도를 높이는 단계는 다음과 같습니다:
- 위치에 따라 가장 빠른 슈퍼 프록시로 트래픽 라우팅
- 최적의 슈퍼 프록시를 활용하기 위해 여러 슈퍼 프록시를 통해 병렬 요청 전송
- 슈퍼 프록시 측에서 DNS를 해결하세요
- 응답에서 불필요한 파일 제거
- 향후 사용을 위해 가장 빠른 IP를 고속 IP 풀에 저장
- 트래픽 부하를 여러 프록시 매니저 인스턴스와 머신에 분산합니다
이번 웨비나가 유익하셨기를 바랍니다. 자주 묻는 질문을 방문하시거나 brightdata.com/webinar에서과거 웨비나를 시청하실 수 있습니다.