이 가이드에서는 다음을 배우게 됩니다:

CAPTCHA란 무엇이며 회피 가능한지 여부
Playwright CAPTCHA 우회 로직 구현 방법
CAPTCHA가 여전히 표시될 경우 취해야 할 조치

자, 시작해 보겠습니다!

CAPTCHA란 무엇이며 우회할 수 있을까?

CAPTCHA는“컴퓨터와 인간을 구분하기 위한 완전 자동화된 공개 튜링 테스트(Completely Automated Public Turing test to tell Computers and Humans Apart)”의 약자로, 인간 사용자와 자동화된 봇을 구분하기 위해 사용되는 테스트입니다. 이는 인간에게는 쉽지만 기계가 해결하기 어렵도록 특별히 설계된 과제입니다.

주요 CAPTCHA 제공업체로는 Google reCAPTCHA, hCaptcha, BotDetect 등이 있습니다. 이들은 일반적으로 아래 CAPTCHA 유형 중 하나 이상을 지원합니다:

이미지 기반 챌린지: 사용자는 이미지 그리드에서 특정 개체를 식별하거나 주어진 가정에 부합하는 이미지를 찾아야 합니다.
텍스트 기반 챌린지: 사용자는 왜곡된 문자 및 숫자 시퀀스를 입력해야 합니다.
음성 기반 챌린지: 사용자는 들리는 단어를 입력해야 합니다.
퍼즐 기반 문제: 사용자는 조각을 제자리에 밀어 넣는 등 간단한 퍼즐을 풀어야 합니다.

CAPTCHA는 특정 사용자 흐름의 일부가 될 수 있습니다. 예를 들어 양식 제출의 마지막 단계:

CAPTCHA as a step of a form submission process example

이러한 경우 CAPTCHA는 항상 표시되며 봇이 실제로 회피할 수 없습니다. 가능한 방법은 CAPTCHA 해결 라이브러리를 소프트웨어에 통합하여 자동화하거나, 실시간으로 이러한 도전을 해결하는 인간 운영자에 의존하는 서비스를 활용하는 것입니다. 그러나 하드코딩된 CAPTCHA는 성가시고 사용자 경험을 해치기 때문에 흔하지 않습니다.

보다 일반적으로 CAPTCHA는 WAF(웹 애플리케이션 방화벽)와 같은 광범위한 봇 방지 솔루션의 일부로 사용됩니다:

이러한 시스템은 사용자가 봇일 가능성이 있다고 판단될 때 동적으로 CAPTCHA를 표시합니다. 이 경우 봇이 인간 행동을 모방하도록 만들어 CAPTCHA를 우회할 수 있습니다. 하지만 이는 지속적인 업데이트가 필요한 고양이 쥐 놀이와 같으며, 새로운 봇 탐지 조치를 피하기 위해 자동화 스크립트를 계속 업데이트해야 합니다.

CAPTCHA 우회를 위한 보다 효과적인 해결책은 Bright Data의 CAPTCHA Solver와 같이 사용자 모방 기반이며 항상 최신 상태를 유지하는 도구를 사용하는 것입니다.

Playwright로 CAPTCHA 우회하기: 단계별 튜토리얼

방금 배운 바와 같이, CAPTCHA를 효과적으로 회피하는 방법은 자동화 스크립트가 인간과 유사한 지문을 사용하면서 인간 행동을 모방하도록 하는 것입니다. 이를 위한 최고의 도구 중 하나는 올해 최고의 웹 스크래핑 도구 목록에 포함된 선도적인 브라우저 자동화 라이브러리인 Playwright입니다.

이 튜토리얼 섹션에서는 Playwright CAPTCHA 우회 로직 구현 방법을 살펴보겠습니다. JavaScript 기반 Node.js 스크립트를 사용하여 이 목표를 달성하는 방법을 배울 수 있습니다. Python 개발자라면 Playwright Stealth에 대한 동등한 가이드를 참고하세요.

시작해 보겠습니다!

1단계: Node.js 프로젝트 초기화

Playwright 웹 스크래핑 또는 테스트 스크립트가 이미 있다면 이 단계를 건너뛸 수 있습니다. 그렇지 않다면 Playwright CAPTCHA 솔버 프로젝트용 폴더를 생성하고 터미널에서 다음 명령어를 입력하세요:

mkdir playwright_demo

cd playwright_demo

아래 npm init 명령어로 새 Node.js 프로젝트를 초기화하세요:

npm init -y

선호하는 JavaScript IDE에서 프로젝트 폴더를 열고 새 script.js 파일을 추가하세요.

그런 다음 package.json 파일을 열고 다음을 추가하여 프로젝트를 모듈로 표시하는 것을 잊지 마세요:

"type": "module"

훌륭합니다. 이제 프로젝트 폴더에 Node.js 애플리케이션이 포함되었습니다.

2단계: Playwright Extra 설치

Playwright의 알려진 약점 중 하나는 플러그인을 지원하지 않는다는 점입니다. 커뮤니티는 플러그인 지원을 확장하는 라이브러리인 Playwright Extra로 이 단점을 보완했습니다.

다음 명령어로 프로젝트의 의존성에 playwright와 playwright-extra를 추가하세요:

npm i playwright playwright-extra

시간이 다소 걸릴 수 있으니 기다려 주세요.

3단계: Playwright 스크립트 설정

이제 Playwright가 CAPTCHA 문제를 해결할 수 있도록 스크립트를 초기화할 차례입니다. script.js에 다음 줄을 추가하여 playwright-extra에서 제어할 브라우저를 임포트하세요:

import { chromium } from "playwright-extra"

이 경우 Chromium에서 인간과 유사한 행동을 자동화할 것입니다.

그런 다음 Playwright API를 사용하여 인간과 유사한 상호작용을 수행할 새로운 비동기 함수를 초기화합니다:

(async () => {

    // 브라우저 설정 및 실행

    const browser = await chromium.launch()

    // 새 빈 페이지 열기

    const page = await browser.newPage()

    // 브라우저 자동화 로직...

    // 브라우저 닫기 및 리소스 해제

    await browser.close()

})()

이렇게 하면 새로운 크로미움 인스턴스가 실행되고 새 페이지가 열린 후 브라우저가 닫힙니다. 좋습니다! 이제 브라우저 자동화 로직을 추가할 준비가 되었습니다!

4단계: 브라우저 자동화 로직 구현

대상 사이트는 bot.sannysoft.com입니다. 이 특수 웹 페이지는 브라우저에서 몇 가지 테스트를 실행하여 사용자가 인간인지 봇인지 판별합니다. 로컬 브라우저에서 이 페이지를 방문하면 모든 테스트가 통과되는 것을 확인할 수 있습니다.

goto() 메서드를 사용하여 대상 페이지에 연결합니다:

await page.goto("https://bot.sannysoft.com/")

그런 다음, 전체 페이지의 스크린샷을 찍어 봇 방지 테스트 결과를 확인하세요:

await page.screenshot("results.png")

모든 코드를 합치면 다음과 같은 script.js 파일이 생성됩니다:

import { chromium } from "playwright-extra"

(async () => {

    // 브라우저 설정 및 실행

    const browser = await chromium.launch()

    // 새 빈 페이지 열기

    const page = await browser.newPage()

    // 대상 페이지로 이동

    await page.goto("https://bot.sannysoft.com/")

    // 전체 페이지 스크린샷 찍기

    await page.screenshot({

        path: "results.png",

        fullPage: true

    })

    // 브라우저 닫기 및 리소스 해제

    await browser.close()

})()

아래 명령어로 위 코드를 실행하세요:

 node script.js

이 스크립트는 헤드리스 모드에서 크로미움 인스턴스를 열고, 원하는 페이지를 방문한 후 스크린샷을 찍고 브라우저를 닫습니다. 스크립트 실행이 끝난 후 프로젝트 루트 폴더에 생성된 results.png 파일을 열면 다음과 같은 내용을 확인할 수 있습니다:

보시다시피, 기본 Playwright의 헤드리스 모드는 여러 테스트를 통과하지 못합니다. 이는 WAF가 Playwright로 페이지와 상호작용할 때 CAPTCHA를 표시하는 이유입니다. 해결책은? Stealth 플러그인입니다!

5단계: Playwright Stealth 플러그인 설치

Playwright Stealth는 봇 탐지를 방지하기 위한 playwright-extra용 플러그인입니다. 이 플러그인은 여러 설정을 재정의하여 브라우저 인스턴스가 Playwright에 의해 제어되지 않는 것처럼 자연스럽게 보이도록 합니다. 구체적으로 이 모듈은 브라우저 속성을 수정하여 자동화된 브라우저임을 노출시키는 모든 정보 유출을 방지합니다.

스텔스 플러그인은 원래 Puppeteer Extra용으로 개발되었지만 Playwright Extra에서도 작동합니다. 다음 명령어로 puppeteer-extra-plugin-stealth npm 패키지를 설치하세요:

npm i puppeteer-extra-plugin-stealth

다음으로, script.js 파일에 다음 줄을 추가하여 Stealth 플러그인을 임포트하세요:

import StealthPlugin from "puppeteer-extra-plugin-stealth"

6단계: Stealth 설정 등록

Playwright CAPTCHA 우회 로직을 구현하려면 playwright-extra에서 use() 메서드를 통해 Stealth 플러그인을 등록하기만 하면 됩니다:

chromium.use(StealthPlugin())

이제 Playwright가 제어하는 브라우저는 실제 사용자가 사용하는 브라우저처럼 보일 것입니다.

7단계: 봇 탐지 테스트 반복

현재 script.js 파일은 다음과 같아야 합니다:

import { chromium } from "playwright-extra"

import StealthPlugin from "puppeteer-extra-plugin-stealth"

(async () => {

    // Stealth 플러그인 등록

    chromium.use(StealthPlugin())

    // 브라우저 설정 및 실행

    const browser = await chromium.launch()

    // 새 빈 페이지 열기

    const page = await browser.newPage()

    // 대상 페이지로 이동

    await page.goto("https://bot.sannysoft.com/")

    // 전체 페이지 스크린샷 찍기

    await page.screenshot({

        path: "results.png",

        fullPage: true

    })

    // 브라우저 닫기 및 리소스 해제

    await browser.close()

})()

스크립트를 다시 실행:

node script.js

results.png를 다시 열어보면 이제 모든 봇 탐지 테스트를 통과한 것을 확인할 수 있습니다:

results.png file second example - bot-detection tests passed

자, 이제 끝! Playwright CAPTCHA 우회 방법이 완성되었습니다!

위 Playwright CAPTCHA 해결 방법이 작동하지 않으면?

안타깝게도, 안티봇 도구가 주목하는 부분은 브라우저 설정만이 아닙니다. IP 평판도 또 다른 핵심 요소이며, 무료 라이브러리로는 단순히 출구 IP를 변경할 수 없습니다. 이를 위해서는 Playwright 프록시 통합이 필요합니다!

따라서 브라우저를 최적화해도 CAPTCHA가 계속 나타날 수 있습니다. 단일 클릭만 필요한 간단한 CAPTCHA의 경우 puppeteer-extra-plugin-recaptcha 플러그인을 사용할 수 있습니다. 그러나 이전 장에서 소개한 플러그인 기반 접근법은 기본적인 봇 방지 조치에만 효과적입니다. Cloudflare 같은 더 복잡한 도구를 상대할 때는 더 강력한 솔루션이 필요합니다.

진정한 Playwright CAPTCHA 해결사를 찾고 계신가요? Bright Data 웹 스크래핑 솔루션을 사용해 보세요!

이 솔루션은 전용 CAPTCHA 해결 기능을 통해 reCAPTCHA, hCaptcha, px_captcha, SimpleCaptcha, GeeTest CAPTCHA, FunCaptcha, Cloudflare Turnstile, AWS WAF Captcha, KeyCAPTCHA 등 다양한 CAPTCHA를 자동으로 처리하는 탁월한 잠금 해제 능력을 제공합니다. Bright Data의 CAPTCHA Solver는 모든 HTTP 클라이언트 또는 브라우저 자동화 도구와 호환되므로 스크립트에 쉽게 통합할 수 있습니다.

Bright Data의 CAPTCHA Solver 사용 방법에 대해 자세히 알아보세요. 또한 모든 통합 및 구성 세부 사항은 문서를 참조하십시오.

결론

이 글에서는 Playwright에 CAPTCHA가 도전 과제가 되는 이유와 해결 방법을 알아보았습니다. Playwright Stealth 라이브러리를 사용하면 기본 브라우저 설정을 재정의하여 봇 탐지를 우회할 수 있습니다. 하지만 이 방법만으로는 항상 충분하지 않을 수 있습니다.

Playwright 스크립트가 아무리 정교해도 고급 봇 탐지 시스템은 여전히 사용자를 봇으로 식별할 수 있습니다. 해결책은 모든 웹 페이지의 CAPTCHA 없는 HTML을 원활하게 반환할 수 있는 언락킹 API를 통해 대상 페이지에 연결하는 것입니다.

바로 Web Unlocker라는 API가 그 역할을 합니다. 프록시 통합을 통해 요청마다 출구 IP를 자동으로 변경하고, 브라우저 지문 인식 처리, 자동 재시도, CAPTCHA 해결을 자동으로 수행합니다. 봇 방지 대책은 이제 잊으세요!

지금 등록하고 무료 체험을 시작하세요.

문의하기 무료 체험 시작하기