퍼피티어 vs 셀레니움

Puppeteer와 Selenium은 모두 오픈 소스 라이브러리로, 브라우저 상호작용을 자동화하여 대량의 데이터 추출을 가능하게 하는 널리 사용되는 도구입니다. Puppeteer는 Chrome의 네트워크 요청을 가로채 웹 엔진용 명령어로 변환하는 방식으로 작동하는 반면, Selenium은 명령어를 수신하여 웹 애플리케이션과 상호작용하기 위해 브라우저로 전달하는 방식으로 작동합니다.

이 글에서는 두 도구의 주요 차이점을 살펴보고 여러분의 사용 사례에 가장 적합한 도구를 선택하는 데 도움을 드릴 것입니다.

퍼피티어란?

퍼피티어는 주로 크롬 또는 크로미움 브라우저와 함께 사용하도록 설계된 오픈 소스Node.js라이브러리로, DevTools 프로토콜을 활용하는 고급 API를 통해 제어 기능을 제공합니다. 이 프로토콜과 호환되는 다른 브라우저도 지원할 수 있습니다.

Puppeteer는 자동화된 테스트, 페이지 스크린샷, PDF 생성, Chrome 확장 프로그램 테스트, 검색 엔진 최적화(SEO) 콘텐츠 렌더링, 웹 스크래핑 등 다양한 작업에 사용되어 왔습니다.

셀레늄이란?

셀레늄(Selenium)은 주로 웹 애플리케이션 테스트 자동화에 사용되는 오픈 소스 프레임워크입니다. 테스트 과정에서 현실적인 사용자 상호작용을 시뮬레이션하기 위해 WebDriver 프로토콜을 활용합니다. 셀레늄은 Selenium IDE, Selenium WebDriver, Selenium Grid 등의 도구로 구성되어 웹 애플리케이션 내 복잡한 시나리오의 자동화를 가능하게 합니다.

퍼피티어 vs. 셀레늄: 주요 차이점

각 도구에 대해 개별적으로 조금 더 알게 되었으니, 이제 다음 범주를 기준으로 비교해 보겠습니다:

브라우저 지원

퍼피티어는 주로 브레이브(Brave)나 더 널리 사용되는 크롬(Chrome)과 같은 크로미움 기반 브라우저에서 작동하도록 설계되었습니다. 이를 통해 고급 크로미움 브라우저 기능과 API에 직접 접근할 수 있습니다. 또한 크로미움과의 통합으로 웹 표준과의 높은 호환성을 제공하여 다양한 환경에서 테스트 스크립트의 일관된 동작을 보장합니다. 다만, 다른 브라우저에 대한 기능과 지원이 제한적이며 파이어폭스(Firefox)와 사파리(Safari)와는 호환되지 않는다는 점에 유의해야 합니다.

반면 Selenium은 Chrome, Firefox, Safari, Edge 등 다양한 브라우저를 지원합니다. 이는 더 넓은 커버리지와 포괄적인 테스트 시나리오를 보장합니다. 그러나 이러한 다용도성은 각 브라우저가 웹 콘텐츠를 해석하고 표시하는 방식이 다르기 때문에 다양한 브라우저 간 일관된 동기화를 달성하는 데 추가적인 시간과 노력이 필요하다는 문제를 야기할 수 있습니다.

생태계

퍼피티어 생태계는 개발자 사이에서 사용률이 2019년 27%에서 2021년 37%로 증가한 것으로 보아 빠르게 성장하고 있습니다. 또한 지난 2년간 다운로드 수가 101% 증가하여 현재 560만 건을 기록하고 있습니다. 그러나 2018년에 등장한 비교적 신생 기술인 만큼, 2004년에 출시된 성숙한 셀레니움(Selenium)에 비해 뒤처진 상태입니다.

셀레늄은 웹 자동화 도구 및 프레임워크의 강력한 생태계를 제공합니다. 예를 들어, 셀레늄 그리드( Selenium Grid)는 여러 대의 머신에서 병렬 테스트를 쉽게 실행할 수 있게 해주며, 셀레늄 IDE의 녹화 및 재생 기능은 테스트 개발과 실행 속도를 높여줍니다. 또한 셀레늄은 다양한 시나리오에서 기능성과 사용성을 확장해주는 플러그인과 타 도구와의 통합 기능을 제공합니다. 이는 광범위한 테스트 솔루션에 대한 선호도 선택으로서의 입지를 공고히 합니다.

언어 지원

퍼피티어는 주로 Node.js 및 JavaScript 환경을 위해 설계되어 해당 스택을 사용하는 개발자에게 당연한 선택지입니다. 또한 웹 페이지 내에서 JavaScript를 실행할 수 있어 동적 웹 페이지와 효과적으로 상호작용하고, JavaScript가 많이 사용되는 웹사이트의 최종 상태를 표시하기 위해 콘텐츠를 사전 렌더링하는 데 유용합니다.

반면 Selenium은 Java, Python, C#, Ruby, JavaScript 등 다양한 프로그래밍 언어를 지원합니다. 이러한 지원은 다양한 개발자 커뮤니티에 걸친 매력을 넓히고, 서로 다른 개발 및 테스트 환경에 쉽게 통합될 수 있게 합니다.

사용 사례

Puppeteer와 Selenium은 다양한 애플리케이션을 위한 웹 스크래핑에 널리 사용되는 강력한 도구입니다.

Puppeteer는 Chrome 또는 Chromium 브라우저에 대한 높은 수준의 제어 기능을 통해 브라우저 기능과의 깊은 통합이 필요한 작업에 특히 적합합니다. 여기에는 웹 페이지의 스크린샷 또는 PDF 생성, 단일 페이지 애플리케이션(SPA)의 동적 콘텐츠 크롤링 및 스크래핑, 자바스크립트 중심 웹사이트의 SEO 친화적 콘텐츠 렌더링 등이 포함됩니다. 페이지에서 자바스크립트를 실행할 수 있는 능력 덕분에 클라이언트 측 스크립트에 크게 의존하는 웹 애플리케이션에서 데이터를 추출하는 데 이상적인 선택입니다.

반면 셀레늄은 크로스 브라우저 호환성이 필수적인 시나리오에서 탁월합니다. 크롬, 파이어폭스, 사파리, 엣지 등 다양한 브라우저에서 테스트해야 하는 웹사이트의 데이터 스크래핑에 선호되는 도구입니다. 셀레늄의 강력한 WebDriver 프로토콜은 현실적인 사용자 상호작용을 보장하여, 인터랙티브 웹 페이지에서 데이터 수집을 자동화하는 데 유용합니다. 여기에는 사용자 생성 콘텐츠 스크래핑, 부동산 또는 이커머스 웹사이트 변경 사항 모니터링, 시장 분석이나 연구를 위한 다양한 웹 애플리케이션에서 방대한 데이터셋 수집 등이 포함될 수 있습니다. Bright Data는 퍼피티어와 셀레늄의 기능을 모두 활용하여 다양한 비즈니스 요구에 맞춤화된 포괄적인 웹 스크래핑 솔루션을 제공할 수 있습니다.

퍼피티어 vs 셀레늄 설정 복잡성

퍼피티어는 크로뮴과 함께 번들로 제공되므로 별도의 드라이버 설치가 필요하지 않습니다. 그러나 설정 및 기존 워크플로 통합에는 자바스크립트와 Node.js 환경 및 종속성에 대한 깊은 이해가 필요합니다.

그럼에도 펭귄티어는 셀레늄만큼 설치가 어렵지 않습니다. 셀레늄의 경우 다양한 브라우저용 셀레늄 라이브러리와 드라이버를 설치하고 모두 호환되는지 확인해야 하는데, 특히 초보자에게는 복잡하고 어려울 수 있습니다. 이로 인해 셀레늄을 기존 프로젝트 및 개발 환경에 통합하는 것도 어려울 수 있습니다.

속도와 리소스 사용량

Puppeteer는 특히 헤드리스 모드에서 자원 최적화로 인해 더 빠르고 효율적이라고 평가받습니다. 그러나 Puppeteer 설치 시 전체 크로미움 브라우저가 포함되어 설치 용량이 큽니다. 이는 설치 속도를 저하시키고, 자원 제약 환경에서 다중 인스턴스가 실행될 경우 전체 성능에 악영향을 미칠 수 있습니다.

이에 비해 셀레니움은 퍼피티어보다 느리고 더 많은 자원을 필요로 할 수 있습니다. 이는 부분적으로 웹드라이버를 사용하여 브라우저 인스턴스와 통신하는 데 따른 추가 오버헤드 때문입니다. 여기에 다양한 브라우저에서 실행되는 셀레니움 테스트의 실제 런타임이 더해지면 상당한 시스템 자원을 소모하고 성능 오버헤드를 유발할 수 있습니다.
또한, 특히 동작이 자주 변경되는 요소가 있는 동적 웹 애플리케이션의 경우 스크립트를 주기적으로 유지 관리해야 합니다. 이는 시간이 많이 소요될 수 있으며 유지 관리 오버헤드를 증가시킵니다.

커뮤니티 및 문서화

구글이 유지 관리하는 Puppeteer는 훌륭한 문서와 성장하는 사용자 기반을 갖추고 있지만, Selenium은 새로운 기능 개발에 기여하는 대규모의 활발한 커뮤니티를 보유하고 있습니다. 이 커뮤니티는 방대한 문서, 사용자 포럼, 제3자 튜토리얼을 통해 잘 구축되어 있어 신규 사용자가 학습하고 문제를 해결하기가 더 쉽습니다. 이는 Selenium에 상당한 이점을 제공합니다.

크로스 브라우저 테스트

Puppeteer의 Chromium 기반 브라우저에 대한 제한으로 인해 크로스 브라우저 테스트에는 적합하지 않습니다. Puppeteer가 다른 브라우저용 확장 기능을 제공하지만, Selenium의 내장된 폭넓고 심층적인 기능에는 미치지 못합니다. 이는 크로스 브라우저 테스트를 제한하고 개발자가 브라우저별 문제를 간과하게 하여 다양한 실제 사용자 환경을 정확히 반영하지 못하는 테스트 시나리오로 이어질 수 있습니다.

광범위한 브라우저 지원을 제공하는 Selenium은 크로스 브라우저 테스트에 최적이며, 다양한 플랫폼과 기기 간 병렬 테스트를 위한 기본 제공 지원이 더 우수합니다. 이로 인해 Selenium은 다양한 웹 환경에서 호환성과 기능적 일관성을 보장하는 데 선호되는 선택입니다.

Bright Data 스크래핑 브라우저 소개

웹 자동화 요구 사항에 Selenium 또는 Puppeteer를 선택하든, Bright Data 스크래핑 브라우저는 웹사이트 접근 제한을 극복하고 데이터 수집 프로세스를 간소화하는 데 도움이 될 수 있습니다.

Bright Data는 수상 경력에 빛나는 프록시 네트워크, 강력한 웹 스크레이퍼 및 다운로드 가능한 데이터 세트를 제공하는 웹 데이터 플랫폼입니다. 스크레이핑 솔루션 중 하나인 스크레이핑 브라우저는 웹 차단 해제 자동화 기능을 갖춘 브라우저를 제공하여 자동화된 브라우저 활동을 제한하는 웹사이트에 액세스할 수 있게 해줍니다. 프록시 로테이션, CAPTCHA 해결 및 브라우저 지문 인식과 같은 기능으로 웹 스크레이핑 기능을 향상시키기 위해 Puppeteer 및 Selenium과 모두 통합할 수 있습니다.

Bright Data 스크래핑 브라우저와 Puppeteer 통합

Bright Data 스크래핑 브라우저를 Puppeteer에 통합하는 것은 간단합니다. 트래픽을 Bright Data 프록시 서버를 통해 전달하도록 Puppeteer 스크립트를 수정하기만 하면 됩니다. 다음 코드 스니펫은 이를 수행하는 방법을 보여줍니다. 아직 설정하지 않았다면 먼저 JavaScript 환경과 Visual Studio Code와 같은 코드 편집기를 설정하세요. 그런 다음 npm i puppeteer-core를 통해 puppeteer-core를 설치합니다:

const puppeteer = require('puppeteer-core');
const AUTH = 'USER:PASS';
const SBR_WS_ENDPOINT = `wss://${AUTH}@brd.superproxy.io:9222`;

async function main() {
    console.log('스크래핑 브라우저에 연결 중...');
    const browser = await puppeteer.connect({
        browserWSEndpoint: SBR_WS_ENDPOINT,
    });

    try {
        console.log('연결됨! 탐색 중...');
        const page = await browser.newPage();
        await page.goto('https://brightdata.com/', { timeout: 2 * 60 * 1000 });
        // ... 다른 작업 수행
    } finally {
        await browser.close();
   }
}

if (require.main === module) {
    main().catch(err => {
        console.error(err.stack || err);
        process.exit(1);
   });
}

이 코드 블록에서는 puppeteer-core 라이브러리를 임포트합니다. 그런 다음 Bright Data 스크래핑 브라우저의 인증 자격 증명과 웹 소켓 엔드포인트를 설정합니다. puppeteer.connect로 스크래핑 브라우저에 연결하고, browser.newPage로 새 페이지를 열고, page.goto로 URL로 이동하며, browser.close()로 브라우저를 닫습니다.

Bright Data 스크래핑 브라우저와 Selenium 통합

Bright Data 스크래핑 브라우저를 Selenium과 통합하는 것은 간단합니다. 아래 코드에서 볼 수 있듯이 Bright Data에서 제공한 프록시 IP와 포트를 지정하여 Selenium WebDriver가 Bright Data 프록시를 사용하도록 구성하기만 하면 됩니다. 따라 하시는 경우 먼저 Python과 Visual Studio Code와 같은 코드 편집기를 설치하십시오. 그런 다음 pip 명령을 통해 Selenium을 설치합니다: pip3 install selenium:

  from selenium.webdriver import Remote, ChromeOptionsrnfrom selenium.webdriver.chromium.remote_connection import ChromiumRemoteConnectionrnrnAUTH = 'USER:PASS'rnSBR_WEBDRIVER = f'https://{AUTH}@brd.superproxy.io:9515'rnrndef main():rn    print('Connecting to Scraping Browser...')rn    sbr_connection = ChromiumRemoteConnection(SBR_WEBDRIVER, 'goog', 'chrome')rnrn    with Remote(sbr_connection, options=ChromeOptions()) as driver:rn        print('Connected! Navigating...')rn        driver.get('https://brightdata.com/')rn        # ... perform other actionsrnrnif __name__ == '__main__':rn    main()

이 코드 블록에서는 Selenium의 필수 모듈을 모두 임포트합니다. 이후 Bright Data의 인증 정보와 Selenium WebDriver URL인 AUTH 및 SBR_WEBDRIVER를 정의합니다.

ChromiumRemoteConnection을 사용하여 Scraping Browser에 대한 연결을 구성하고, Remote 및 ChromeOptions로 원격 Selenium 드라이버 인스턴스를 생성한 후 driver.get을 통해 지정된 URL로 이동합니다. 이러한 작업은 with 키워드를 사용한 컨텍스트 매니저 내에서 수행하여 지정된 작업 완료 후 드라이버가 반드시 종료되도록 합니다.

결론

이 글에서는 두 가지 인기 웹 자동화 도구인 Puppeteer와 Selenium을 비교했습니다.

Puppeteer는 Chromium 기반 브라우저 지원에 최적화되어 있으며 더 간단한 설정을 제공하므로 JavaScript 중심 환경과 신속한 개발에 이상적입니다. 반면 Selenium은 광범위한 브라우저 호환성과 다중 프로그래밍 언어 지원 덕분에 복잡한 크로스 브라우저 테스트에 더 적합합니다.

크롬 브라우저에서 빠르고 효율적인 테스트를 원한다면 Puppeteer가 적합합니다. 반면 다양한 웹 환경과 프로젝트에서 여러 브라우저 및 프로그래밍 언어로 테스트를 수행하려면 Selenium이 더 나은 선택입니다.

퍼피티어나 셀레니움을 선택하든, Bright Data 스크래핑 브라우저는 퍼피티어 및 셀레니움 스크립트에 웹사이트 차단 해제 기능을 추가하는 데 도움을 줍니다. 이는 자동화된 브라우저 활동을 제한할 수 있는 웹사이트에서 데이터에 접근하고 스크래핑하는 데 유용합니다.