“AI는 사람들의 검색 방식과 브랜드 발견 방식을 변화시키고 있습니다. 여전히 구식 SEO 사고방식에 머물러 있다면, 이제 적응할 때입니다.” – Ariel Schulman, CPO
SEJ가 주최하는 이 웨비나에서, 우리는 AI가 검색의 규칙을 재정의하는 세상에서 브랜드가 가시성을 유지하도록 지원하는 방법을 공유할 것입니다.
이 가이드에서는 Bright Data의 도구를 활용해 AI 생성 검색 결과를 추적하고 최적화하는 방법을 단계별로 안내합니다. 마케터, SEO 전문가, 도구 개발자 모두에게 ChatGPT, Perplexity, Google의 SGE(검색 생성 경험) 같은 AI 엔진이 브랜드에 미치는 영향과 선제 대응 방안을 이해할 수 있는 프레임워크와 도구를 제공합니다.
자, 시작해 보겠습니다.
—
AI 검색 최적화가 중요한 이유
몇 년 전만 해도 SEO는 구글 검색 순위 상승이 전부였습니다. 하지만 지금은 사용자들이 링크를 클릭하지 않고도 AI 기반 도구로부터 직접 답변을 얻고 있습니다. 이 변화는 엄청납니다.
오늘날 사람들은 “단백질 파우더 2025″라고만 입력하는 대신 “주 3회 웨이트 트레이닝을 하는 25세에게 가장 좋은 단백질 파우더는 무엇인가요?”와 같은 완전한 질문을 합니다. 그리고 ChatGPT나 Perplexity 같은 AI 엔진들은 종종 여러분의 콘텐츠를 활용하면서도 사이트로 트래픽을 보내지 않고 이러한 질문에 즉시 답변합니다.
브라이트 데이터에서는 이를 직접 목격했습니다. 수천 개의 브랜드와 협력하며 순위가 동일해도 유기적 트래픽이 급감하는 현상을 확인했습니다. AI 생성 답변이 기존 검색 결과를 대체하기 때문입니다.
그래서 우리는 브랜드가 AI 검색에 노출되는 방식을 추적, 분석, 최적화하는 시스템을 구축했습니다. 이 가이드에서는 그 작동 방식을 정확히 보여드리겠습니다.
—
AI 검색 모니터링 시스템의 아키텍처
구축할 시스템의 개요는 다음과 같습니다:
- AI 질의 시뮬레이션: Google SGE, ChatGPT, Perplexity 같은 AI 도구에 실제 사용자처럼 질의를 전송합니다.
- AI 답변 추출: 인용 출처 및 원본 링크를 포함한 AI 생성 응답을 스크래핑하고 파싱합니다.
- 콘텐츠 최적화: 어떤 콘텐츠가 인용되는지 분석하고, 자신의 콘텐츠를 맞춰 조정합니다.
- 모니터링 및 자동화: 시간 경과에 따른 변화를 추적하고 노출도 추세를 파악합니다.
단계별로 자세히 살펴보겠습니다.
—
1단계: AI 검색 쿼리 시뮬레이션
AI 도구가 귀사 브랜드를 어떻게 제시하는지 이해하려면 먼저 실제 검색어를 시뮬레이션해야 합니다. 이는 고객이 매일 AI 도구에 묻는 질문 유형입니다.
예를 들어:
- “Bright Data는 좋은 웹 스크래핑 회사인가요?”
- “Bright Data의 가장 좋은 대안은 무엇인가요?”
- “브라이트 데이터와 ScraperAPI는 어떻게 비교되나요?”
우리는 Bright Data의 Web Unlocker 및 Scraper API를 사용하여 이러한 질의를 Google SGE 및 Perplexity와 같은 AI 도구에 전송합니다.
작동 방식은 다음과 같습니다:
- Bright Data의 브라우저 확장 프로그램 또는 API를 사용하여 헤드리스 브라우저를 실행합니다.
- 특정 지역(예: 미국, 영국)의 사용자를 시뮬레이션하기 위해 프록시를 설정합니다.
- 인간과 유사한 키 입력 방식으로 AI 인터페이스에 쿼리를 입력합니다.
- AI가 생성한 답변이 로드될 때까지 기다립니다.
- 응답의 전체 HTML을 추출합니다.
이 과정은 실제 사용자 상호 작용을 모방한 것으로, AI 도구는 종종 콘텐츠를 동적으로 렌더링하고 봇을 차단할 수 있기 때문에 매우 중요합니다.
—
2단계: AI 생성 답변 및 인용 출처 추출
응답을 확보한 후에는 실제 답변과 AI가 사용한 출처 링크를 추출해야 합니다.
예를 들어 Google SGE에 “꿀은 유통기한이 있나요?”라고 질문한다고 가정해 보겠습니다.
AI가 생성한 답변은 다음과 같을 수 있습니다:
“꿀은 수분 함량이 낮고 산도가 높아 절대 상하지 않습니다. 고고학자들은 고대 이집트 무덤에서 먹을 수 있는 꿀을 발견했습니다.”
Bright Data의 HTML 파서를 사용하여 추출합니다:
- AI가 생성한 전체 텍스트
- 인용문 또는 출처 URL
- 답변 구조(예: 글머리 기호, 목록, 헤더)
이를 통해 어떤 사이트가 인용되고 있는지, AI가 정보를 어떻게 요약하는지에 대한 통찰력을 얻을 수 있습니다.
💡 전문가 팁: 귀하의 사이트가 인용되고 있다면 훌륭합니다! 그렇지 않다면, 인용된 사이트들의 구조와 언어 스타일을 살펴보고 콘텐츠를 그에 맞게 조정하세요.
—
3단계: AI 포함을 위한 콘텐츠 최적화
이제 AI가 무엇을 찾는지 알았으니, 향후 답변에 포함될 가능성을 높이기 위해 콘텐츠를 최적화할 수 있습니다.
가장 효과적인 방법은 다음과 같습니다:
- 자연스럽고 대화체 같은 언어를 사용하세요. AI는 인간이 쓴 것처럼 들리는 콘텐츠를 선호합니다.
- 콘텐츠를 명확하게 구성하세요. 주요 주제는 H1, 하위 주제는 H2로 표시하고, 명확성을 위해 글머리 기호를 사용하세요.
- 최신 정보를 유지하세요. 콘텐츠를 정기적으로 업데이트하고 게시/업데이트 날짜를 포함하세요.
- 사이트가 색인 가능하도록 하세요. robots.txt 파일이 PerplexityBot, ChatGPT-User 같은 AI 봇이 콘텐츠를 크롤링할 수 있도록 허용하도록 설정하세요.
robots.txt 예시:
User-agent: PerplexityBot
Allow: /
User-agent: ChatGPT-User
허용: /
이러한 변경 사항을 당사 문서 사이트(docs.brightdata.com)에 적용한 결과, ChatGPT 인용으로 인한 트래픽이 측정 가능한 수준으로 증가했습니다.
—
4단계: AI 검색에서 브랜드 모니터링하기
콘텐츠 최적화가 완료되면 AI 생성 결과에서의 성과를 추적할 차례입니다.
다음 세 가지 유형의 쿼리를 모니터링할 것을 권장합니다:
- 브랜드 쿼리
“Bright Data란 무엇인가요?” 또는 “Bright Data는 신뢰할 수 있나요?”와 같은 질문을 던져보세요. - 카테고리 쿼리
“최고의 웹 스크래핑 도구” 또는 “2024년 최고의 데이터 제공업체”를 시도해 보세요. - 경쟁사 비교 쿼리
“Bright Data가 ScraperAPI보다 나은가요?” 또는 “Bright Data vs. Oxylabs”와 같은 질문을 해보세요.
Bright Data의 API를 사용하면 이러한 쿼리를 자동화하고 결과를 데이터베이스(예: PostgreSQL 또는 Supabase)에 저장할 수 있습니다. 그런 다음 대시보드를 구축하여 시간 경과에 따른 추세를 시각화하세요.
다음과 같은 내용을 확인할 수 있습니다:
- 어떤 쿼리가 AI 답변을 유발하는지
- 브랜드가 언급되었는지 여부
- 인용된 경쟁사 목록
- 주별 가시성 변화 추이
—
보너스: 내부 작동 원리
기술에 관심이 많은 분들을 위해, 여기 뒷이야기를 살짝 공개합니다.
ChatGPT나 Perplexity에 쿼리를 보낼 때 우리는:
- 클라우드 브라우저 실행
- 인간이 타이핑하는 것을 시뮬레이션합니다
- AI가 완전한 답변을 생성할 때까지 대기
- HTML을 파싱하여 답변을 추출
- 결과를 구조화된 형식(JSON 또는 마크다운)으로 저장
심지어 후속 질문까지 시뮬레이션하여 AI 대화의 전개 방식을 관찰합니다. 이를 통해 사용자가 AI와 상호작용하는 전체적인 모습과 브랜드 이미지가 어떻게 드러나는지 파악할 수 있습니다.
—
다음 단계는? AI 모니터링을 한 단계 업그레이드하세요
AI 검색 모니터링 시스템을 구축한 후 확장할 수 있는 몇 가지 방법은 다음과 같습니다:
- AI 답변에서 브랜드가 언급될 때(또는 언급되지 않을 때) 알림 설정하기
- 시간 경과에 따른 AI 인용 변화 추이를 파악하여 트렌드를 식별하세요.
- 경쟁사와의 AI 노출도 비교 분석
- 콘텐츠 개선을 위한 권장 사항을 생성하기 위해 AI를 활용하세요.
- Slack이나 이메일 같은 도구와 연동하여 실시간 업데이트를 받으세요.
심지어 검색 강화 생성(RAG) 시스템을 구축하여 브랜드 콘텐츠를 활용해 질문에 답변하는 자체 챗봇을 만들 수도 있습니다.
—
마무리하며
AI는 사람들의 검색 방식과 브랜드 발견 방식을 변화시키고 있습니다. 여전히 전통적인 SEO에만 집중하고 있다면, 전체 그림의 큰 부분을 놓치고 있는 것입니다.
Bright Data의 스크래핑 인프라와 스마트한 콘텐츠 전략을 결합하면 AI 생성 답변에서의 가시성을 추적하고 콘텐츠를 최적화하며 경쟁사보다 앞서 나갈 수 있습니다.