Langfuse를 Bright Data AI 에이전트에 추가하여 추적 기능 향상

이 글에서 배울 내용:

Langfuse가 무엇이며 어떤 기능을 제공하는지.
기업과 사용자가 AI 에이전트 모니터링 및 추적을 위해 Langfuse가 필요한 이유.
웹 검색 및 스크래핑 기능을 위해 Bright Data에 연결되는 LangChain으로 구축된 복잡한 실제 AI 에이전트에 이를 통합하는 방법.

자, 시작해 보겠습니다!

Langfuse란 무엇인가요?

Langfuse는 대규모 언어 모델 애플리케이션의 디버깅, 모니터링 및 개선을 지원하는 오픈 소스 클라우드 기반 LLM 엔지니어링 플랫폼입니다. AI 개발 워크플로우 전반을 지원하는 관측성, 추적, 프롬프트 관리 및 평가 도구를 제공합니다.

주요 기능은 다음과 같습니다:

가시성 및 추적: 추적, 세션 개요, 비용, 지연 시간, 오류율 등의 메트릭을 통해 LLM 애플리케이션에 대한 심층적인 가시성을 확보하세요. 이는 성능 이해와 문제 진단에 핵심적입니다.
프롬프트 관리: 코드베이스에 손대지 않고도 프롬프트를 공동으로 생성, 관리, 반복할 수 있는 버전 관리 시스템입니다.
평가: 인간 피드백 수집, 모델 기반 점수화, 데이터셋 기반 자동화된 테스트를 포함한 애플리케이션 동작 평가 도구.
협업: 주석, 코멘트, 공유 인사이트를 통한 팀 워크플로우 지원.
확장성: 완전히 오픈소스로, 다양한 기술 스택에 유연한 통합 옵션을 제공합니다.
배포 옵션: 호스팅 클라우드 서비스(무료 티어 포함) 또는 데이터 및 인프라에 대한 완전한 통제가 필요한 팀을 위한 자체 호스팅 설치 형태로 제공됩니다.

Langfuse를 AI 에이전트에 통합해야 하는 이유

Langfuse를 통한 AI 에이전트 모니터링은 특히 기업 환경에서 필수적입니다. 이를 통해서만 프로덕션 환경이 요구하는 수준의 관측 가능성, 제어력 및 신뢰성을 달성할 수 있습니다.

실제 시나리오에서 AI 에이전트는 민감한 데이터, 복잡한 비즈니스 로직, 외부 API와 상호작용합니다. 따라서 에이전트의 동작 방식, 비용, 성능 안정성을 정확히 추적하고 이해할 수 있는 방법이 필요합니다.

Langfuse는 프롬프트 입력부터 모델 결정 및 도구 호출에 이르기까지 AI 워크플로의 모든 단계를 (비기술 팀도) 모니터링할 수 있는 종단 간 추적, 상세 메트릭 및 디버깅 도구를 제공합니다.

기업에게는 이는 사각지대 감소, 사고 해결 속도 향상, 내부 거버넌스 및 외부 규정 준수 강화로 이어집니다. 또한 Langfuse는 프롬프트 관리 및 평가를 지원하여 팀이 대규모로 프롬프트를 버전 관리하고 테스트하며 최적화할 수 있게 합니다.

LangChain과 Bright Data로 구축된 규정 준수 추적 AI 에이전트 추적에 Langfuse 활용 방법

Langfuse의 추적 및 모니터링 기능을 보여주기 위해 먼저 계측할 AI 에이전트가 필요합니다. 이를 위해 LangChain을 활용하여 실제 AI 에이전트를 구축하고, 웹 검색 및 스크래핑을 위해 Bright Data 솔루션을 적용하겠습니다.

참고: Langfuse와 Bright Data는 다양한 AI 에이전트 프레임워크를 지원합니다. 여기서는 단순성과 데모 목적으로 LangChain을 선택했습니다.

이 엔터프라이즈급 AI 에이전트는 다음과 같은 방법으로 규정 준수 관련 작업을 처리합니다:

기업 프로세스(예: 데이터 처리 워크플로)를 설명하는 내부 PDF 문서를 로드합니다.
LLM을 활용해 문서를 분석하여 핵심 개인정보 보호 및 규제 사항을 식별합니다.
Bright Data SERP API를 사용하여 관련 주제에 대한 웹 검색 수행.
Bright Data Web Unlocker API를 통해 마크다운 형식의 상위 페이지(정부 웹사이트 우선)에 접근합니다.
수집된 정보를 처리하여 규제 문제 회피에 도움이 되는 최신 인사이트 제공.

다음으로, 이 에이전트는 Langfuse에 연결되어 런타임 정보, 메트릭 및 기타 관련 데이터를 추적할 예정입니다.

이 프로젝트의 고수준 아키텍처는 다음 개략 설계도를 참조하십시오:
LangChain + Bright Data + Langfuse AI agent integration
아래 지침을 따르세요!

필수 조건

시작하기 전에 다음 사항을 확인하십시오:

Python 3.10 이상이 컴퓨터에 설치되어 있어야 합니다.
OpenAI API 키.
SERP API 및 Web Unlocker API 영역이 설정된 Bright Data 계정과 API 키.
공개 및 비밀 API 키가 모두 설정된 Langfuse 계정.

아래 단계에서 안내해 드리므로 Bright Data 및 Langfuse 계정 설정은 지금 당장 걱정하지 않으셔도 됩니다. Langfuse가 런타임 데이터를 추적하고 관리하는 방식을 이해하려면 AI 에이전트 계측에 대한 기본적인 이해가 도움이 됩니다.

1단계: LangChain AI 에이전트 프로젝트 설정

터미널에서 다음 명령어를 실행하여 LangChain AI 에이전트 프로젝트용 새 폴더를 생성하세요:

mkdir compliance-tracking-ai-agent

이 compliance-tracking-ai-agent/ 디렉터리는 AI 에이전트의 프로젝트 폴더를 나타내며, 나중에 Langfuse를 통해 계측할 것입니다.

폴더로 이동하여 내부에서 Python 가상 환경을 생성하세요:

cd compliance-tracking-ai-agent
python -m venv .venv

선호하는 Python IDE로 프로젝트 폴더를 엽니다. Python 확장 프로그램이 설치된 Visual Studio Code 와 PyCharm 모두 유효한 선택지입니다.

프로젝트 폴더 내에서 agent.py라는 이름의 Python 스크립트를 생성합니다:

compliance-tracking-ai-agent/
├─── .venv/
└─── agent.py # <------------

현재 agent.py는 비어 있습니다. 나중에 LangChain을 통해 AI 에이전트를 정의할 위치입니다.

다음으로 가상 환경을 활성화합니다. Linux 또는 macOS에서는 터미널에서 다음 명령을 실행하세요:

source venv/bin/activate

Windows에서는 다음과 같이 실행하세요:

venv/Scripts/activate

활성화 후 다음 명령어로 프로젝트 종속성을 설치하세요:

pip install langchain langchain-openai langgraph langchain-brightdata langchain-community pypdf python-dotenv langfuse

이 라이브러리들은 다음과 같은 범위를 다룹니다:

langchain, langchain-openai, langgraph: OpenAI 모델 기반 AI 에이전트 구축 및 관리용.
langchain-brightdata: 공식 도구를 사용하여 LangChain을 Bright Data 서비스와 통합합니다.
langchain-community 및 pypdf: 기본 pypdf 라이브러리를 통해 PDF 파일을 읽고 처리하는 API를 제공합니다.
python-dotenv: .env 파일에서 API 키와 같은 애플리케이션 비밀 정보를 불러오기 위해 사용됩니다.
langfuse: 클라우드 또는 로컬 환경에서 유용한 추적 정보 및 원격 측정 데이터를 수집하도록 AI 에이전트를 구성합니다.

완료! 이제 AI 에이전트 구축을 위한 Python 개발 환경이 완벽하게 설정되었습니다.

2단계: 환경 변수 읽기 구성

AI 에이전트는 OpenAI, Bright Data, Langfuse 등 타사 서비스에 연결됩니다. 스크립트에 자격 증명을 하드코딩하지 않고 기업용으로 생산 환경에 바로 적용할 수 있도록, .env 파일에서 읽도록 스크립트를 구성하세요. 바로 이 때문에 python-dotenv를 설치한 것입니다!

agent.py에서 다음 임포트를 추가하세요:

from dotenv import load_dotenv

다음으로 프로젝트 폴더에 .env 파일을 생성하세요:

compliance-tracking-ai-agent/
├─── .venv/
├─── agent.py
└─── .env    # <------------

이 파일에는 모든 인증 정보, API 키, 비밀값이 저장됩니다.

agent.py에서 다음 코드 줄로 .env의 환경 변수를 불러옵니다:

load_dotenv()

좋아요! 이제 스크립트가 .env 파일에서 안전하게 값을 읽을 수 있습니다.

3단계: Bright Data 계정 준비

LangChain Bright Data 도구는 계정에 설정된 Bright Data 서비스에 연결하여 작동합니다. 특히 이 프로젝트에 필요한 두 가지 도구는 다음과 같습니다:

BrightDataSERP: 관련 규제 웹 페이지를 찾기 위해 검색 엔진 결과를 가져옵니다. Bright Data의 SERP API에 연결합니다.
BrightDataUnblocker: 지역 제한이나 봇 보호가 적용된 공개 웹사이트에도 접근합니다. 이를 통해 에이전트가 개별 웹 페이지의 콘텐츠를 스크래핑하고 학습할 수 있습니다. Bright Data의 Web Unblocker API에 연결됩니다.

다시 말해, 이 두 도구를 사용하려면 SERP API와 Web Unblocker API 영역이 모두 설정된 Bright Data 계정이 필요합니다. 설정해 보겠습니다!

아직 Bright Data 계정이 없다면 먼저 계정을 생성하세요. 이미 계정이 있다면 로그인하세요. 대시보드로 이동한 후 “프록시 및 스크래핑” 페이지로 이동하세요. 거기서 “내 영역” 테이블을 확인하세요:
Note the “unlocker” Web Unlocker API zone and “serp” SERP API zone

이 테이블에 이미 unlocker라는 웹 언블로커 API 존과 serp라는 SERP API 존이 존재한다면 바로 시작할 수 있습니다. 그 이유는 다음과 같습니다:

BrightDataSERP LangChain 도구는 자동으로 serp라는 SERP API 영역에 연결됩니다.
BrightDataUnblocker LangChain 도구는 web_unlocker라는 이름의 Web Unblocker API 존에 자동으로 연결됩니다.

자세한 내용은 Bright Data x LangChain 문서를 참조하세요.

필요한 두 영역이 설정되어 있지 않다면 쉽게 생성할 수 있습니다. “Unblocker API” 및 “SERP API” 카드에서 아래로 스크롤한 후 “Create zone” 버튼을 누르고, 마법사를 따라 필요한 이름으로 두 영역을 추가하세요:
Note the “Create zone” button

단계별 안내는 다음 두 문서 페이지를 참조하세요:

마지막으로 LangChain Bright Data 도구가 귀하의 계정에 연결하는 방법을 알려주어야 합니다. 이는 인증에 사용되는 Bright Data API 키를 통해 수행됩니다.

Bright Data API 키를 생성하고 다음과 같이 .env 파일에 저장하세요:

BRIGHT_DATA_API_KEY="<YOUR_BRIGHT_DATA_API_KEY>"

이것으로 끝입니다! 이제 공식 도구를 통해 LangChain 스크립트를 Bright Data 솔루션에 연결하기 위한 모든 준비가 완료되었습니다.

4단계: LangChain Bright Data 도구 구성

agent.py 파일에서 LangChain Bright Data 도구를 다음과 같이 준비하세요:

from langchain_brightdata import BrightDataUnlocker, BrightDataSERP

bright_data_serp_api_tool = BrightDataSERP()
bright_data_web_unlocker_api_tool = BrightDataUnlocker()

참고: Bright Data API 키를 수동으로 지정할 필요가 없습니다. 두 도구 모두 이전에 .env 파일에 설정해 둔 BRIGHT_DATA_API_KEY 환경 변수에서 자동으로 읽어옵니다.

단계 #5: LLM 통합

규정 준수 추적을 위한 AI 에이전트에는 LLM 모델로 구현되는 ‘두뇌’가 필요합니다. 본 예시에서는 OpenAI를 LLM 제공자로 선택했습니다. 따라서 먼저 .env 파일에 OpenAI API 키를 추가하세요:

OPENAI_API_KEY="<YOUR_OPENAI_API_KEY>"

다음으로 agent.py 파일에서 LLM 통합을 다음과 같이 초기화합니다:

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="gpt-5-mini",
)

참고: 여기서 설정된 모델은 GPT-5 Mini이지만, 다른 OpenAI 모델도 사용할 수 있습니다.

OpenAI를 사용하지 않으려면 공식 LangChain 가이드를 따라 다른 LLM 공급자에 연결하세요.

훌륭합니다! 이제 LangChain AI 에이전트를 정의하는 데 필요한 모든 준비가 완료되었습니다.

6단계: AI 에이전트 정의하기

LangChain 에이전트는 LLM, 일부 선택적 도구, 그리고 에이전트의 동작을 정의하는 시스템 프롬프트가 필요합니다.

이러한 구성 요소들을 다음과 같이 LangChain 에이전트로 결합하세요:

from langchain.agents import create_agent

# 에이전트에게 규정 준수 및 개인정보 보호 중심 작업을 지시하는 시스템 프롬프트 정의
system_prompt = """
당신은 규정 준수 추적 전문가입니다. 문서에서 잠재적인 규제 및 개인정보 보호 문제를 분석하는 것이 당신의 역할입니다.
분석은 Bright Data의 도구(SERP API 및 Web Unlocker 포함)를 활용해 온라인에서 업데이트된 규정과 권위 있는 출처를 조사함으로써 지원됩니다.
원본 문서와 권위 있는 외부 출처의 인용문으로 모든 결과를 뒷받침하는 정확하고 기업용으로 적합한 인사이트를 제공하십시오.
"""

# 에이전트가 사용할 수 있는 도구 목록
tools=[bright_data_serp_api_tool, bright_data_web_unlocker_api_tool]

# AI 에이전트 정의
agent = create_agent(
    llm=llm,
    tools=tools,
    system_prompt=system_prompt,
)

create_agent() 함수는 LangGraph를 사용하여 그래프 기반 에이전트 런타임을 구축합니다. 그래프는 노드(단계)와 에지(연결)로 구성되며, 이는 에이전트가 정보를 처리하는 방식을 정의합니다. 에이전트는 이 그래프를 이동하며 다양한 유형의 노드를 실행합니다. 자세한 내용은 공식 문서를 참조하세요.

기본적으로 agent 변수는 이제 규정 준수 추적 및 분석을 위한 Bright Data 통합이 적용된 AI 에이전트를 나타냅니다. 훌륭합니다!

7단계: 에이전트 실행

에이전트를 실행하기 전에 규정 준수 추적 작업과 분석할 문서를 설명하는 프롬프트가 필요합니다.

입력 PDF 문서를 읽는 것으로 시작합니다:

from langchain_community.document_loaders import PyPDFDirectoryLoader

# 입력 폴더에서 모든 PDF 문서 로드
input_folder = "./input"
loader = PyPDFDirectoryLoader(input_folder)
# 입력 폴더 내 모든 PDF의 모든 페이지 로드
docs = loader.load()
# 분석을 위해 PDF의 모든 페이지를 단일 문자열로 결합
internal_document_to_analyze = "nn".join([doc.page_content for doc in docs])

이 코드는 LangChain의 pypdf 커뮤니티 문서 로더를 사용하여 입력 폴더 (input/) 내 PDF 문서의 모든 페이지를 읽고 텍스트를 단일 문자열 변수로 통합합니다.

프로젝트 디렉토리 내에 input/ 폴더를 추가하세요:

compliance-tracking-ai-agent/
├─── .venv/
├─── input/   # <------------
├─── agent.py
└─── .env

해당 폴더에는 에이전트가 개인정보 보호, 규제 또는 규정 준수 관련 문제를 분석할 PDF 파일이 포함됩니다.

input/ 폴더에 단일 문서가 포함되어 있다고 가정할 때, internal_document_to_analyze 변수는 해당 문서의 전체 텍스트를 보유하게 됩니다. 이제 이 변수를 에이전트에게 분석 작업을 수행하도록 명확히 지시하는 프롬프트에 포함시킬 수 있습니다:

from langchain_core.prompts import PromptTemplate

# 에이전트가 워크플로를 수행하도록 안내하는 프롬프트 템플릿 정의
prompt_template = PromptTemplate.from_template("""
다음 PDF 콘텐츠를 고려할 때:
1. LLM이 이를 분석하여 개인정보 보호 측면에서 탐구할 가치가 있는 주요 핵심 사항을 식별하도록 합니다.
2. 해당 측면들을 구글 검색에 적합한 매우 짧고(5단어 이내), 간결하며 구체적인 검색어 최대 3개로 변환하세요.
3. Bright Data의 SERP API 도구로 해당 검색어에 대한 웹 검색을 수행하세요(영어 페이지 검색, 미국으로 제한).
4. Bright Data의 Web Unlocker 도구를 사용하여 상위 5개 웹 페이지(PDF 제외, 정부 웹사이트 우선)를 Markdown 데이터 형식으로 접근하십시오.
5. 수집된 정보를 처리하여 원본 문서의 인용문과 스크랩된 페이지의 통찰력을 포함하는 최종 간결한 보고서를 작성하십시오. 이는 규제 문제를 피하기 위함입니다.

PDF CONTENT:
{pdf}
""")

# PDF 내용으로 템플릿 채우기
prompt = prompt_template.format(pdf=internal_document_to_analyze)

마지막으로 프롬프트를 에이전트에 전달하고 실행합니다:

# Langfuse로 각 단계를 추적하며 에이전트 응답 스트리밍
for step in agent.stream(
    {"messages": [{"role": "user", "content": prompt}]},
    stream_mode="values",
):
    step["messages"][-1].pretty_print()

미션 완료! Bright Data 기반 LangChain AI 에이전트가 이제 기업 수준의 문서 분석 및 규제 연구 작업을 처리할 준비가 되었습니다.

8단계: Langfuse 시작하기

이제 AI 에이전트 구현 단계에 도달했습니다. 일반적으로 이 시점에서 Langfuse를 추가하여 운영 환경 추적 및 모니터링을 수행합니다. 결국, 이미 구축된 에이전트에 계측을 적용하는 것이 일반적이기 때문입니다.

Langfuse 계정 생성부터 시작하세요. “조직” 페이지로 이동하면 새 조직을 생성해야 합니다. “새 조직” 버튼을 클릭하세요:
Pressing the “New Organization” button in the “Organizations” page

조직에 이름을 지정한 후 마법사를 따라 마지막 “프로젝트 생성” 단계까지 진행하세요:
Creating a project in your Langfuse organization

마지막 단계에서 프로젝트 이름을 “compliance-tracking-ai-agent”처럼 지정한 후 “생성” 버튼을 누르세요. 그러면 “프로젝트 설정” 화면으로 이동합니다. 여기서 “API 키” 페이지로 이동하세요:
Navigating to the “API Keys” page

“프로젝트 API 키” 섹션에서 “새 API 키 생성”을 클릭하세요:
Pressing the “Create new API keys” button

표시되는 모달에서 API 키 이름을 입력하고 “API 키 생성”을 클릭하세요:
Clicking the “Create API keys” button

공개 키와 비밀 키가 발급됩니다. 빠른 통합을 위해 “.env” 섹션의 “클립보드에 복사” 버튼을 클릭하세요:
Clicking the “Copy to clipboard” button in the “.env” section

다음으로 복사한 환경 변수를 프로젝트의 .env 파일에 붙여넣으세요:

LANGFUSE_SECRET_KEY = "<YOUR_LANGFUSE_SECRET_KEY>"
LANGFUSE_PUBLIC_KEY = "<YOUR_LANGFUSE_PUBLIC_KEY>"
LANGFUSE_BASE_URL = "<YOUR_LANGFUSE_BASE_URL>"

훌륭합니다! 이제 스크립트가 Langfuse Cloud 계정에 연결되어 모니터링 및 가시성을 위한 유용한 추적 정보를 전송할 수 있습니다.

9단계: Langfuse 추적 통합

Langfuse는 LangChain (및 기타 여러 AI 에이전트 구축 프레임워크) 을 완벽하게 지원하므로 별도의 커스텀 코드가 필요하지 않습니다.

LangChain AI 에이전트를 Langfuse에 연결하려면 Langfuse 클라이언트를 초기화하고 콜백 핸들러를 생성하기만 하면 됩니다:

from langfuse import get_client
from langfuse.langchain import CallbackHandler

# .env 파일에서 환경 변수 로드
load_dotenv()

# 추적 및 관측성을 위한 Langfuse 클라이언트 초기화
langfuse = get_client()

# Langchain 에이전트 상호작용을 캡처하기 위한 Langfuse 콜백 핸들러 생성
langfuse_handler = CallbackHandler()

그런 다음 에이전트를 호출할 때 Langfuse 콜백 핸들러를 전달합니다:

for step in agent.stream(
    {"messages": [{"role": "user", "content": prompt}]},
    stream_mode="values",
    config={"callbacks": [langfuse_handler]} # <--- Langfuse 통합
):
    step["messages"][-1].pretty_print()

자, 이제 시작합니다! LangChain AI 에이전트가 완전히 구성되었습니다. 모든 런타임 정보는 Langfuse로 전송되며 웹 앱에서 확인할 수 있습니다.

10단계: 최종 코드

이제 agent.py 파일에는 다음 내용이 포함되어야 합니다:

from dotenv import load_dotenv
from langchain_brightdata import BrightDataUnlocker, BrightDataSERP
from langchain_openai import ChatOpenAI
from langchain.agents import create_agent
from langchain_community.document_loaders import PyPDFDirectoryLoader
from langchain_core.prompts import PromptTemplate
from langfuse import get_client
from langfuse.langchain import CallbackHandler

# .env 파일에서 환경 변수 로드
load_dotenv()

# 추적 및 관측성을 위한 Langfuse 클라이언트 초기화
langfuse = get_client()

# Langchain 에이전트 상호작용을 캡처하기 위한 Langfuse 콜백 핸들러 생성
langfuse_handler = CallbackHandler()

# Bright Data 도구 초기화
bright_data_serp_api_tool = BrightDataSERP()
bright_data_web_unlocker_api_tool = BrightDataUnlocker()

# 대규모 언어 모델 초기화
llm = ChatOpenAI(
    model="gpt-5-mini",)


# 에이전트에게 규정 준수 및 개인정보 보호 중심 작업을 지시하는 시스템 프롬프트 정의
system_prompt = """
당신은 규정 준수 추적 전문가입니다. 당신의 역할은 문서에서 잠재적인 규제 및 개인정보 보호 문제를 분석하는 것입니다.
분석은 Bright Data의 도구(SERP API 및 Web Unlocker 포함)를 활용해 온라인에서 업데이트된 규정 및 권위 있는 출처를 조사함으로써 지원됩니다.
원본 문서와 권위 있는 외부 출처의 인용문을 통해 모든 결과를 뒷받침하는 정확하고 기업 수준의 통찰력을 제공하십시오.

"""

# 에이전트가 사용할 수 있는 도구 목록
tools=[bright_data_serp_api_tool, bright_data_web_unlocker_api_tool]

# AI 에이전트 정의
agent = create_agent(
    llm=llm,
    tools=tools,
    system_prompt=system_prompt,
)

# 입력 폴더에서 모든 PDF 문서 로드
input_folder = "./input"
loader = PyPDFDirectoryLoader(input_folder)
# 입력 폴더 내 모든 PDF의 모든 페이지 로드
docs = loader.load()
# 분석을 위해 PDF의 모든 페이지를 단일 문자열로 결합
internal_document_to_analyze = "nn".join([doc.page_content for doc in docs])

# 에이전트가 워크플로를 수행하도록 안내하는 프롬프트 템플릿 정의
prompt_template = PromptTemplate.from_template("""
다음 PDF 콘텐츠를 고려할 때:
1. LLM이 이를 분석하여 개인정보 보호 측면에서 탐구할 가치가 있는 주요 핵심 사항을 식별하도록 합니다.
2. 해당 사항들을 구글 검색에 적합한 매우 짧고(5단어 이내), 간결하며 구체적인 검색어 최대 3개로 변환합니다.
3. Bright Data의 SERP API 도구(영어 페이지 검색, 미국 지역 한정)를 사용하여 해당 검색어로 웹 검색을 수행합니다.
4. Bright Data의 Web Unlocker 도구로 상위 5개 웹 페이지(PDF 제외, 정부 웹사이트 우선)를 Markdown 데이터 형식으로 접근합니다.
5. 수집된 정보를 처리하여 원본 문서의 인용문과 스크랩된 페이지의 통찰력을 포함하는 최종 간결한 보고서를 작성합니다. 규제 문제를 피하기 위함입니다.

PDF 콘텐츠:
{pdf}
""")
# PDF 내용으로 템플릿 채우기
prompt = prompt_template.format(pdf=internal_document_to_analyze)

# Langfuse로 각 단계 추적하며 에이전트 응답 스트리밍
for step in agent.stream(
    {"messages": [{"role": "user", "content": prompt}]},
    stream_mode="values",
    config={"callbacks": [langfuse_handler]} # <--- Langfuse 통합
):
    step["messages"][-1].pretty_print()

와우! LangChain, Bright Data, Langfuse 덕분에 단 75줄 정도의 파이썬 코드로 규제 및 규정 준수 분석을 위한 기업용 AI 에이전트를 구축했습니다.

11단계: 에이전트 실행

AI 에이전트가 작동하려면 PDF 파일이 필요합니다. 이 예시에서는 다음 문서에 대한 규제 분석을 실행한다고 가정합니다:
The sample input PDF document to analyze for regulatory issues
이것은 기업 스타일의 샘플 문서로, 회사가 적용하는 사용자 데이터 처리 관행을 개괄적으로 설명합니다.

이 문서를 user-data-processing-workflow.pdf로 저장하고 프로젝트 디렉토리의 input/ 폴더 안에 넣어주세요:
Note the input PDF file placed in the “input/” folder

이렇게 하면 스크립트가 해당 파일을 접근하여 에이전트의 프롬프트에 포함시킬 수 있습니다.

LagnChain AI 에이전트를 실행하려면 다음 명령어를 사용하세요:

python agent.py

터미널에서 다음과 같은 Bright Data 도구 호출 추적 정보를 확인할 수 있습니다:
The traces for the Bright Data SERP API tool calls
AI 에이전트는 PDF 내용을 기반으로 추가 연구를 위해 다음 세 가지 검색 쿼리를 식별했습니다:

“GDPR 데이터 보존 로그”
“CCPA 삭제 기간 요건”
“SCCs 국제 전송 가이드라인”

이 쿼리들은 입력 문서에서 LLM이 강조한 잠재적 규제 및 개인정보 문제와 맥락을 같이합니다.

Bright Data SERP API(해당 쿼리에 대한 Google 검색 결과를 포함)에서 반환된 결과에서 에이전트는 상위 페이지를 선별하고 Web Unblocker API 도구를 통해 스크래핑합니다:
The traces for the Bright Data Web Unlocker API tool calls
이후 해당 페이지의 콘텐츠는 최종 규제 분석 보고서로 가공 및 요약됩니다.

자, 이제 AI 에이전트가 완벽하게 작동합니다. Langfuse 통합의 가시성 및 추적 효과를 확인할 시간입니다.

12단계: Langfuse에서 에이전트 추적 기록 확인

AI 에이전트가 작업을 시작하자마자 Langfuse 대시보드에 데이터가 표시됩니다. 특히 “추적(Traces)” 카운트가 0에서 1로 증가하고 모델 비용이 상승하는 점을 주목하세요:
The updated Langfuse dashboard for your project
이 대시보드를 통해 비용은 물론 다양한 유용한 지표를 모니터링할 수 있습니다.

특정 에이전트 실행에 대한 모든 정보를 보려면“추적(Tracing)” 페이지로 이동하여 해당 에이전트의 트레이스 행을 클릭하세요:
Accessing your agent's run traces
웹 페이지 왼쪽에 패널이 열리며 에이전트가 수행한 각 단계에 대한 상세 정보가 표시됩니다.

첫 번째 “ChatOpenAI” 노드에 주목하세요. 이는 에이전트가 이미 Bright Data SERP API를 세 번 호출한 반면, Web Unlocker API는 아직 호출되지 않았음을 강조합니다:
Inspecting the “ChatOpenAI” node
여기서 코드에 설정된 시스템 프롬프트와 에이전트에 전달된 사용자 프롬프트도 확인할 수 있습니다. 또한 지연 시간, 비용, 타임스탬프 등의 정보도 접근 가능합니다. 더불어 왼쪽 하단의 대화형 플로우 차트를 통해 에이전트 실행 단계를 단계별로 시각화하고 탐색할 수 있습니다.

이제 Bright Data SERP API 도구 호출 노드를 살펴보겠습니다:
Inspecting a Bright Data SERP API tool call node
Bright Data SERP API LangChain 도구가 주어진 검색 쿼리에 대해 JSON 형식의 SERP 데이터를 성공적으로 반환한 것을 확인할 수 있습니다(이는 AI 에이전트의 LLM(대규모 언어 모델) 입력에 매우 유용합니다). 이는 Bright Data SERP API와의 통합이 완벽하게 작동하고 있음을 보여줍니다.

Python으로 Google 검색 결과를 스크래핑해 본 적이 있다면 그 어려움을 잘 알 것입니다. Bright Data의 SERP API 덕분에 이 과정은 즉시, 빠르게, 그리고 완전히 AI 준비가 된 상태로 진행됩니다.

마찬가지로 Bright Data Web Unlocker API 도구 호출 노드에 주목하세요:
Inspecting a Bright Data Web Unlocker API tool call node

Bright Data Web Unlocker LangChain 도구는 식별된 페이지에 성공적으로 접근하여 마크다운 형식으로 반환했습니다.

웹 언락커 API는 AI 에이전트가 차단 걱정 없이 모든 거버넌스 웹사이트(또는 기타 웹 페이지)에 프로그래밍 방식으로 접근할 수 있게 하여, 결과적으로 LLM(대규모 언어 모델)에 적합한 AI 최적화 버전의 페이지를 제공합니다.

훌륭합니다! Langfuse + LangChain + Bright Data 통합이 완료되었습니다. Langfuse는 Bright Data가 지원하는 다른 많은 AI 에이전트 구축 솔루션과도 통합될 수 있습니다.

다음 단계

Langfuse 통합 AI 에이전트를 더욱 기업급으로 만들기 위해 다음 사항을 고려하세요:

프롬프트 관리 추가: Langfuse의 프롬프트 관리 기능을 활용하여 LLM 애플리케이션용 프롬프트를 저장, 버전 관리 및 검색하세요.
보고서 내보내기: 최종 보고서를 생성하여 디스크에 저장하거나 공유 폴더에 보관하거나 관련 이해관계자에게 이메일로 전송하세요.
맞춤형 대시보드 정의: 팀 또는 이해관계자에게 관련 있는 지표만 표시하도록 Langfuse 대시보드를 맞춤 설정하세요.

결론

이 튜토리얼에서는 Langfuse를 사용하여 AI 에이전트를 모니터링하고 추적하는 방법을 배웠습니다. 구체적으로 Bright Data의 AI 지원 웹 액세스 솔루션으로 구동되는 LangChain AI 에이전트를 계측하는 방법을 살펴보았습니다.

앞서 설명한 바와 같이, Langfuse와 마찬가지로 Bright Data는 오픈소스 도구부터 엔터프라이즈급 플랫폼에 이르기까지 다양한 AI 솔루션과 통합됩니다. 이를 통해 Langfuse를 통해 에이전트의 성능과 동작을 모니터링하면서 강력한 웹 데이터 검색 및 탐색 기능으로 에이전트를 강화할 수 있습니다.

Bright Data에 무료로 가입하고 AI 지원 웹 데이터 솔루션을 지금 바로 체험해 보세요!

문의하기 무료 체험 시작하기