여기 소개하는 특히 주목할 만한 데이터 타운홀 토론은 켄 지(Ken Jee)가 주도했으며, 데이터 영향력자들의 웹 데이터에 대한 관점과 유튜브 시청자들의 열띤 실시간 질의응답을 중심으로 진행되었습니다.
스타트업 데이터 과학자인 마크 프리먼은 브라이트 데이터 같은 데이터 수집 도구 없이 양질의 웹 데이터를 확보하는 과정의 “모호함”을 파헤치며 토론을 시작했습니다.
“MVP(최소 기능 제품)를 구축하려는 프로젝트에서 데이터 출처 확보 자체가 엄청난 도전이었던 경험이 있습니다.”
인터넷 데이터 전문가이자 엔지니어인 샤샨크 칼라니티는 데이터 수집의 일반적인 어려움을 이어서 설명했습니다:
“저에게 [어떤 프로젝트든] 가장 어려운 부분은 양질의 데이터를 확보하는 것입니다. 실시간 데이터를 위해 여러 구인 사이트를 스크래핑하려 했으나 거의 매번 차단당했습니다. 공개 웹 데이터가 항상 쉽게 접근 가능하지 않다는 점이 안타깝습니다.”
유명한 MLOps 엔지니어 미키 베즐리는 오늘날 웹 데이터 추출에 존재하는 기술적 과제와 Bright Data 같은 솔루션이 왜 흥미로운지 설명을 이어갔습니다. “특히 대기업이거나 빠르게 움직여야 하는 스타트업이라면, 끊임없이 문제를 해결하느라 속도를 늦추지 않아도 되는 것이 가장 빠른 방법 중 하나입니다.”
유튜브 채널 @Datawithzack의 잭 윌슨(Zach Wilson) 역시 Bright Data와 같은 자동화 도구의 이점을 매우 흥분된 어조로 설명했습니다.
기업들이 웹 데이터를 활용해 흔히 하는 일 중 하나는 경쟁사에 대한 더 나은 인사이트를 얻고자 하는 것입니다. 경쟁 플랫폼을 운영한다면… 경쟁사가 전화 한 통으로 그 데이터를 제공해 주지 않을 것입니다. 그들은 이를 어렵게 만들 테고, 바로 그 점에서 웹 데이터가 정말 강력한 힘을 발휘합니다. 계약의 특성상 스크레이퍼는 아마도 중단될 것입니다. 바로 그 점이 제가 Bright Data를 정말 좋아하는 이유입니다. 스크레이핑을 검증해 주니까요.”
참가자들은 동의하며 Bright Data의 거의 완벽한 솔루션에 대해 더 깊이 논의했습니다. “아웃소싱하는 건 정말 가치 있을 수 있어요… 그리고 이 또한 Bright Data의 정말 멋진 점 중 하나죠… 그들은 놀라운 프록시 시스템을 사용합니다,”라고 Ken Jee가 말했습니다. “회사를 운영하면서 제품이나 모델이 외부 데이터에 의존한다면, 이는 매우 불안정할 수 있습니다. 끊임없이 변화하는 환경에 맞춰 인프라를 구축하는 건 매우 어렵죠. 당연히 Bright Data가 최선의 해결책입니다. 그들이 관리하고 있으니, 본질적으로 그들에게 아웃소싱하는 셈이니까요.”
이에 켄은 그룹에게 물었습니다. “그게 최선의 해결책인가요?”
세계적인 데이터 분야 최고 영향력자 15명 이상으로 구성된 그룹은 이에 동의했습니다. 실제로 Bright Data는 오늘날 가장 주목할 만한 데이터 솔루션입니다. ‘데이터 어벤져스’들의 전체 토론과 Bright Data의 도구 모음에 대한 흥미로운 평가를 보려면 반드시 전체 영상을 시청하세요!
