본 글에서는 다음을 살펴보겠습니다:
최근 발표된 새로운 금융 산업 설문조사에 따르면, 미국과 영국에서 대출, 헤지펀드, 은행, 보험 분야 전문가 100명이 참여했습니다. 보고서는 대다수 금융 기관이 외부 데이터 소스에 의존해야 한다는 점을 인지하고 있음을 강조했습니다. 그러나 이 역동적인 분야의 상당수는 대체 데이터를 적절히 분석하고 실질적인 운영적 이점을 도출할 내부 지식이나 전문성을 갖추지 못하고 있습니다. 본 글은 업계 관계자들이 직면한 도전과제와 현재 활용 중인 기술적 대응 방안에 초점을 맞춥니다.
이미지 출처: Bright Data
대규모 금융 환경에서 대체 데이터 통합의 주요 장애물은 무엇인가?
‘대규모 금융 환경에서 대체 데이터 통합의 주요 장애물로는 분석 단계의 문제가 있으며, 응답자의 61%*가 이를 가장 가능성이 높은 도전 과제로 꼽았고, 53%는 데이터 소싱/조달을 주요 도전 과제로 지목했습니다.’
금융 부문 대체 데이터 분석의 주요 장애물
설문 조사 결과에 따르면:
‘금융 서비스 전문가*의64%가 지속적인 투자 전략 수립 과정에서 대체 데이터를 활용합니다.’
그러나 포트폴리오 매니저가 데이터 조달을 시작할 때 문제가 발생하기 시작합니다:
- 다양한 출처로부터
- 극히 방대한 양으로
데이터 분석 팀 역시 투자 알고리즘에 공급할 수집 데이터의 품질 및 호환성과 관련된 문제를 비롯한 여러 과제에 직면합니다. 특히 고유한 사전 설정을 가진 데이터 기반 거래 모델과 통합하기 어려운 반구조화/비정형 데이터의 경우 더욱 그러합니다. 이는 대체 데이터 세트를 효과적으로 처리하고 상호 참조할 사이버 인프라가 부족한 많은 금융 기관의 핵심 문제점입니다.
여기에 최신 데이터 수집 및 처리 기법에 숙련된 인력이 실질적으로 부족한 점이 더해져 금융계 전반에 걸친 기업들에게 장애물이 되고 있습니다.
마지막으로, 금융 기관들은 스스로 설정한 데이터 민첩성 기준을 충족하는 데 점점 더 어려움을 겪고 있습니다. 그들은 목표 데이터를 수집하여 슈피리어 호수만큼 큰 저장소에 보관하지만, 여전히 맥락을 분리하여 더 큰 그림을 도출하고 의미 있는 수익화 기회로 연결하는 데 실패하고 있습니다.
주요 데이터 소싱 과제
데이터 분석의 어려움은 데이터 소싱 장애와 상호 연결되어 있으며 일부 측면에서 중첩됩니다. 주요 데이터 소싱 과제에는 다음이 포함됩니다:
데이터 식별– 사용 사례와 자산 클래스에 기반하여 메타데이터를 유지한 데이터 세트를 발견하고 체계적으로 분류하는 능력을 의미하며, 이는 상당한 운영적 함의를 가질 수 있습니다.
프로세스 재현성 – 특정 정보 저장소가 온라인에 공개되거나 일회성 사건으로 인해 팀이 단발성 데이터 세트를 확보하는 경우가 많습니다. 그러나 기업은 안정적이고 지속적인 데이터 흐름이 필요합니다.
정보 품질 – AI와 ML에는 중요한 ‘훈련 단계’가 존재합니다. 이 단계에서 깨끗하고 추적 가능한 데이터를 공급해야만 고품질의 정확한 결과를 도출할 수 있습니다. 예를 들어 시간 지연이나 지리적 파일 손상은 어떤 증권 포지션을 언제 어떤 시점에 청산할지에 대한 알고리즘적 통찰력을 심각하게 훼손할 수 있습니다.
분산된 출처– 데이터는 동일한 출처나 동일한 형식으로 제공되지 않습니다. 일부 데이터는 소셜 플랫폼에서, 다른 데이터는 검색 엔진 결과나 증권거래위원회(SEC) 제출 서류에서 유래할 수 있습니다. 형식도 동영상, 음성 파일부터 텍스트, 시스템 로그까지 다양합니다. 이러한 데이터를 통합 시스템으로 집계하고 상호 참조하는 것은 어려운 과제입니다.
도전 속에서도 번창하는 금융 기관들
점점 더 많은 금융 기관들이 데이터 수집 요구를 아웃소싱하는 이점을 깨닫기 시작했습니다. 이는 즉시 사용 가능한 데이터 세트를 구매하거나, 자동화된 실시간 데이터 스트림을 제공하는 도구와 시스템을 연계하고 팀을 구성하는 형태로 이루어집니다.
이러한 접근 방식은 데이터 수집 네트워크가 다음을 수행할 수 있기 때문에 분석 단계에서 경험하는 대부분의 어려움을 해소합니다:
- 기업의 특정 요구사항에 맞춰 데이터 세트를 구성
- 입력/출력 데이터를 원하는 파일 형식으로 보장하여 서로 다른 출처의 데이터를 보다 손쉽게 통합할 수 있도록 지원
- 고가의 데이터 시스템 및 데이터 수집 전문가에 대한 투자 부담을 줄여줌
- 펀드에 프로젝트별 데이터 수집 작업의 유연한 가동/중지 기능(일반적으로 ‘주문형 데이터’로 알려짐)을 제공합니다
데이터 중심 투자에 집중하고 데이터 수집에 대부분의 시간을 할애하지 않으려는 소규모 전문 사무소에게도 이 접근법은 현명한 선택이 될 수 있습니다.
금융 서비스 및 투자 분야에서 데이터를 상품처럼 취급할 때의 주요 이점은 다음과 같습니다:
즉각적인 운영 결정(매수, 매도, 공매도 등)을 위한 실시간 저지연 데이터 흐름확보
AI 및 ML 훈련과 맞춤화를 훨씬 더 쉽게 접근가능하게 하여, 신속한 트레이딩 모델 생성 및 테스트가 팀원들에게 자연스러운 일이 되도록 함
운영규모를 신속하고 고통 없이확장 또는 축소
고가의 하드웨어, 소프트웨어 및 독점 프로토콜/API 구매/개발 필요성제거
특정 코드 조각을 사용해 시술 비용을 숨기려 했던 미국 병원 사례처럼, 입수하기어렵거나 의도적으로 발견되지 않도록 한 데이터 세트활용 가능
결론적으로
금융 분야에서 대체 데이터 수집 및 적용은 여전히 ‘도입 단계’에 머물러 있어 상당한 ‘정보 우위’를 확보할 여지가 남아 있습니다.
대부분의 기관이 외부 데이터 활용으로 얻을 수 있는 이점이 크다는 사실을 인지하고 있음에도 불구하고, 이를 적절히 분석하고 활용할 능력이나 전문성을 갖추지 못한 경우가 많습니다.
따라서 ‘데이터 가치 사슬’은 대부분의 다른 정보 상품과 달리 양, 비용, 품질, 산출물과 역의 관계를 가집니다. 예를 들어, 투자 모델, 알고리즘, 애널리스트에게 자동으로 전달되는 소량의 고품질 구조화 데이터를 수집하는 것이 다양한 출처와 형식에서 수집된 대량의 비구조화 데이터보다 훨씬 높은 투자 수익률(ROI)을 가져옵니다.
따라서 금융 기업과 핀테크 기업은 더 나은 자산 관리와 포트폴리오 구성을 가능하게 하는 데이터 소싱 자동화를 통합한 명확한 데이터 수집 및 거버넌스 전략을 수립해야 합니다.
* 본 데이터는 설문조사 대상 기관 중 대체 데이터를 활용 중인 응답자를 기준으로 합니다.
