기술/연구

"기업 정보 5배 더 파헤친다!" S&P의 비밀 무기는 대체 뭐길래?

댓글 0 · 저장 0 · 편집: 이도윤 기자 발행: 2025.06.03 07:29

기사 3줄 요약

1 S&P Global, 첨단 기술로 중소기업 정보 5배 더 확보
2 딥웹 스크래핑·AI 학습으로 숨은 데이터까지 분석
3 기업 분석·투자 결정 방식에 큰 변화 예고

세계적인 신용평가 및 금융정보 회사인 S&P Global(S&P 글로벌)이 중소기업 관련 데이터를 기존보다 무려 5배나 더 많이 모을 수 있는 특별한 기술을 개발해 화제입니다. 마치 숨은그림찾기 게임의 고수처럼, 이전에는 찾기 어려웠던 정보까지 속속들이 찾아낸다고 하는데요. 이 놀라운 기술 덕분에 앞으로 기업 분석이나 투자 결정 방식에 큰 변화가 예상됩니다.

그럼 S&P는 어떻게 숨겨진 정보를 찾아낼까?

S&P 글로벌의 첫 번째 비밀 병기는 바로 '딥 웹 스크래핑' 기술입니다. 이는 마치 특수 훈련을 받은 잠수부가 바다 깊은 곳의 보물을 찾아내듯, 일반 검색 엔진으로는 잘 드러나지 않는 인터넷 공간 깊숙이 숨겨진 기업 정보를 수집하는 기술인데요. 이를 위해 다양한 변장술을 쓰는 스파이처럼 IP 주소나 사용자 정보(User-Agent)를 계속 바꿔가며 웹사이트의 방어막을 뚫고, 마치 사람이 직접 보는 것처럼 웹페이지 내용을 읽어 들여 필요한 정보만 쏙쏙 골라냅니다. 심지어 로봇이 아님을 인증해야 하는 '캡차(CAPTCHA)' 시스템도 자동으로 풀어버리고, 복잡한 웹페이지 구조 속에서도 원하는 데이터를 정확히 찾아내는 기술까지 갖췄다고 합니다. 덕분에 이전에는 깜깜이 정보로 여겨졌던 중소기업들의 세세한 정보까지 확보할 수 있게 된 것입니다. 이런 방식으로 기업의 이름, 주소, 연락처는 물론이고 사업 내용이나 재무 상태 같은 중요 정보들을 모읍니다.

정보가 많다고 다 좋을까? 정확도는 어떻게 높였는데?

이렇게 어렵게 모은 정보가 정확하지 않다면 아무 소용이 없겠죠. 그래서 S&P 글로벌은 두 번째 비밀 병기인 '앙상블 학습(Ensemble Learning)'이라는 인공지능(AI) 기술을 사용합니다. 이는 마치 여러 분야의 전문가들이 모여 각자의 의견을 종합해 가장 정확한 결론을 내리는 것처럼, 여러 개의 AI 모델을 동시에 활용해 데이터의 정확도를 끌어올리는 방식입니다. 예를 들어, 어떤 AI 모델은 기업 이름을 찾는 데 특화되어 있고, 다른 모델은 재무 정보를 분석하는 데 뛰어날 수 있습니다. 앙상블 학습은 이런 다양한 AI 모델들의 판단 결과를 종합하고, 서로의 단점을 보완해 최종적으로 가장 믿을 만한 정보를 골라냅니다. S&P 글로벌은 이 기술로 데이터 오류를 최대 20%까지 줄이고, 신용 위험 평가 정확도는 15%나 향상시켰다고 하니 정말 대단하죠.

그렇게 모은 어마어마한 데이터, 관리는 어떻게 할까?

엄청난 양의 데이터를 모으고 분석했다면, 이를 잘 보관하고 필요할 때 쉽게 꺼내 쓸 수 있는 시스템도 중요합니다. S&P 글로벌은 이를 위해 '스노우플레이크(Snowflake)'라는 특별한 데이터 관리 시스템을 사용하는데요. 이것은 마치 거대한 디지털 도서관이자 매우 똑똑한 사서 로봇이 함께 있는 것과 비슷합니다. 스노우플레이크는 방대한 양의 데이터를 종류별로 깔끔하게 정리하고, 필요할 때 번개처럼 빠르게 찾아주거나 분석할 수 있도록 도와줍니다. 덕분에 S&P 글로벌은 수많은 중소기업 정보를 효율적으로 관리하고, 고객들이 이 정보를 활용해 더 나은 사업적 결정을 내릴 수 있도록 지원합니다. 실시간으로 새로운 정보가 들어와도 문제없이 착착 정리해 준다고 하네요.

그래서 이 기술, 우리 실생활에 어떤 도움을 줄 수 있을까?

S&P 글로벌의 이런 첨단 기술은 단순히 신기한 구경거리가 아닙니다. 이 기술로 얻어진 정확하고 풍부한 중소기업 정보는 은행이나 투자 회사들이 어떤 기업에 돈을 빌려주거나 투자할지 결정할 때 아주 유용하게 쓰일 수 있습니다. 이전에는 정보가 부족해서 망설였던 유망한 중소기업을 발굴할 기회가 늘어나는 것이죠. 또한 사업을 하는 사람들에게는 경쟁 기업이나 협력할 만한 새로운 파트너를 찾는 데 도움을 줄 수 있습니다. 물론, 아직 해결해야 할 과제도 있습니다. 인터넷에서 정보를 긁어모으다 보면 편향된 정보가 섞일 수도 있고, 기업 정보는 계속 변하기 때문에 꾸준히 업데이트해야 하는 어려움도 있죠. 하지만 S&P 글로벌의 혁신은 분명 기업 정보 시장에 새로운 가능성을 열어주고 있습니다.

편집자: 이도윤 기자

제보·문의: aipick@aipick.kr