산업/비즈니스

“AI의 공짜 파티는 끝났다” 웹사이트 정보 긁어가려면 이제 돈 내야

댓글 1 · 저장 0 · 편집: 이도윤 기자 발행: 2025.07.01 19:23

기사 3줄 요약

1 클라우드플레어, AI에 콘텐츠 사용료 청구 마켓플레이스 출시
2 웹사이트, AI 봇 차단하거나 개별적으로 유료 접근 허용 가능
3 AI의 무분별한 데이터 학습에 제동 걸고 창작자 권리 보호

인공지능(AI)이 웹사이트의 정보를 공짜로 긁어가던 시대가 저물고 있습니다. 이제 AI도 콘텐츠를 사용하려면 정당한 대가를 지불해야 할지 모릅니다. 클라우드플레어가 웹사이트 운영자와 AI 기업의 관계를 완전히 뒤바꿀 새로운 시장을 열었습니다. 이곳에서 웹사이트 운영자는 자신의 콘텐츠에 가격을 매겨 AI에 판매할 수 있습니다. 실제로 오픈AI의 크롤러는 웹사이트에 단 한 번의 방문자를 보내주기 위해 1만 7천 번이나 사이트를 긁어가는 것으로 나타났습니다. 앤트로픽의 경우는 무려 7만 3천 번에 달했습니다. 이런 불공정한 관계에 제동이 걸린 것입니다.

그래서, 이게 정확히 뭔데?

클라우드플레어가 공개한 '페이 퍼 크롤(Pay per Crawl)'은 말 그대로 AI가 정보를 '긁어갈 때마다 돈을 내는' 방식의 실험적인 마켓플레이스입니다. 웹사이트 운영자는 이 시스템을 통해 특정 AI 정보 수집 로봇(크롤러)의 접근을 허용하거나, 차단하거나, 혹은 유료로 접근 권한을 줄 수 있는 선택권을 갖게 됩니다. 특히 주목할 점은, 앞으로 클라우드플레어를 통해 새로 만들어지는 웹사이트는 기본적으로 모든 AI 크롤러를 차단하도록 설정된다는 것입니다. 이는 콘텐츠 창작자에게 자신의 데이터를 통제할 수 있는 강력한 권한을 처음부터 쥐여주는 셈입니다. 창작자가 명시적으로 허락한 AI만 자신의 웹사이트에 들어올 수 있게 됩니다.

이게 왜 그렇게 중요해?

지금까지 온라인 미디어나 창작자들은 구글 같은 검색엔진이 자신의 사이트를 긁어가는 것을 허용했습니다. 그 대가로 구글 검색을 통한 웹사이트 방문자를 얻었고, 이는 광고 수익으로 이어졌습니다. 하지만 AI 시대가 열리면서 이 공식이 깨지기 시작했습니다. AI 챗봇은 웹사이트의 정보를 학습해 사용자에게 직접 답을 제공합니다. 굳이 해당 웹사이트를 방문할 필요가 없어진 것입니다. 창작자들은 자신의 콘텐츠를 AI 학습에 공짜로 빼앗기면서도 아무런 보상을 받지 못하는 상황에 놓였습니다. 뉴욕타임스 같은 거대 언론사는 소송을 택했고, 일부는 AI 기업과 콘텐츠 라이선스 계약을 맺었지만 이는 대형 언론사에만 국한된 이야기였습니다. 클라우드플레어의 시도는 모든 창작자가 자신의 콘텐츠에 대한 정당한 가격을 직접 매길 수 있는 길을 연 것입니다.

그럼 앞으로 어떻게 되는 거야?

물론 이 담대한 비전이 성공하려면 넘어야 할 산이 많습니다. 지금까지 공짜로 데이터를 수집해 온 AI 기업들이 순순히 지갑을 열지는 미지수입니다. 하지만 클라우드플레어는 전 세계 웹 트래픽의 상당 부분을 처리하는 독보적인 위치에 있습니다. 이러한 영향력을 바탕으로 시장 참여를 유도할 가능성이 충분합니다. 콘데 나스트, 타임, AP 통신 등 주요 언론사들이 이미 클라우드플레어의 정책을 지지하며 AI 크롤러 기본 차단에 동참했습니다. AI가 사람을 대신해 정보를 찾고 작업을 수행하는 '에이전트'의 시대가 오면, 양질의 유료 콘텐츠에 대한 수요는 더욱 커질 수 있습니다. 인터넷의 미래 경제 모델이 바뀔 중요한 갈림길입니다.