기사 상세
갈등과 협력 등으로 언론사와 AI 기업의 관계가 복잡한 양상을 띠는 가운데, 최근 새로운 아이디어가 제안돼 주목받고 있다. 이른바 ‘크롤당 과금(Pay Per Crawl)’이 그것이다. 과연 이 과금 정책이 언론사에 새로운 돌파구가 될지, 그 정의와 쟁점을 살펴본다. 편집자 주
마침내 언론사와 AI 빅테크가 한 테이블에서 만났다. 지난 10월 2일, IAB 테크랩(IAB Tech Lab)이 주재한 ‘LLM AI 콘텐츠 수익화 프로토콜’ 워킹 그룹 미팅에서다.1) 이날 미팅에는 구글과 메타 등 빅테크 담당자들과 35개 언론사가 참여했다. AI의 언론사 콘텐츠 사용료 지불을 놓고 이렇게 대규모 모임이 이뤄진 것은 이번이 처음이다. 심지어 이 워킹 그룹 미팅을 매주 열기로 합의했다. 핵심 의제는 AI의 기사 이용에 대한 과금 방식이다. 그리고 모두가 동의할 수 있는 표준과 규격 즉, 프로토콜을 만드는 것이다. 얼핏 간단해 보일 수도 있지만 API나 HTTP와 같은 기술적 요소와 기사 유형에 따른 접근 범위, 수익 모델 유형 등이 첨예하게 얽혀 있어 최종안 도출을 낙관하기는 쉽지 않다. 핵심 사업자인 오픈AI와 퍼플렉시티는 참여조차 하지 않았기에 더욱 그러하다. 어쨌든 AI 빅테크와 언론사가 일단 머리를 맞댄 것 자체만으로도 의미는 있다.
이날 회의에선 또 한 가지 쟁점이 불거졌다. 언론사 간 입장 충돌이다. 사용료 과금을 위해선 AI 크롤러를 강력하게 차단해야 한다는 쪽과 이것이 미칠 일부 광고 수익 저하를 우려하는 쪽이 갈렸다. 언론 산업 내부의 이견을 조율하는 것조차 만만치 않다는 사실이 확인된 셈이다. 앞으로 원만한 진행이 쉽지 않을 것을 예고한 대목이다.
크롤당 과금은 무엇이고 어떻게 작동하나
최근 언론사로 유입되는 트래픽이 평균 25~30%까지 하락했다는 분석이 나왔다.2) AI 검색이 초래한 ‘제로 클릭(Zero-Click)’은 이미 현실이 됐다는 의미다. 따라서 디지털 기반 광고 수익이 줄어드는 건 불가피하다. AI 검색 점유율이 늘어날수록 언론사 광고 수익에 미치는 영향이 더 커질 것은 분명하다. 발을 동동 구르는 언론사들은 늘어나고 있으며, 대응책 마련을 위해 분주하게 중장기 전략을 발표하는 언론사들도 적지 않다. 하지만 줄어든 광고 수익을 온전하게 채워낼 수 있는 묘수가 뚜렷하게 보이지 않는다. 그것이 냉혹한 현실이다. 이 와중에 클라우드플레어(Cloudflare)라는 기업이 ‘크롤당 과금(Pay Per Crawl)’이라는 창발적 아이디어를 들고나왔다. AI 크롤러가 언론사 웹사이트를 방문해 기사 꾸러미를 한번 크롤링할 때마다 비용을 부과하자는 제안이다. 네트워크 수준에서 트래픽을 관리하는 엣지 컴퓨팅 기업이기에 실현 가능한 모델이다. 미디어 그룹 콘데나스트(Conde Nast)와 타임, AP, 디애틀랜틱 등 굵직한 언론사들이 클라우드플레어와 계약을 체결했다.3)
언론사들에겐 낯선 이름일 클라우드플레어는 인터넷의 경찰관에 비유할 수 있다. 인터넷을 오가는 트래픽을 중간에서 감시하면서 이상 징후는 없는지 교통 정리를 한다. 따라서 AI 빅테크들이 어떤 에이전트나 크롤러를 통해 웹사이트에 접근하는지 속속들이 파악하고 통제할 수 있다.
클라우드플레어는 이러한 기술 역량을 바탕으로 콘텐츠 사업자를 위한 AI 오디트(AI Audit)라는 제품을 지난 7월 1일 출시했다.4) 언론사를 비롯한 콘텐츠 사업자가 특정 AI 크롤러를 차단, 과금 혹은 허용할 수 있도록 제어하는 시스템이다. 크롤당 가격도 언론사가 직접 결정할 수 있다. 예를 들어 오픈AI의 학습용 크롤러인 GPT봇(GPT bot)에 대해 ‘과금’을 선택하고 1크롤링 당 1,000원을 설정하면 그 금액이 결제될 때까지 봇을 차단하는 방식이다. 이 시스템을 적용하면 언론사들은 AI 빅테크 기업들과 별도의 제휴 계약을 맺지 않고도 콘텐츠 수익을 낼 수 있다.
쿼리당 과금이냐 크롤당 과금이냐
하지만 생각만큼 문제가 간단하지는 않다. 일단 과금 방식에 대해 이해관계자 간 이견이 존재한다. 크롤당 과금(CPCrawl)할 것인지, 쿼리당 과금(CPQuery)5)할 것인지 의견이 엇갈린다. 과금 방식에 따라 언론사의 수익 규모가 달라져서다. 쿼리당 과금 방식이 언론사 입장에선 유리하다. AI 검색이 답변 생성을 위해 언론사 링크를 인용할 때마다 비용을 지불해야 하기에, 권위 있고 규모가 큰 언론사일수록 혜택을 볼 가능성이 크다. 반면, 크롤당 과금 방식은 상대적으로 AI 빅테크에 이점이 있다. AI 기업들은 수천 건의 기사를 일정 비용을 지불하고 한 번 크롤링해두면, 두고두고 검색 결과에 활용할 수 있다. 장기적으로 비용을 절감할 수 있는 것이다. 현재 IAB 테크랩은 쿼리당 과금 체계를 지지하지만 클라우드플레어는 크롤당 과금 체계를 주장한다.
기사 유형에 따른 가격 차별화 이슈도 남아 있다. 예를 들어, 데일리 기사와 탐사보도, 과거 콘텐츠, 독점 인터뷰, 유료 콘텐츠를 동일한 가격에 제공할 수는 없는 노릇이다. 1차적으로 공통된 분류 체계를 마련해야 하고, 각 분류마다 다른 가격표를 매겨 접근하도록 기사 데이터를 구조화해야 한다. AI 빅테크들도 품질이 서로 다른 콘텐츠나 기사에 단일한 비용을 지불하기를 꺼린다. 기왕이면 더 높은 품질의 콘텐츠를 더 낮은 가격에 접근할 수 있기를 기대한다.
출처 추적 방식과 데이터의 정확도도 넘어야 할 산이다. 돈이 오가는 시스템인 만큼 어떤 언론사의 기사를 어느 정도 규모로 얼마나 활용했는지에 대한 정확한 통계가 상호 검증돼야 한다. 그 데이터에 따라 정확한 비용 산정이 가능해지고, 그래야 상호 만족스러운 상생 모델이 지속될 수 있다. 워킹 그룹 테이블에서 이러한 쟁점들에 대한 이견이 좁혀져야 모두가 만족할 수 있는 프로토콜 마련이 가능해지는 것이다.
앞서 언급된 쟁점을 중재할 수 있는 핵심 플레이어는 언론사도 AI 빅테크도 IAB도 아닌 클라우드플레어나 패스틀리(Fastly)6) 같은 엣지 컴퓨팅 기업이다. 전 세계 웹 트래픽의 20% 이상은 클라우드플레어를 거쳐가고 있다. 이 기업의 엣지 프록시(Proxy) 서버 시장 점유율은 80%를 넘어설 정도다.7) 재차 강조하지만 클라우드플레어는 인터넷이라는 네트워크에서 오가는 다양한 봇이나 에이전트의 활동들을 감시하고 분석하며 모니터링할 수 있다. 만약 이 논의 테이블에 엣지 컴퓨팅 기업들이 참여하지 않으면 AI 크롤러나 에이전트에 대한 완전한 물리적 통제나 정확한 데이터 수집이 쉽지 않다.
언론사가 어떤 방식의 과금 모델을 선호하건 엣지 컴퓨팅 기업들을 설득하지 못하면 이 프로젝트는 무산될 가능성이 커진다. IAB 테크랩이 프로토콜 기획을 주도하고 있긴 하나 이들의 참여 없이는 실질적 성과를 이끌어내기 어렵다. 키는 클라우드플레어가 쥐고 있다고 해도 과언이 아니다. 이들 기업 없이 robots.txt를 통해 AI 크롤러를 완벽하게 통제하는 건 불가능하다. 이미 적지 않은 AI 빅테크들이 이 규약을 준수하지 않고 우회하고 있다. robots.txt가 이해관계 앞에서 무력화되는 풍경을 우리는 목도하고 있다.
AI 에이전트 시대, 새로운 수익의 기회가 열린다
어떤 방식이 표준으로 자리 잡든 언론사에겐 새로운 수익 창출의 기회가 열린다. 특히 AI 브라우저 보급의 확산 등으로 AI 에이전트가 인간 유발 트래픽을 넘어서는 시점이 도래하면 수익 기여도는 더 커질 수도 있다. 일단 기술적 방법은 도출됐다. 남은 건 정책과 합의 그리고 신뢰의 문제다. 덜 지불하려는 AI 빅테크와 더 받으려는 언론사, 그 사이에서 통제의 주도권을 쥐고 있는 클라우드플레어, 광고 측정 표준을 함께 밀어넣으려는 IAB가 같은 방향을 바라보며 최종안을 도출하지 않으면 이 수익 모델은 자칫 흐지부지될 수도 있다. 최악은 AI 기업이 이 표준을 주도하는 모양새다. 언론사가 절대적으로 불리할 수밖에 없는 구조가 정착될 수 있어서다.
다시 말하지만 최종적으로 어떤 과금 방식이 채택되든 언론사의 핵심 수익 모델은 변화를 피할 수 없다. AI 대상 과금 수익과 광고 수익의 균형은 이전과는 다른 모습으로 전개될 수밖에 없다는 말이다. 챗GPT 검색, 구글 AI 오버뷰/모드, 퍼플렉시티 등이 주류화할수록 디지털 광고의 수익 창출력은 약화할 것이다. 아니면 AI 빅테크가 나눠주는 광고 수익의 부스러기를 추수하는 방법 뿐이다.
언론사 입장에서 AI 대상 과금 모델에 관심을 갖는 건 그래서 자연스럽다. 기존에 없던, AI 에이전트 시대의 새로운 수익 모델이기도 해서다. 다만, 조건이 있다. 언론사 스스로가 신뢰와 ‘분야 권위도’ 경쟁에서 우위를 점해야만 한다. 경쟁사보다 나아야 하고 크리에이터보다 질적으로 뛰어나야 한다. 웹에 공개된 수많은 전문 콘텐츠들 사이에서 ‘왜 우리 기사를 AI 검색이 인용할 수밖에 없는지’ 저널리즘의 품질로 증명해야 한다. 대체재가 있다면 굳이 과금 체계가 부착된 사이트에 돈을 지불하면서까지 에이전트를 보낼 이유는 없기 때문이다. 저널리즘 품질 확보와 차별성이 어느 때보다 중요해지는 시점이 다가오고 있다.
1) Davies, J., <From walls to frameworks: Publishers and tech giants push weekly talks on AI content use>, Digidayl, 2025.10.8, https://digiday.com/media/from-walls-to-frameworkspublishers-and-tech-giants-push-weekly-talks-on-ai-content-use
2) Sweney, M., <‘Existential crisis’: how Google’s shift to AI has upended the online news model>, The Guardian, 2025.9.6, https://www.theguardian.com/media/2025/sep/06/existentialcrisis-google-use-ai-search-upended-web-publishers-models
3) Zeff, M., <Cloudflare launches a marketplace that lets websites charge AI bots for scraping>, Tedh Crunch, 2025.7.1, https://techcrunch.com/2025/07/01/cloudflare-launches-amarketplace-that-lets-websites-charge-ai-bots-for-scraping/
4) Allen, W. & Newton, S., <Introducing pay per crawl: Enabling content owners to charge AI crawlers for access>, The
Cloudflare Blog, 2025.7.1, https://blog.cloudflare.com/introducing-pay-per-crawl
5) <IAB Tech Lab LLM, Content Ingest API Overview>, IAB Tech Lab, https://iabtechlab.com/standards/iab-tech-lab-llmcontent-ingest-api-overview
7) Khan, M., A., <Cloudflare Is Building a Business Beyond Cybersecurity as Edge Opportunity Beckons>, Morningstar, 2025.5.9, https://www.morningstar.com/companyreports/1283229-cloudflare-is-building-a-businessbeyond-cybersecurity-as-edge-pportunity-beckons?utm_source=chatgpt.com
저자의 다른 미디어
![[미디어 트렌드]검색 시장의 판도를 바꿀 AI 검색](static/images/noimg.png)
