기사 상세
검색 시장의 지각변동이 일어나고 있다. 판을 흔들고 있는 것은 챗GPT와 구글 AI 오버뷰. 여기에 퍼플렉시티와 젠스파크 같은 신생 AI 검색엔진까지 가세하고 있다. 기존 검색과의 차별점과 앞으로 언론은 이에 어떻게 대응해야 할지, AI 검색을 둘러싼 다양한 쟁점을 확인해 본다. 편집자 주
검색 질서가 흔들리고 있다. 20여 년 만이다. 2000년대를 전후해 구글과 네이버가 새로운 정보 유통 질서를 장악했던 것만큼이나 변동 폭은 크고 깊어 보인다. 혹자는 정보 유통의 지배적 질서가 바뀌는 변곡점이라고까지 언급한다. 어찌 됐든 중요한 기술적 변화의 한복판에 서 있다는 사실은 부인하기 어렵다.
검색 질서의 변동을 이끄는 핵심 행위자는 오픈AI의 챗GPT 검색과 구글의 AI 오버뷰(AI Overview)다. 여기에 퍼플렉시티(Perplexity), 젠스파크(Genspark)와 같은 신생 AI 검색 플레이어까지 가세하면서 주도권 싸움을 벌이고 있다. 이러한 영향인지 상대적으로 효과적으로 대응하고 있다는 구글 검색마저도 점유율이 하락할 것이라는 보도가 나오고 있다.1) 국내도 이러한 변화의 파고에 영향을 받고 있다. 네이버는 AI 브리핑을 올해 출시하겠다고 예고했고 뤼튼과 라이너 같은 AI 검색 스타트업도 발 빠르게 점유율을 확대해가고 있다. AI 검색 시장을 노리는 또 다른 스타트업들도 꾸준하게 출현하는 중이다. 글로벌 차원에서든 지역 차원에서든 누가 우위를 점하게 될지 아직 예측하기 힘든 국면이다.
현재까지는 챗GPT 검색과 구글 AI 오버뷰가 앞서가고 있다. 2024년 말 발표된 샘러쉬(SEMrush)와 스태티스타의 보고서2)를 보면, 트래픽 유발 기준으로 챗GPT 검색과 구글 AI 오버뷰의 AI 검색 시장 점유율은 각각 36.8%, 35.3%다. 둘을 합하면 70%가 훌쩍 넘는다. 이를 퍼플렉시티와 마이크로소프트의 빙 AI(Bing AI) 검색이 뒤쫓고 있다. 하지만 어디까지나 초반 기세일 뿐, 1~2년 뒤를 장담하기는 어렵다. M&A와 같은 이합집산이 언제 어떤 방식으로 성사될지도 모르기에 그렇다.
하이브리드RAG 검색, 무엇이 달라지나
AI 검색을 정보 유통 질서의 변동에 견주는 이유는 검색의 기술적 구현과 결과 노출 방식 변화 때문이다. 키워드 매칭을 통해 관련 문서를 ‘파란색 링크’ 방식으로 제시하던 기존 검색엔진과 달리, AI 검색은 사용자의 질문 의도를 깊이 분석해, 관련 문서를 찾아내고 여기에 답변까지 제시한다. 그래서 후자를 ‘답변 엔진(Answer Engine)’이라고 부른다. 챗GPT나 구글 AI 오버뷰로 검색하면 링크가 아닌 거대언어모델이 생성한 답변이 먼저 나오는 인터페이스 구조에서 이러한 이름이 붙여졌다.
답변 엔진은 검색증강생성(Retrieval-Augmented Generation)3)이라는 기술에 빚을 지고 있다. 의미론 기반의 시맨틱 검색 알고리즘과 벡터데이터베이스, 거대언어모델의 통합체다. 깊이 들어가면 다양한 기술이 복합적으로 연결돼 있긴 하지만 골격 자체는 검색증강생성이라 할 수 있다. 검색증강생성은 사용자가 질문한 문장과 검색 대상 문서를 수치화 가능한 벡터값으로 변경하고, 이 둘 간의 유사도를 다차원 공간 안에서 거리 기반으로 계산한다. 그래서 벡터 검색이라고 부르기도 한다. 이 과정에서 키워드보다는 문장의 의도와 맥락이 더 비중 있게 처리된다.
최근 들어서는 하이브리드RAG(HybridRAG)라는 이름으로 지식 그래프가 추가돼 사용자 의도에 맞는 정확한 관련 문서 검색이 가능해졌다.4) 물론 기존 검색엔진의 키워드 서치도 동원된다. 정리하자면, 벡터화된 문서와 외부 검색 문서, 지식 그래프까지 통합돼 거대한 데이터베이스를 구축하고, 여기에 거대언어모델이 관련도 높은 문서를 재정렬해 답변까지 생성하는 복잡한 아키텍처로 구성돼 있다. 현재 이 검색 기술은 하루가 멀다 하고 업그레이드 된 형태로 발전해가고 있으며, 다수의 AI 검색은 바로 하이브리드RAG 구조로 작동하고 있다.
하이브리드RAG로 구축된 AI 검색은 두 가지 측면에서 뉴스 유통에 영향을 미친다. 첫 번째는 답변 중심의 검색 결과와 트래픽 감소다. 앞서도 언급했다시피 키워드 매칭 방식으로 관련도 높은 문서를 파란색 링크로 제시하는 방식은 비중이 크게 줄어든다. 사용자들은 자연어로 된 질문을 던지고 즉각 답변까지 얻어간다. 답변에 활용된 링크를 확인할 수는 있지만 이를 클릭할 확률은 이전보다 현저하게 낮아진다.
두 번째는 고품질 저널리즘의 선호 현상이다. 최근 발표된 논문5)을 보면, AI 검색은 장문의 깊이 있는 문서를 더 높은 비중으로 인용하는 것으로 나타났다. 특히 출처 링크가 명확하고, 통계 관련 내용을 포함하고 있으며, 인용문이 적절히 배치돼 있는 문서일수록 답변 생성에 더 자주 사용하는 것으로 확인됐다. 일부 기법들은 AI 검색에서 가시성이 100% 이상 향상되는 결과를 보이기도 했다. 이러한 최적화 기법이 언제까지 유효할지는 분명하지 않지만, 현재 시점에서는 고품질 문서들이 AI 검색에서 상위에 노출될 가능성이 더 높다. 이러한 조건을 뉴스 관점에서 정의하자면 데이터 기반의 분석적 저널리즘 결과물들이 AI 검색에서 선호된다고 말할 수 있다. 실제로 챗GPT 검색과 퍼플렉시티에서 답변 생성에 ‘인용’되는 문서들을 보면, 언론사의 브랜드 권위도 평가받곤 하지만, 내용이 충실한 문서일수록 더 높은 랭킹에 오르는 경우가 빈번했다.
네이버 검색은 어떻게
국내 언론사들의 주된 관심사는 네이버 검색의 변화다. 네이버 또한 올해 AI 브리핑을 통해 AI 검색 시장에 본격적으로 뛰어들 예정임을 밝혔다.6) 지난해 DAN 247)에서 공개된 네이버 AI 브리핑의 예시 화면을 보면 앞선 글로벌 AI 검색과 유사하게 답변 엔진의 특성을 갖추고 있다. 다만 다른 점이라면, 사용자의 검색 의도에 따라 답변 UI가 변한다는 점이다. 예를 들어 답변을 기대하는 정보적 검색 질의문이라면 답변을 우선 배치하지만 구매 의도라면 간단한 요약과 함께 콘텐츠 링크를 먼저 제시하는 방식이다. 뉴스나 블로그 같은 자체 콘텐츠 생태계를 구축한 네이버 입장에선 웹사이트로의 트래픽 전달을 일정 수준 유지할 수밖에 없다. 내부 콘텐츠 생태계를 보유한 플랫폼으로서 강점을 유지하기 위한 최소 방어선이기 때문이기도 하다.
언론사 무엇을 경계하고 준비해야 하나
검색 질서의 변동은 언론사의 생존과 독자 도달 방식에 상당한 영향을 미칠 수밖에 없다. 특히 2000년대 초 네이버 종속의 트라우마를 지닌 국내 언론사들은 새롭게 부상하는 검색 질서가 뉴스 유통과 소비에 어떤 영향을 미칠지 촉각을 곤두세울 수밖에 없는 처지다.
현재까지 드러난 영향을 보면 부정적인 측면이 더 강할 것으로 전망된다. 우선 AI 검색 차단의 효과가 실효성이 없는 것으로 관찰되고 있다. 언론사들은 AI 검색 기업으로부터 콘텐츠 대가를 지불받기 위해 AI 검색용 크롤러를 차단하고 있다. 협상력을 높이기 위한 정책적 선택이다. 하지만 최근 컬럼비아 저널리즘 리뷰의 실험8)에 따르면, 챗GPT 검색이 답변으로 제시한 200개의 인용문 중에 약 40개가 AI 검색을 차단한 언론사의 기사로부터 나왔다. 심지어 페이월로 접근을 제한한 콘텐츠마저도 웹상에 공개된 불법 복제본에 의해 답변 생성에 활용되고 있었다. 앞으로 취해질 저작권 관련 법적 조치에 따라 이러한 현상은 줄어들 가능성이 높지만, 언론사의 구독 비즈니스에 부정적 효과가 발생할 수도 있다.
검색 유입 트래픽이 감소할 개연성도 배제하기 어렵다. 실제 영국의 경우 지난해 8월 구글 AI 오버뷰가 본격 적용된 이래 최근 3개월 동안 검색 유입 트래픽이 5~10% 감소한 것으로 나타났다.9) 가치 있는 검색 트래픽을 계속 제공할 것이라던 구글의 주장과는 달리 몇몇 언론사들 중심으로 트래픽 감소가 현실화하고 있는 것이다. 이는 언론사들의 디지털 광고 수익 하락으로 이어져 수익성을 악화하는 요인으로 작용할 수도 있다. 구글은 ‘구글 디스커버리’를 통해 언론사로 보내는 트래픽을 늘려가고 있지만 이를 지속하기란 쉽지 않아 보인다. 콘텐츠 생산자들이 계속 증가하고 있는 상황에서 언론사에만 특혜를 부여하기는 정책적으로 어려워서다. 구글 AI 오버뷰는 2024년 12월 5일 한국에도 적용되기 시작했다.10)
고품질 저널리즘이 더 귀중해진다
AI 검색 질서의 변동은 앞서 언급했다시피 언론사들의 기존 수익모델을 신중하게 재조정해 볼 것을 강제하고 있다. 특히 검색 트래픽 기반의 광고 수익은 더 빨리 비중 축소를 검토해야 할 수도 있다. AI 검색은 즉각적인 답변 제시를 통해 관련 링크의 클릭 유발을 감소시킨다. 자극적인 제목을 달아 얄팍한 정보로 유인하는 클릭 유도 전략도 더 이상 작동하지 않게 된다. 굳이 해당 사이트로 이동하지 않더라도 기사에 포함된 내용을 곧장 확인할 수 있어서다.
AI 검색을 통해 언론사 웹사이트로 독자들을 데려오려면 요약문으로 채워지지 않는 깊은 정보를 기사가 담고 있어야 한다. 또한 내용에 대한 궁금증과 호기심도 끌어낼 수 있어야 한다. 고품질 저널리즘에 대한 투자가 현재의 웹사이트 트래픽을 유지할 수 있는 중요한 전략 중의 하나가 될 수밖에 없는 이유다. 뿐만 아니라 어렵게 유입시킨 독자들을 검색 매개 없이 지속적으로 방문시키기 위한 전략도 마련할 필요가 있다. 뉴스레터나 메신저를 통한 독자와의 직접 관계 구축이 이전보다 더더욱 중요해진다.
다른 한편으로는 허락받지 않은 기사 인용에 대해 적극적인 법적 조치를 취할 필요가 있다. AI 검색 기업들은 검색 결과물의 신뢰를 지탱하기 위해 고품질 뉴스에 대한 광범위한 접근을 시도하고 있다. 앞에 소개한 오픈AI의 사례처럼, 페이월로 둘러싸인 고품질 저널리즘을 검색 생성에 활용하기 위해 불법으로 복제한 사이트를 긁어오는 시도까지 하고 있다. 이러한 행위가 방치될 경우 언론사들은 수익에 적지 않은 타격을 받을 수 있다. AI 검색 기업들과 뉴스 공급 협상을 진행할 필요도 있겠지만 이들의 불합리한 행태에 경종을 울리기 위한 기술·법적 조치를 꾸준하게 병행해야만 한다.
국내 언론사들은 아직 2000년대 ‘네이버 종속 트라우마’에서 벗어나지 못한 상태다. 작은 자만심과 안일한 대처가 불러온 플랫폼과의 종속적 관계는 거의 20년에 가까운 시간 동안 뉴스 유통권 상실을 불러왔다. 현재의 검색 질서 변동은 2000년대를 반추하고 현명하게 대응할 것을 요구하고 있다. ‘어쩔 수 없다’는 자조 섞인 ‘지금의’ 선택이 향후 20년 이상, AI 검색의 종속으로 이어질 수 있다는 사실을 유념할 필요가 있다.
1) 김태종, <줄어드는 구글 검색 광고 시장 지배력…내년 美 점유율 50%↓>, 연합뉴스, 2024.10.7, https://www.yna.co.kr/view/AKR20241007000700091?section=market-plus/all
2) <Online search after ChatGPT: the impact of generative AI>, Statista, 2024, https://www.statista.com/study/176093/the-impact-ofchatgpt-and-generative-ai-on-online-search
3) https://aws.amazon.com/ko/what-is/retrieval-augmentedgeneration
4) Sarmah, B., Mehta, D., Hall, B., Rao, R., Patel, S., & Pasquali, S.(2024.11), <HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction>, pp.608-616, In Proceedings of the 5th ACM International Conference on AI in Finance
5) Aggarwal, P., Murahari, V., Rajpurohit, T., Kalyan, A., Narasimhan, K., & Deshpande, A.(2024.8), <Geo: Generative engine optimization>, pp.5-16, In Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining
6) 최승영, <네이버, 내년 상반기 ‘AI 브리핑’ 출시… 요약문 통해 자사 콘텐츠로 연결>, 한국기자협회, 2024.11.26, http://m.journalist.or.kr/m/m_
article.html?no=57172
7) https://dan.naver.com/24/sessions
8) Jaźwińska K. & Chandrasekar, A., <How ChatGPT Search (Mis)represents Publisher Content>, Columbia Journalism Review, 2024.11.27, https://www.cjr.org/tow_center/how-chatgptmisrepresents-publisher-content.php
9) Benjamin, J., <Publishers say Google’s AI Overviews have reduced traffic potential>, The Media Leader, 2024.11.26, https://uk.themedialeader.com/publishers-say-googles-ai-overviews-havereduced-traffic-potential
10) <구글 검색에 ‘AI 개요’ 기능을 한국어로 도입합니다.>, 구글코리아 블로그, 2024.12.5, https://blog.google/intl/ko-kr/products/explore-getanswers/aio_kr
저자의 다른 미디어
