기사 상세
챗GPT 보급이 확산되면서 팩트체크의 중요성이 커졌다. 놀라운 능력을 과시하지만 검증되지 않은 허위 정보를 쏟아내는 경우도 많기 때문이다. 챗GPT 시대, 저널리즘의 가장 중요한 덕목인 팩트체크 관련 쟁점을 짚어본다. 편집자 주
‘천재 작가’ 임병석은 어린 시절 할리우드 영화에 푹 빠져 살았다. 그는 친구 윤명석 감독에게 자신이 쓴 시나리오를 건네준다. 이 영화가 대박을 치면서 영화제에서 상을 받는다. 하지만 영광의 시간은 오래 가지 못했다. 임병석의 시나리오가 할리우드 영화들을 교묘하게 짜깁기했다는 사실이 드러났기 때문이다. 화가 난 윤명석 감독은 임병석을 추궁한다. 원작과 표절한 장면을 번갈아 보여주면서 “왜 그랬냐”고
따져 묻는다. 그러자 임병석은 이렇게 항변한다.
“난 널 속이려 한 게 아니다. 나도 내 자신에게 속았다. 모든 게 내 창작인 줄 알았다. 나 임병석이가 할리우드 키드한테 속은 거다.”
영화 <할리우드 키드의 생애>에 나오는 장면이다. 안정효 소설가가 쓴 소설을 정지영 감독이 영화로 만든 작품이다. 다양한 함의를 담고 있는 이 작품은 챗GPT 시대를 살아가는 많은 사람에게 중요한 메시지를 던져준다. 천재 작가 임병석의 모습에서 챗GPT의 가능성과 한계를 그대로 보여주기 때문이다.
챗GPT는 채팅하듯이 질문을 하면 바로 해답을 제시해주는 인공지능(AI) 프로그램이다. 방대한 데이터를 학습한 뒤 상황에 맞게 글을 만들어준다. 이런 대규모 언어모델(LLM)을 흔히 생성 AI라고 부른다. 빅데이터를 학습한 생성 AI의 답변 능력은 상상을 초월한다. 이세돌 9단과 바둑 대결에서 승리했던 알파고가 AI의 막강한 힘을 보여줬다면, 챗GPT는 AI의 위협이 우리 현실과 좀 더 가까운 곳까지 다가왔다는 사실을 그대로 보여줬다.
‘아무 말 대잔치’에 속지 않으려면
챗GPT는 간단한 문서부터 복잡한 보고서까지 순식간에 뚝딱 만들어낸다. 여행 계획표를 비롯한 실생활 업무도 수월하게 처리해 준다. 그뿐 아니다. 난이도 높은 학술논문을 작성하는가 하면 시, 소설, 보고서까지 단숨에 써낸다. 제법 창의적인 것처럼 보이는 아이디어를 제시하기도 한다. 그러다 보니 챗GPT가 본격 활용될 경우엔 적지 않은 일자리가 사라질 것이라는 전망은 더 이상 새로울 것이 없을 정도다.
하지만 챗GPT가 저널리즘에서 갖는 의미는 단순히 기자들의 업무를 얼마나 대체할 것이냐는 ‘미래형 문제’뿐만이 아니다. 저널리즘에서 가장 중요한 덕목인 ‘팩트체크’와 관련해서도 생각할 거리를 상당히 많이 던져 준다. ‘그럴듯한 거짓말’을 꽤 정교하게 만들어내기 때문이다. 챗GPT 시대의 팩트체크와 관련해 제기된 쟁점들을 크게 두 가지 부류로 정리할 수 있다.
첫째, 챗GPT가 쏟아내는 글들은 어떻게 팩트체크 해야 할까.
둘째, 챗GPT를 팩트체크에 어떻게 활용할 수 있을까.
일단 첫 번째 문제부터 살펴보자. 챗GPT 보급이 급격하게 확산되면서 많은 사람이 ‘환각(hallucination) 현상’을 경계해야 한다고 강조했다. 환각 현상이란 AI가 ‘아무 말 대잔치’를 하는 상황을 묘사한 말이다. ‘AI 4대 천왕’ 중 한 명으로 꼽히는 제프리 힌턴(Geoffrey Hinton)은 환각보다는 ‘작화증(confabulation)’이란 용어를 더 선호한다. 작화증이란 ‘자기의 공상을 실제 일처럼 말하면서 자신은 그것이 허위라는 것을 인식하지 못하는 증상’을 의미한다.
실제로 챗GPT는 깜짝 놀랄 정도로 뛰어난 글을 써내기도 하지만, 때론 여기저기 있는 자료들을 끼워 맞춰서 ‘그럴듯한 거짓말’을 마구 쏟아내기도 한다. 게다가 챗GPT는 어떤 글이나 참고 자료를 근거로 그런 주장을 하게 됐는지 제시하지 않는 경우가 태반이다. 인터넷에 올라와 있는 자료를 무차별 학습한 뒤 자신의 주장처럼 쏟아낸다. 천재 작가 임병석이 어린 시절 학습했던 할리우드 영화를 자신의 아이디어인 것처럼 활용했던 것과 비슷하다.
이런 상황에서 챗GPT의 ‘아무 말 대잔치’에 속지 않으려면 어떻게 해야 할까? 이안 폭스(Ian Fox)가 소개한 챗GPT 시대에 오류를 찾아내는 몇 가지 노하우는 주목할 만한 가치가 있다.1)
첫째, 특정 유형이나 불일치점을 확인하라.
AI가 생성한 콘텐츠는 사람과는 다른 독특한 패턴이 나타나는 경우가 많다. 이를테면 똑같은 문구를 되풀이해서 사용하거나, 특정 구조를 반복적으로 활용하는 경향이 있다. 이런 형태가 눈에 띄면 좀 더 면밀하게 살펴볼 필요가 있다.
둘째, AI 특유의 실수 흔적을 찾아보라.
AI는 사람이라면 도저히 하지 않을 실수를 저지르기도 한다. 이를테면 말도 안 되는 어색한 문장을 사용하거나, 맥락에 맞지 않는 글을 쓰기도 한다. 한때 많은 관심을 모았던 로봇 저널리즘에서도 ‘AI 특유의 황당한 실수’가 화제가 되기도 했다. 이를테면 인간 편집자는 축구 경기에서 A팀이 B팀을 20대 0으로 이겼다는 기사가 나오면 일단은 의심을 하게 된다. 축구 경기에서 20대 0이란 스코어는 거의 나오지 않기 때문이다. 그런데 AI는 이런 스코어에 대해 의심을 하지 않는다.
셋째, 맥락을 확인해보라.
AI는 맥락에서 벗어나거나, 대화 흐름과 통하지 않는 글을 쏟아낼 수도 있다. 이런 특징이 있으면 일단 의심해보는 것이 좋다. 하지만 챗GPT 사례에서 볼 수 있는 것처럼, AI의 성능은 빠르게 향상되기 때문에 이런 허점이 개선될 가능성도 적지 않다.
팩트체크 자동화를 위한 시도
챗GPT 같은 대규모 언어모델은 버튼을 한 번 누르는 것만으로도 각종 허위 정보를 자동으로 대량 생산할 수 있다. 그러다 보니 팩트체커의 부담은 더 커졌다. 허위 콘텐츠 생산 속도를 따라잡는 것이 쉽지 않은 상황이 됐기 때문이다. 오픈AI 역시 초기부터 자신들이 만든 챗GPT가 사악한 의도를 가진 사람들의 손에 들어가 허위 정보를 대량생산하는 수단으로 악용될 가능성에 대해 우려해 왔다.
챗GPT보다 더 위협적인 존재도 있다. 역시 오픈AI가 내놓은 달리(DALL-E)란 프로그램이다. 달리는 텍스트로 묘사한 내용을 그림으로 재현해준다. 글뿐 아니라 이미지까지도 ‘진짜 같은 가짜’를 만들어낼 수 있다는 것이다. 최근 들어 이미지나 영상을 대상으로 한 팩트체크 비중이 커지고 있는 점을 감안하면 이런 생성AI 기술의 발달은 상당한 부담이 될 가능성이 많다.
따라서 챗GPT 같은 생성 AI 모델의 허점을 찾아내는 방식만으로는 ‘가짜뉴스 홍수’를 피하기 쉽지 않다. 생성 AI 기술을 활용한 ‘거짓말 공세’에 제대로 대응하기 위해선 팩트체크 작업도 기술적 혁신이 필요하다. 최근 들어 팩트체크 작업에 AI 기술을 접목하려는 연구가 속도를 내고 있는 것은 이런 사정과 관계가 있다.
팩트체크 자동화 연구가 최근 들어 시작된 것은 아니다. 지금으로부터 10년 전인 2013년에 이미 실시간 자동 팩트체크 연구가 시작됐다. 팩트체크 자동화의 씨앗을 뿌린 것은 미국 듀크대 교수이자 팩트체크 전문 사이트 폴리티팩트(Politifact) 창업자인 빌 어데어(Bill Adair)였다. 그는 2013년 스쿼시(Squash)란 실시간 팩트체크 시스템을 통해 자동으로 진실성 여부를 측정하는 실험을 진행했다. 이 시스템은 정치인이 토크쇼에서 발언을 할 때마다 화면 오른쪽 하단에 ‘진실게이지(Truth-O-Meter)’를 띄워줬다. 진실게이지는 정치인의 발언을 진실부터 새빨간 거짓말까지 6단계로 검증한 뒤 그 결과를 시각적으로 바로 보여줬다.
스쿼시는 음성을 텍스트로 변환한 뒤 데이터베이스에 쌓여 있는 팩트체크가 끝난 정보와 비교하는 방식으로 작동한다. 하지만 이 방식은 두 가지 측면에서 많은 한계를 드러냈다. 무엇보다 음성을 텍스트로 변환하는 작업이 완벽하지 않았다. 그러다 보니 스쿼시를 활용해 팩트체크할 때는 사람이 검증 작업을 해야만 했다. 더 중요한 한계는 ‘실시간 검증’을 무리 없이 할 수 있을 정도로 팩트체크된 데이터베이스가 충분하지 않다는 점이다.
아직은 먼 생성 AI 팩트체크 자동화
그 사이 관련 기술이 발달하고, 대규모 언어모델을 기반으로 한 AI 기술 보급이 확대되면서 ‘팩트체크 자동화’란 비전이 조금씩 더 가시화되고 있다. 이런 흐름을 주도하고 있는 대표적인 기관 중 한 곳이 스페인의 팩트체킹 전문기관인 뉴트랄(Newtral)이다. 뉴트랄은 2020년 AI 다중언어 모델인 클레임헌터(ClaimHunter)를 개발하면서 팩트체크 자동화 실험에 속도를 붙였다. 버트(BERT) 언어모델을 기반으로 한 클레임헌터는 1만 여 개 진술을 활용해 팩트체킹 훈련을 했다. 훈련에 활용한 진술문에는 사실 주장을 비롯해 각종 데이터와 숫자, 비교 같은 다양한 유형이 포함돼 있었다.
클레임헌터는 트위터에 올라온 정치적 주장들을 자동으로 체크하며, 영상이나 오디오에 있는 정치인들의 발언을 텍스트로 변환해준다. 이렇게 수집한 자료 중 공중의 생활과 밀접한 관련이 있으면서 팩트체크가 필요한 부분에 특별한 표시를 하고, 이 부분에 대한 검증 작업을 하게 된다. 하지만 자동으로 팩트체크 작업을 하는 것은 생각처럼 간단하지 않다. 정치인의 주장이나 소셜미디어 계정에 올라온 글 중 팩트체크가 필요한 부분을 표시하는 것조차 쉬운 작업은 아니다. 그러다 보니 클레임헌터의 자동 팩트체크 정확도 역시 70~80% 수준을 넘지 못한다.2)
우리 속담에 “장정 열 명이 도둑 한 명을 못 잡는다”는 말이 있다. 훔치는 것보다 지키는 것이 몇 배는 더 어렵다는 말이다. 대규모 언어모델을 활용한 자동화된 팩트체크에도 이 속담은 그대로 적용된다. 실시간 자동 팩트체크가 제대로 되기 위해선 ‘검증된 팩트’가 굉장히 많이 확보돼 있어야 한다. 또 팩트체크 시스템이 실시간으로 그 데이터베이스에 접근할 수 있어야 한다. 그런데 그게 말처럼 쉽지가 않다.
더 큰 문제는 챗GPT 같은 대규모 언어모델은 최신 자료에 대한 학습이 제대로 돼 있지 않다는 점이다. 그러다 보니 실시간 팩트체크 시스템은 언론이 속보 경쟁을 하면서 경쟁적으로 쏟아내는 뉴스들의 진위를 검증하는 데는 한계가 적지 않다. 민감한 사안들은 대부분 매일 벌어지는 사건 속에서 발생한다는 점을 감안하면 생성 AI를 활용한 실시간 팩트체크 자동화는 갈 길이 멀다는 것을 알 수 있다. 생성 AI를 활용하더라도 여전히 숙련된 사람의 손길이 필요하다는 의미다.
챗GPT와 ‘행복한 동행’ 하려면
서두에서 꺼낸 <할리우드 키드의 생애> 이야기로 다시 돌아가 보자. 이 영화에서 임병석은 할리우드 영화에 대해 누구도 범접하기 힘들 정도로 방대한 지식을 갖고 있는 덕분에 천재 작가 노릇을 할 수 있었다. 하지만 그는 자기 고유의 지식과 어디선가 가져온 지식을 제대로 구분할 능력은 없었다. 그 결과 그는 하루아침에 천재 작가에서 표절 작가로 전락했다.
챗GPT도 천재 작가 임병석과 비슷한 허점을 많이 갖고 있다. 하지만 임병석을 적절하게 제어해야 했던 윤명석 감독은 게이트키퍼 역할을 제대로 수행하지 못했다. 뒤늦게 사실을 깨달았을 때는 이미 ‘표절 영화감독’이란 오명을 뒤집어 쓴 뒤였다. 공상과학 영화 속에서나 AI를 접하던 시대에 만들어진 이 영화는 챗GPT 시대를 살아가는 우리가 놓여 있는 현실을 비유적으로 잘 보여준다.
어떻게 하면 우리 시대의 윤명석 감독은 임병석(챗GPT)과 ‘행복한 동행’을 할 수 있을까? 무엇보다 먼저 챗GPT가 쏟아내는 ‘그럴듯한 거짓말’을 적절하게 걸러낼 수 있어야 한다. 하지만 그것만으로는 부족하다. 한 발 더 나아가, 챗GPT 기술의 장점을 적절하게 활용해 무차별적으로 쏟아지는 ‘가짜뉴스’를 가려내야만 한다. 말은 쉽지만, 현실은 결코 녹록하지 않다. 어쩌면 팩트체크 자동화는 지금까지 해왔던 그 어떤 작업보다 힘들 수도 있다. 결국 현실적으로는 ‘똑똑한 챗GPT가 거짓말을 가려내는 법’을 터득하면서 동시에 ‘챗GPT의 그럴 듯한 거짓말에 속지 않는 법’을 익히는 수밖에 없을 것 같다.
1) Fox, I., <ChatGPT: Separate fact from fiction in the era of AI>, Poynter, 2023.2.15, https://www.poynter.org/tfcn/2023/chatgptseparating-fact-from-fiction-in-the-era-of-ai/
2) Mirrish, L., <Fact-checkers are scrambling to fight disinformation with AI>, Wired, 2023.1.2, https://www.wired.co.uk/article/factcheckers-ai-chatgpt-misinformation
저자의 다른 미디어
![[미디어 리뷰]스탠퍼드대 HAI <The 2025 AI Index Report>](static/images/noimg.png)
