기사 상세
GPT-3는 오픈AI가 만든 GPT 시리즈의 3세대 언어 예측 모델이다. GPT-3가 주목받는 이유는 기존과 달리 보편적 언어모델이 가능해 결과물이 마치 사람이 만든 것 같기 때문이다. 이는 곧 GPT-3 모델이 저널리즘에도 영향을 미칠 수 있다는 의미다. GPT-3에 대한 개념과 올바른 활용 방안을 살펴본다. 편집자 주
인공지능 연구소 오픈AI(OpenAI)는 지난 6월 GPT-3 모델의 베타 버전을 출시했다. 시험해 본 사람들은 결과물에 열광하며 GPT-3가 많은 분야에서 구조적인 변화를 가져올 것이라 봤다. GPT-3는 딥러닝을 활용해 인간과 유사한 텍스트를 자동으로 만들어내는 자연어 생성 모델이다. 자연어 처리는 기계가 인간의 언어에서 의미를 읽고 이해하고 도출할 수 있도록 하는 인공지능 분야로, 자연어 생성도 포함된다. 자연어 처리는 발전이 매우 더딘 분야 중 하나였으나 2010년대 자연어를 처리하기 위한 알고리즘의 개선, 컴퓨팅 성능의 발전, 디지털 데이터의 폭발적인 증가 덕에 빠른 개선을 보였다. 예를 들면 구글 번역기의 정확도는 머신러닝 알고리즘 도입 이후 점차 높아졌고, 스마트폰에서 사용하는 인공지능은 사람 말을 어느 정도 이해하기 시작한 것처럼 보였다. 하지만 급격한 개선에도 불구하고 인간처럼 언어를 다루는 인공지능 시스템의 개발은 아직 멀리 있는 것처럼 보였다.
구글은 2018년 자연어 처리 모델 버트(BERT)를 공개했다. 버트는 일부 성능에서 인간보다 더 높은 정확도를 보인다는 평가를 받았다. 특히 주목받았던 이유는 위키피디아 같이 이미 만들어진 언어 데이터를 인간의 특정한 지도 없이 학습해 범용 목적의 자연어 처리 모델을 만들 수 있음을 보여줬기 때문이었다. 버트 이전 특정 분야에 사용하는 자연어 처리 모델은 해당 분야의 언어 데이터와 모델을 기반으로 학습해야만 했다. 예를 들면 뉴스 분야에 사용하기 위해서는 뉴스 데이터를 바탕으로 학습시켜야 했던 것이다. 하지만 인간은 이러한 학습 없이도 소수의 사례만을 보고 언어의 의미를 이해할 수 있다. GPT-3 모델은 특정 분야 데이터 학습이라는 문제를 해결해 인간처럼 이해하는 인공지능을 만들기 위한 시도 중 하나다. 버트 이후 자연어 처리 분야는 사전 훈련된 언어모델을 만드는 방향으로 이동하고 있으며 GPT-3는 대량의 언어 데이터 사전 학습을 통해 어떤 분야에서도 사용할 수 있는 범용 언어모델을 만들고자 했다.
GPT-3는 오픈AI가 만든 GPT 시리즈의 3세대 언어 예측 모델이다. GPT-3 모델이 주목받은 것은 인공지능 시스템이 보여주는 결과물이 마치 사람이 만들어낸 것처럼 보이기 때문이다. 그리고 이것이 가능하게 된 이유는 대규모 파라미터를 가진 모델로 방대한 데이터를 학습시켰기 때문이다. 이전 단계의 GPT-2는 40GB의 인터넷 텍스트를 바탕으로 문장에서 바로 다음에 이어지는 단어가 무엇인지를 예측하게 만들었다. GPT-2는 15억 개의 파라미터를 가졌는데, 이는 GPT 첫 모델에 비해 10배 이상의 파라미터를 가지고 10배 이상의 데이터를 통해 학습된 것이다(OpenAI, 2019). GPT-3는 1,750억 개의 파라미터를 가지는 모델로 개선됐다. 결과는 [그림 1]에서 보는 바와 같다. 예시가 없는(zero-shot) 상태에서 정확도는 적은 데이터를 학습시킨 모델과 큰 차이를 보이지 않지만, 하나의 예시가 제시(one-shot)되거나 몇 개의 예시(few-shot)가 제시됐을 때 정확도는 다른 모델과 큰 차이를 보이는 것을 확인할 수 있다. GPT-3는 특정 분야의 사례 데이터를 학습할 필요 없이 몇 가지 사례만 주어진다면 다양한 자연어 생성 작업을 무리 없이 해낼 수 있다는 것을 보여줬다. 즉, 규모의 확장만으로 인간 수준처럼 보이는 범용 인공지능이 만들어질 가능성을 보여줬다고 할 수 있다.
[그림 1] 모델 크기에 따른 상황 정보 활용과 정확도 특정 맥락에 관한 작업에서 사례가 없을 때, 사례가 1개 일 때, 몇 가지 사례를 주었을 때 모델의 정확도를 평가한 그래프이다. GPT-3와 같이 많은 파라미터를 가진 모델은 매우 적은 데이터 만으로도 상당한 성능 향상을 보이는 것을 확인할 수 있다. <출처 - Brown et al, 2020>
코딩은 물론 시도 쓰는 GPT-3
오픈AI가 GPT-3 베타 버전을 공개한 페이지에는 “빵은 왜 푹신푹신하지?”라는 질문에 답변하는 사례가 나온다.[그림 2] 실제 빵이 푹신푹신한 이유는 효모가 설탕을 이용해 이산화탄소를 배출하기 때문이다. 이산화탄소가 공기 중으로 빠져나오는 과정에서 기포가 생기고, 이러한 공기 구멍들이 빵을 푹신푹신하게 만든다. 실제 GPT-3를 통해 만들어진 문장도 꽤 그럴듯해 보이는 것을 알 수 있다. 단순히 오픈AI 자체 페이지에서 제공한 사례만 보면 어떤 방식으로 GPT-3를 활용할 수 있는지 모호해 보인다. 하지만 온라인에서 다수의 사람은 공개된 애플리케이션 프로그래밍 인터페이스(API, Application Programing Interface)를 통해 GPT-3를 활용한 수많은 사례를 공유했다.
가장 기본적인 활용 방법은 자연어로 던진 질문에 답변해주는 검색엔진이다. “이기적 유전자가 출판된 것은 언제인가?”라는 질문에 “이기적 유전자는 1976년에 출판됐다”라고 답변하는 장면을 확인할 수 있다(Chopra, 2020). 추가적인 정보를 확인하고자 할 때 관련 정보 더 보기 버튼을 누르면 정보를 확인할 수 있는 페이지로 연결한다. 이는 주어진 문장에 이어지는 적절한 텍스트를 생성하는 GPT-3의 기본 특성을 적용한 사례다. 이러한 GPT-3의 특성을 엑셀에 적용한 사례도 있다(Shameem, 2020). ‘일리노이’, ‘캘리포니아’, ‘오하이오’와 각 도시의 인구를 입력한 테이블에서 GPT-3 함수로 ‘미시간’이라는 도시 이름을 선택하는 경우 해당 도시의 인구 값을 반환해준다. 이는 몇 개의 사례를 바탕으로 적절한 결과물을 작성해주는 GPT-3의 특성을 활용한 사례다.
단순히 우리가 사용하는 문장을 그대로 생성해내는 측면에서만 활용할 수 있는 것은 아니다. 간단한 작업을 위한 코드를 작성하기 위해 GPT-3를 활용할 수도 있다. “커다란 글씨로 ‘제 뉴스레터에 오신걸 환영합니다(WELCOME TO MY NEWSLETTER)’를 입력하고 ‘구독(SUBSCRIBE)’ 이라고 쓰여 있는 파란색 버튼을 만들어라”라는 문장을 입력했을 때, 웹페이지 제작에 사용되는 HTML 코드가 자동으로 작성된 것을 확인할 수 있다(Katsen, 2020). 즉, 우리가 자연어라고 생각하는 문장 외 프로그래밍에 사용하는 코드 형태도, 자연어 입력을 바탕으로 자동으로 생성할 수 있다. 코드를 작성할 수 있는 알고리즘을 연구하는 분야가 존재하지만, 프로그래밍도 일종의 언어이기 때문에 GPT-3가 자연어 학습의 부산물로 코딩에 주목하는 것도 하나의 활용 방안이다.
오픈AI는 문장을 생성하는 것과 같은 구조의 인공지능을 이미지에 적용하기도 했다. 이미지-GPT(Image-GPT)라고 부르는 인공지능 시스템은 이미지 일부가 주어지면 여러 가지 방법으로 이미지를 완성한다(Sotala, 2020). 버트나 GPT 모델에서처럼 다음에 올 단어를 예측하는 비지도 학습(Unsupervised learning)1) 알고리즘은 매우 성공적이었으며, 이러한 방식을 이미지에 적용하는 것은 충분히 학습된 모델이 다음 픽셀을 예측하는 데도 적용할 수 있음을 보여준다. 이처럼 GPT는 제시된 사례 외에도 기사, 보도자료, 각본, 시에 이르기까지 다양한 분야에 적용된다.
GPT-3가 저널리즘에 미치는 잠재적 위험
오픈AI 연구원은 “GPT-3 모델이 유익한 응용프로그램과 해로운 응용프로그램 모두를 발전시킬 수 있는 잠재력을 가지고 있다”며 경고했다(Sagar, 2020). 사상 최대 언어 모델인 GPT-3의 뛰어난 성능은 사람이 작성한 글과 기계가 작성한 글을 구별하기 어렵게 만든다. 연구원들은 허위 정보, 스팸, 피싱, 가짜 논문과 같은 분야에서 의도했던 것과 다른 용도로 사용될 수 있음을 밝혔다. 따라서 이러한 위험을 예방할 수 있는 연구가 필요하다는 점을 언급했다. GPT-2가 만들어졌을 때 가장 논란이 됐던 부분은 일부 문장을 가지고 완벽한 허위 정보를 그럴듯하게 만들어낸다는 점이었다. 이를 활용하면 특정 언론사 스타일의 허위 정보를 아무런 비용 없이 수천 건 만들어낼 수 있기 때문이다.
직업과 관련된 부분에서 우려도 컸다. 이전까지는 아무리 인공지능이 발전해도 실제 기자를 대체하지 못할 것이라는 시각이 우세했다. 2015년에 이뤄진 로봇 저널리즘에 관한 연구는 데이터를 기반으로 한 자동화 된 기사 생성에 관한 내용을 다뤘다(김영주 외, 2015). 로봇 기자의 인간 기자 대체 여부에 대한 일반인 설문에서 대체가 가능할 것이라는 응답은 30.2%였고, 기자 업무를 보완하게 될 것이라는 의견이 69.8%로 우세했다. 같은 내용을 기자에 물은 결과에서 대체가 가능할 것이라는 의견은 11.0%, 보완하게 될 것이라는 의견은 89.0%였다. 하지만 로봇 저널리즘이 사전 작성된 기사 양식 안에서 데이터 입력을 통해 기사를 생성해냈던 것과 다르게, GPT-3는 자유롭게 기사 형식의 글을 생성해낼 수 있다.
이러한 차이점이 기존 로봇 저널리즘에 대한 논쟁과 차별화를 만드는 지점이다. 이미 짧은 수준의 보도는 GPT-2를 기반으로 만든 결과물에서도 이용자가 큰 차이를 느끼지 못할 수준이었다. 물론 GPT-3로 만들어진 인공지능 시스템도 잘하지 못하는 부분이 존재한다. GPT는 성능 최적화를 위해 문자가 아니라 ‘바이트 쌍 인코딩(BPE, Byte Pair Encoding)’이라고 하는 하위 단어 덩어리를 인식한다. 문자를 보지 않고 특정 단어와 주변 상황에 따라 혼란스럽게 변하는 불분명한 부분 단어를 보기 때문에 유사한 철자나 소리와 같은 언어의 문자 수준 측면은 쉽게 배울 수 없다. 예를 들면, 한 단어의 철자를 분해해 다른 단어 혹은 다른 문장으로 바꾸는 아나그램이라든지 논리학 문제는 GPT-3 모델이 적절하게 작동하지 않는 부분이다(Gwern, 2020).
그럼에도 불구하고 저널리즘 영역에서도 GPT-3로 인한 다양한 문제점이 발생할 수 있다는 우려는 끊이지 않는다. GPT를 사용해 만든 뉴스가 해커 뉴스(hacker news) 사이트에서 1위에 올랐다는 점이 화제가 됐다(Hao, 2020). 특정 키워드로 가득 찬 스팸 게시글은 검색엔진을 더욱 혼란스럽게 하고 텍스트 기반 온라인 콘텐츠의 가치를 더 낮출 가능성도 있다. 하지만 오히려 글을 쓰는 인공지능으로 인해 저널리즘 영역에서 어떤 방식으로 뉴스를 생산하고 유통해 왔는지 돌이켜 보는 계기가 될 수도 있다.
인공지능을 무엇으로 볼 것인가?
인공지능은 수준에 따라 나눠지지만 GPT-3와 같은 언어모델을 자의식을 가진 인공지능이라고 말할 수는 없다. GPT가 하는 일은 간단하다. 인터넷에 존재하는 다양한 문장을 학습해 다음에 올 단어가 무엇인지 확률에 기반해 예측하는 것이다. 온라인에서 GPT와 관련된 입소문은 일부 과장된 측면이 있다. 앞서 살펴본 것처럼 GPT를 통해 할 수 있는 것과 할 수 없는 것이 있고, 가끔은 어이없는 실수를 저지르기도 한다. 허위 정보를 전달하는 데 사용될 수 있는 여지도 있으나 지금까지 저널리즘에서 허위 정보 확산은 취재, 기사 작성, 유통과 관련된 관행에서 비롯했다. 자신의 신념과 일치하는 정보만을 받아들이는 이용자의 선택적 노출도 하나의 요인이다.
많은 언론에서 GPT에 대한 초점을 가짜뉴스 생산하는 인공지능에 맞추고 있다. 하지만 GPT를 인간의 글쓰기를 도와주는 자동화 기계로 바라본다면, 우리에게 필요한 것은 저널리즘에서 GPT를 어떻게 활용할지 고민하는 것이다. 어포던스(affordance)는 시스템 디자인에서 이용자를 특정한 방향으로 이끌 가능성을 말한다. 적절한 다음 문장을 제시해주는 시스템은 적절하지 않은 문장을 작성하려던 기자의 행동을 올바른 방향으로 유도하는 데 사용할 수도 있다. 이러한 과정에 자동화 기계가 사용되기 위해서는 저널리즘 영역에서 올바른 글이 무엇인지에 대한 논의가 이뤄져야 한다. 기계는 인간이 만들어낸 결과물을 따라 할 뿐 자의식을 갖고 있지 않기 때문에 개념에 대한 합의는 인간이 맡아야 할 영역이다.
저자의 다른 미디어
![[커버스토리]언론인의 워라밸을 위하여](static/images/noimg.png)
