기사 상세
챗GPT로 대표되는 생성형 AI는 이제 일상에 자리잡았다. 그러나 이들이 믿음직한 정보를 제공하는지에 대해서는 여전히 의견이 분분하다. ‘오픈AI의 대항마’라 불리는 앤트로픽이 발표한 논문을 통해 생성형 AI가 신뢰를 회복할 수 있는 방법에 대해 생각해 본다. 편집자 주
생성형 AI에 대한 신뢰는 오늘날 중요한 이슈로 떠올랐다. 앤트로픽(Anthropic)이 발간한 논문 <Towards Monosemanticity: Decomposing Language Models With Dictionary Learning>은 이 문제를 해결할 수 있는 기술적 제안을 한다는 점에서 주목된다. 저자 트렌턴 브리켄(Trenton Bricken)과 동료들은 생성형 AI의 신뢰와 안정성을 증대할 수 있는 방안을 모색했다는 데 논문의 의미를 부여했다(Bricken et al., 2023).
뉴런 기반 분석의 한계를 극복한 연구
우선, 이 연구는 뉴런(neuron)의 다의미성(polysemy)을 지적한다. 뉴런은 인간의 뇌 세포처럼 프로그램의 가장 기본 단위로 설명된다. 주로 인공 뉴런(혹은 인공 신경)이라 부르기도 한다. 뇌 세포가 서로 연결돼 인간의 생각과 감정, 태도를 결정하는 것처럼 인공 뉴런도 복잡한 모델링을 통해 텍스트와 이미지, 영상 등을 생성하는 데 중요한 역할을 한다. 문제는 서두에서 지적한 대로 뉴런이 다양한 의미를 가진다는 점이다. 즉, 같은 뉴런이라도 숫자, 언어, 토큰(텍스트를 구성하는 가장 작은 단위) 등 여러 문맥에서 활성화될 수 있다는 얘기다(Bricken et al., 2023). 이러한 특성 때문에 AI는 상황이나 시기에 따라 같은 정보라도 다른 내용으로 표출이 가능하다.
이를 좀 더 명확하게 이해하기 위해선 생성형 AI가 정보를 산출하는 방식을 간단하게나마 짚고 갈 필요가 있다. 생성형 AI의 인공신경망은 학습된 데이터를 기반으로 운영된다. 인간의 뉴런을 본떠 만든 인공신경은 특정 조건을 만족할 때 결괏값을 제공한다. 이 과정에서 입력값과 가중치를 곱하고 편향을 더한 후 활성화 함수를 적용한다. 이러한 인공신경들을 네트워크로 묶은 것이 바로 인공신경망이다(김재필, 2023). 예를 들어, 강아지를 판별할 때 눈, 코, 입, 귀 등 여러 요소를 고려한 후 각 요소에 가중치를 부여해야(가령, 눈 30%, 코 20%, 입 25%, 귀 25%) 정확한 결과를 얻을 수 있다.
인공신경망에서 뉴런들은 서로 연결돼 있다. 하지만, 일관된 관계를 갖지 않는다는 것이 이 연구의 기본 전제다. 사실 뉴런의 특성은 명확하게 알려진 바가 없다. 인공신경망은 인간이 설계하지만, 학습은 자동으로 수행돼 작동 방식을 정확하게 예측하기 어렵다. 이 때문에 AI 내부 구조를 인간이 명확하게 알 수 없는 ‘블랙박스’ 공간이라 부르기도 한다(박찬, 2023.6.10).
이 연구는 희소 오토인코더(sparse autoencoder)라는 약한 사전 학습 알고리즘을 사용해 뉴런보다 더 단일한 의미를 갖는 특징(feature)을 생성했다. 희소 오토인코더는 인공신경망의 한 종류로, 데이터의 중요한 특징을 추출하는 데 사용된다. 이 연구는 90개의 학습된 사전에서 모든 특징이 어떤 방식으로 영향을 주었는지 파악했다. 이어 512개의 뉴런이 있는 레이어를 4,000개 이상의 특징으로 분해했다.
그 결과, 특징이 뉴런보다 일관된 해석을 제공한다는 것을 밝혀냈다. 한 모델에서 특징을 연구해 얻은 결과가 다른 모델에서도 일반화될 수 있다는 것이다. 또, 일반적인 뉴런 단위에서는 탐지하기 어려운 세부적인 특징도 발견했다. 예를 들어, 희소 오토인코더는 히브리어 글자에 반응하는 특징을 학습했지만, 뉴런 단위에서는 반응이 일어나지 않았다. 이는 희소 오토인코더가 미세한 특징을 별도로 학습해 반응할 수 있음을 보여준다.
이 연구는 뉴런 기반 분석의 한계를 극복하고, 해석 가능한 특징을 추출하는 방법을 제시한다는 점에서 의미가 있다. 연구 결과는 저널리즘 측면에서도 참고할 부분이 적지 않다. 한국언론진흥재단은 지난해 3월 펴낸 <언론산업의 생성형 AI(Gennerative AI) 기술 활용 가능성과 법적·윤리적 쟁점> 정책 리포트를 통해 생성형 AI의 잘못된 사용으로 허위정보 확산, 저작권 침해 등을 우려하기도 했다(이현우·박영흠, 2023). 이러한 문제는 뉴런 특성과 관련이 깊다. 뉴런에 대한 단일 의미를 파악할 수 있다면, 실무적으로 언론사가 독자의 질문에 정확한 답변을 제공하는 챗봇을 운영하거나, 편향된 정보를 해소하는 기사 작성 등이 가능할 것으로 기대된다.
일상에서 마주한 AI 신뢰 문제
이 논문을 읽으면서 생성형 AI의 신뢰 문제를 다시 한번 짚어볼 수 있었다. 지난해 미디어 분야 학술대회에서 발표하기 위해 TV 방송 시장 활성화라는 주제로 자료를 만들 때였다. 미디어 이용에 대한 이용자의 심리를 분석할 수 있는 이론이 무엇이냐는 질문에 챗GPT는 ‘오크스트레이션(Orchestration)’이라는 이론을 소개했다. 장황하고 그럴듯한 설명이 이어졌지만, 금세 나는 고개가 갸우뚱해졌다. 언론학을 공부한 지 10여 년이 흘렀지만, 이 이론을 접해 본 적이 단 한 번도 없었기 때문이다. 실제로 오크스트레이션 이론은 존재하지 않았으며, 챗GPT가 거짓말을 했음을 확인했다. 만일 급한 마음에 이 이론을 발표했다면 어떻게 됐을까. 자료에 대한 신뢰는 크게 떨어졌을 게 분명해 보인다.
지난해 메조미디어가 발표한 <생성형 AI에 대한 소비자 인식 조사>에 따르면, 남녀 응답자 1,000명 중 생성형 AI 서비스를 신뢰한다는 비율이 56%에 달했다(메조미디어, 2023). 이용자 절반가량은 신뢰하지 않는 것으로 볼 수 있는데, 그 배경은 가짜뉴스 생산, 저작권 무단 도용 등인 것으로 나타났다. 서비스 오류도 이슈로 떠올랐다. 2023년 9월 챗GPT 오류는 1,969회로 집계됐으며, 이 무렵 오픈AI는 서비스를 잠시 중단하기도 했다. ‘세종대왕의 맥북 프로 던짐 사건’은 생성형 AI 신뢰 문제를 다룰 때 단골 소재로 떠오른다. 챗GPT가 조선왕조실록에 기록된 세종대왕의 맥북 프로 던짐 사건이 실제 발생한 것처럼 이야기한 사례다. 일련의 상황을 반영하듯 구글 바드(bard)는 2023년 서비스 운영 당시 정보의 신뢰를 온전히 확신할 수 없다고 밝히기도 했다. 세계 최고 수준의 IT 기술을 보유하고 있는 구글마저 자사 서비스의 신뢰와 안정성을 담보할 수 없음을 스스로 인정한 셈이다.
생성형 AI 신뢰를 높이는 다양한 논의들
생성형 AI는 학습된 데이터를 통해 새로운 정보를 제공한다. 그런 만큼 잘못된 정보를 학습할 경우 정보의 편향성, 오류를 일으킬 수 있다. 학계에서는 생성형 AI 신뢰와 정확성을 증대하기 위한 다양한 논의가 이뤄졌다. AI가 잘못된 정보를 제공하는, 이른바 환각(hallucination) 현상을 비롯해, 이용자의 서비스 태도, 인식에 따른 신뢰 문제를 논의하기도 했다(이한샘·유지원, 2024; 최종환·이영지·이현주, 2024). 대체로, 이용자의 이용 패턴, 기술적 상황에 따라 생성형 AI 서비스에 대한 이용자 신뢰가 달라질 수 있다는 것이 선행 연구의 공통된 견해다.
일각에서는 생성형 AI 기술에 너무 의존할 경우 인간의 비판적 사고가 결여될 수 있다는 지적도 존재한다(Iskender, 2023). 인간과 AI의 공존을 의미하는 ‘Human-AI Teams(HAT)’을 제시한 미카 엔슬리(Mica R. Endsley)도 정보의 신뢰가 중요하다고 했다(Endsley, 2023). 그는 인간이 AI가 생산한 정보의 의미, 해석, 예측 등을 명확하게 인지하는 것이 중요하다고 보았다.
생성형 AI는 인간에게 위협이자 새로운 기회를 줄 것으로 예상된다. 동전의 양면처럼 기술을 어떻게 활용할 것인가에 대한 고민으로 이용자와 기업, 나아가 사회는 새로운 생활양식을 만들어 갈 수 있다. 문제는 기술의 신뢰다. 뉴런에 대한 다양한 논의와 예측 모델의 개발로 현재보다 한 단계 높은 신뢰성을 담보할 수 있는 생성형 AI 기술을 기대한다.
저자의 다른 미디어
