기사 상세
요즘 테크 업계에서는 챗GPT가 화재다. 오픈AI(OpenAI)가 2022년 11월 30일 공개한 인공지능 챗봇으로, 사람 못지않은 창의력을 지닌 것으로 알려졌다. 인공지능 언어모델은 어떤 기술을 통해 어떻게 발전해 왔는지 알아본다. 편집자 주
챗GP T의 핵심 기술은 언어모델(language model)이라는 자연어처리 이론과 트랜스포머(transformer)라는 딥러닝 기술이다. 챗GPT는 언어모델을 기반으로 초대규모 텍스트 말뭉치에 대해 딥러닝 기술을 적용해 학습모델을 생성하고, 입력 텍스트에 대한 텍스트를 생성한다. 인공지능 기술 연구에서 가장 급격하게 발전된 기술이 BERT(Bidirectional Encoder Representations from Transformers)와 GPT(Generative Pretrained Transformer)다. BERT와 GPT는 심층 뉴럴 네트워크(Deep Neural Network) 구조를 이용해 자연어처리 문제를 해결하는 과정에서 등장했는데, 둘 다 언어모델을 기반으로 하고 있다.
BERT와 GPT를 ‘BERT 언어모델’, ‘GPT 언어모델’이라고 언급하는 경우가 있는데, 이는 BERT와 GPT로 사전 학습된 모델을 통한 사전 학습 결과물을 지칭하는 것이다. BERT와 GPT를 언어모델이라고 칭하는 것은 적절하지 않다. BERT는 딥러닝의 트랜스포머 기술을 이용한 양방향 인코딩 모델(‘임베딩 모델’ 또는 ‘문서표현 모델’)이고, GPT는 트랜스포머 기술을 이용해 사전 학습된 ‘생성모델’이다. 즉, ‘BERT 모델’과 ‘GPT 모델’에서 모델은 대규모 학습말뭉치의 내용을 구조화해 그 내용을 가장 잘 표현하는 형태로 구조화한 것이라는 의미고, 언어모델에서 모델은 언어처리 방법론을 논리적이고 체계적으로 정립한 것이다.
딥러닝 언어 처리에서 언어모델이 등장한 계기는 단어 임베딩(word embedding) 기법으로부터 기인한다. 단어 임베딩 모델인 워드투벡터(word2vec)는 학습말뭉치에 출현한 각 단어에 대해 ‘단어벡터’를 구성하는데, 그 단어의 좌우 문맥으로 출현한 단어들의 단어 벡터로부터 그 단어의 특징 벡터를 구성한다. 각 단어의 특징을 가장 잘 표현하는 기법을 고안하기 위해 워드투벡터 기술보다 더 정교한 기법으로서 언어모델 기법을 이용한 엘모(ELMo, Embeddings from Language Model)가 등장했는데, 엘모는 언어모델을 단어 임베딩 벡터를 구성하는 데 적용한 것이다. 단어 임베딩 기법은 문장 단위 또는 문서 단위의 임베딩 기법으로 발전하게 됐고, 언어모델을 문장 또는 문서 단위의 임베딩 기법에 적용하는 BERT 임베딩 모델이 제안됐다.
언어모델은 ‘단어열(sequence of words)에 대한 확률 분포(probability distribution)’로 정의하는데, 좀 더 구체적인 표현으로 ‘엔그램(ngram) 언어모델’이라고 하기도 한다. 이것은 음성인식 분야에서 ‘다음 단어 예측(next word prediction)’ 문제를 해결하기 위해 엔그램 단어열의 빈도 계산을 통해 단어 출현 확률을 계산하거나, ‘문장 생성 확률(sentence generation probability)’을 계산하는 방법론이다.
음성인식기는 언어모델을 이용해 실시간 음성 신호 입력 순서에 따라 (n-1)개의 좌 문맥(leftcontext) 단어들이 주어졌을 때, n번째 단어의 출현 확률을 계산해 음성인식기가 인식 후보로 생성한 단어 중에서 가장 출현 확률이 높은 단어를 선택하거나, 또는 가장 생성 확률이 높은 문장을 선택한다. 예를 들어, “I ate a cherry”의 문장 출현 확률을 트라이그램(trigram) 언어모델로 계산할 때, 아래와 같이 계산된다. 이 식에서 <s>와 </s>는 문장 시작과 끝 표시다.
P(I,ate,a,cherry) = P(I|<s>,<s>)×P(ate|<s>,I)×
P(a|I,ate)×P(cherry|ate,a)×P(</s>|a,cherry)
이 문장의 출현 확률은 “Eye eight uh Jerry”의 출현 확률보다 문장 생성 확률이 더 높을 것이므로 음성인식기는 확률이 높은 문장을 음성인식 결과로 선택하게 된다.
음성인식 분야에서 실시간 음성신호를 인식하는 ‘다음 단어 예측’ 방법론으로 정립된 엔그램 언어모델을 완성된 문장에 적용할 경우에, 우 문맥 정보는 무시하고 좌 문맥 정보만 사용하게 된다. 그 이유는 언어모델이 실시간 음성 발화 환경, 즉 단어들이 좌에서 우 순서대로 발화하는 실시간 음성인식 환경에서 정립됐기 때문이다. 그런데 단어 벡터를 구성하고자 하는 단어 임베딩 모델에서는 실시간으로 단어들이 순서대로 발화돼 입력이 주어지는 상황이 아니라 이미 문장들이 완성되어 학습말뭉치로 주어졌기 때문에 좌 문맥뿐만 아니라 우 문맥 정보도 활용하면 더 정교한 단어의 특징 벡터(feature vector)를 구성할 수 있다. 이처럼 양방향 문맥을 반영해 단어 벡터를 구성하는 모델이 BERT이고, BERT는 좌우 문맥을 양방향으로 반영해 임베딩 벡터를 구성하므로 워드투벡터나 엘모보다 더 정교한 벡터가 구성된다.
기계독해 잘하는 BERT 문장 생성에 강한 GPT
워드투벡터의 경우 모든 단어는 한 개의 단어 벡터로 구성되므로, ‘파리’의 예와 같이 도시명 파리와 곤충 파리라는 다중 의미를 가진 단어들에 대해 동일한 벡터를 구성한다. 이에 비해, BERT는 좌우 문맥 단어들을 고려해 단어를 표현하기 때문에 더욱 정교한 문서 표현 기법으로 활용된다. 특히, 문장 또는 텍스트 전체에 대한 임베딩 벡터를 구성할 때 BERT 모델은 워드투벡터나 엘모 모델에서 ‘단어 벡터들의 합’으로 표현하는 방법보다 더 정확한 문서 표현이 가능하다. 즉, 워드투벡터와 엘모는 단어 임베딩 기법인 것에 비해 BERT는 문단 또는 문장 단위의 임베딩 기법으로 발전된 임베딩 모델이며, 이를 문서 표현(text representation) 또는 문서 임베딩(text embedding) 기법이라고 한다.
언어모델은 단어 임베딩 또는 문서 임베딩 기법 외에도 자연어처리의 주요 문제 중 하나인 기계독해(MRC, Machine Reading Comprehension) 또는 질의응답 시스템에서 질문에 대한 답을 찾는 데 활용될 수 있다. 예를 들어, “BTS 정국이 카타르 월드컵에서 불렀던 노래는?”, “BTS 정국이 ( ) 월드컵에서 불렀던 노래는 ( )이다”라는 질문에 대한 정답을 찾는 문제는 엔그램 언어모델에서 다음 단어 예측, 또는 출현 확률의 가장 높은 문장을 선택하는 문제와 매우 유사하기 때문이다. 따라서 BERT 임베딩 모델은 기계독해 시스템의 성능을 향상시키는 데 매우 큰 기여를 했고, 다양한 자연어처리 문제에서도 BERT 임베딩 기법을 사용했을 때 다른 방법론보다 더 높은 정확도를 보였다. 따라서 딥러닝 언어처리 시스템을 개발할 때 BERT를 활용하는 연구가 주를 이루게 되었고, BERT 임베딩 기법이 발전하여 알버트(ALBERT), 로베르타(RoBERTa), 일렉트라(ELECTRA) 등 더욱 정교한 임베딩 모델로 발전하고 있다. 일렉트라 모델은 각 단어들을 가장 잘 구별하도록 학습하는 기법을 적용해 임베딩 벡터를 최대한 차별화 하는 방향으로 구성해 유사도 계산을 더욱 정교화한 언어모델이다.
BERT뿐만 아니라 GPT 모델도 기계독해, 질의응답 문제의 해답을 찾는 데 활용할 수 있다. 하지만 BERT와 GPT는 학습 말뭉치를 모델링하는 관점에서 차이가 있다. BERT는 문서 표현이라는 관점에서 단어 또는 문장의 의미를 정교하게 표현하는 임베딩 벡터를 구성하는데 비해, GPT는 ‘다음 단어 생성’ 또는 ‘다음 문장 생성’의 관점에서 학습 말뭉치를 모델링한다. 따라서 GPT는 문장 생성 시스템에서 BERT보다 더 좋은 성능을 발휘하는 데 비해, 기계독해 시스템에 적용할 때는 일반적으로 BERT보다 낮은 성능을 보인다. 마찬가지로, BERT는 챗봇과 같은 대화시스템에 적용할 수 있지만, 이 경우에 GPT보다 낮은 성능을 보이게 된다.
인간 수준 창의력 발휘하나 개선점 있어
BERT는 단어와 문서의 표현에 중점을 두는 모델이므로 유사도 비교와 기계독해 시스템에서 좋은 성능을 얻을 수 있고, GPT는 시와 소설을 작성하거나 대화형 시스템에서 우수한 성능을 보인다. 기계독해 시스템에서는 문서에 출현하는 단어를 더욱 정교하게 표현하기 위해 핵심 단어를 마스킹하는 마스크(masked) 언어모델과 문장에 출현하는 단어 중에서 핵심 단어에 초점을 두어 학습을 진행하는 어텐션(attention) 기법으로 발전했다. 마스크 언어모델은 기계독해 시스템에서 빈칸에 적합한 정답을 찾기 위한 것으로, 학습말뭉치의 특정 퍼센트를 빈칸으로 마스킹해 해당 단어를 찾도록 학습을 진행한다. 이 방식은 빈칸에 적합한 다양한 단어들을 예측하는 모델과 비교된다. 어텐션 기법은 기존의 딥러닝 모델에서 고정된 크기의 임베딩 벡터에 정보를 압축할 때 정보 손실이 발생하고 학습 과정에서의 기울기 소실(vanishing gradient) 문제를 해결하는 방안으로 제시됐다. 이 기법에서는 출력 단어를 예측하는 시점마다 입력 문장을 다시 참조해 예측 단어와 연관성이 있는 입력 단어 부분의 반영 비율을 높여서 예측 정확도를 높이게 된다.
GPT는 초기에 일반적인 자연어 생성 모델로 시작해 대화형 챗봇 시스템으로 발전해 왔다. GPT3은 인간 수준의 자연스러운 대화문을 생성하고 전문가 수준의 창의력과 추론 능력을 발휘하기도 하지만, 특정 주제에 관한 대화에서는 신뢰할 수 없는 대화문을 생성하는 문제나 인공지능 편향성 문제가 발생하기도 한다. 이러한 문제를 해결하기 위한 방법론으로 2022년 1월에 인스트럭트(Instruct) GPT 모델이 개발됐다. 인스트럭트GPT는 유해하거나 부적절한 답을 생성하는 GPT3의 단점과 편향성 문제를 보완하여 사용자 의도에 적합한 답을 생성할 수 있도록 GPT 모델을 개선한 것이다. 그 방안으로 GPT의 언어모델에 인간의 피드백으로부터 강화학습 기법을 이용해 추가 학습을 수행하는 RLHF(Reinforcement Learning from Human Feedback)라는 기법을 적용하여 답변의 품질을 향상시켰다. 인스트럭트GPT 모델은 13억 개의 패러미터를 사용함에도 불구하고 1,750억 개 패러미터를 사용하는 GPT3보다 더 우수한 성능을 보이고 있다.
챗GPT는 2022년 11월에 공개됐는데, 인스트럭트 GPT의 자매 모델로서 RLHF 기법을 채팅에 특화시켜 논리적이면서 상세한 답변을 제공한다. RLHF는 지도학습 기법으로 모델을 훈련시킬 때 인간이 답변의 품질에 따라 두 개 이상의 답변에 대한 랭킹을 한다. 그러기 위해서는 비교 대상이 되는 답변들이 수집돼야 하는데, 두 가지 이상의 모델로부터 답변을 생성하고 이에 대해 인간이 랭킹을 하는 방식으로 모델을 훈련시킨다. 챗GPT는 에세이와 영화 리뷰를 작성하는 작가가 되기고 하고, 컴퓨터 프로그래밍에 대한 질문에 전문가 수준의 상세한 설명을 제시해 준다. GPT3.5 모델을 기반으로 개발된 챗GPT는 언어모델에 강화학습 기법을 추가해 전문적인 지식을 갖추도록 한 것이다.
저자의 다른 미디어
