기사 상세
지난 2월 23일, 한국언론진흥재단(이하 재단)은 뉴스 기반 형태소 분석기 ‘바른’을 공개했다. 재단은 ‘언론사를 위한 언어정보 자원 사업’으로 2021년도 ‘KPF-BERT’ 모델에 이어 2022년에는 형태소 분석 엔진 ‘바른’을 개발했다. 이번 호에는 형태소 분석기 바른이 무엇인지와 언론계의 인공지능 기술 활용 촉진을 위해 재단이 어떤 노력을 하고 있는지를 소개하고자 한다.
한국어와 뉴스의 특성에 최적화된 형태소 분석기 ‘바른’
뉴스 기반 형태소 분석기 바른은 뉴스 데이터를 학습해 만든 형태소 분석 엔진으로, 옳다는 의미의 ‘바른’과 문장에서 형태소를 ‘발라낸다’는 의미를 함께 담고 있다. 가령 바른에 ‘한국언론진흥재단에 간다’라고 입력하면 ‘한국언론진흥재단(고유명사)+에(부사격조사)+가(동사)+ㄴ다(종결어미)’로 형태소 단위와 품사를 정확히 파악해 분류한다. 단순해 보이지만 형태소 단위와 품사를 정확하게 파악하고 분류하는 것은 인공지능의 학습 성능을 좌우하는 중요한 자연어 처리1) 기술이다. 최근 주목받는 챗GPT가 영어에서 더 강력한 성능을 발휘하는 것만 봐도 알 수 있다.
형태소 분석기 바른은 7개월간의 데이터 선별, 정제, 학습 과정을 거쳐 개발됐다. 한국어를 정확하게 파악하고 언론 영역에 최적화된 형태소 분석기를 개발하기 위해 빅카인즈의 뉴스데이터 7,800만 건을 학습데이터로 선정했다. 뉴스 기사는 문법에 잘 맞을 뿐만 아니라, 제목, 본문, 기자명 등의 형식도 잘 갖추고 있다. SNS, 댓글 데이터에 비해 오탈자도 적은 편이라 자연어 처리를 위한 학습데이터로 적합하다. 또한 빅카인즈를 통해 축적한 복합명사 등 언어사전 80만 단어와 국립국어원 ‘모두의 말뭉치’ 300만 어절, ‘세종 말뭉치’ 1,200만 어절을 추가로 활용했다.
데이터 정제를 위해서는 2021년에 개발된 ‘KPF-BERT’의 토크나이저2)를 활용했다. 기사의 유형을 매체, 기간 등을 기준으로 12만 8,385개 그룹으로 나눴고, 그중 700만 문장을 얻을 수 있었다. 바른은 형태소를 분석하기 전인 문장을 분절하는 단계에서 형태소의 원형을 복원하고, 품사 힌트를 표시해준다. 이 과정은 한국어의 특성을 면밀하게 분석하여 찾아낸 106개의 분절 규칙을 적용했기 때문에 가능했다. 106개의 분절 규칙은 체언(N), 용언(V), 어미(E), 조사(J), 관형어(M), 부사어(A), 감탄사(I), 기호(S) 등 8개의 큰 단위로 문장을 구분하고, 8개 형태 정보가 추가된 워드 임베딩3)을 통해 국립국어원의 47품사 체계에 맞는 형태소를 찾아낸다. 바른에 적용된 워드 임베딩 기술이 특별한 것은 원 품사를 태깅하는 대신 ‘#’으로 8개 형태 정보에 대한 힌트를 태깅하였다는 점이다.[표 1] 형태 정보가 추가된 워드임베딩은 처리 속도는 높이고, 트랜스포머(transformer)가 문장을 보다 잘 이해할 수 있도록 돕는데4), 이로써 향후 딥러닝(트랜스포머) 분야에서의 활용성을 강화했다 할 수 있다.
바른의 학습은 국립국어원의 세종 말뭉치를 기반으로 오류를 식별하고 수정하는 과정을 거쳤다. 원래의 어절과 형태 분석의 어절이 일치하지 않는 경우, 음절 분류 규칙에 어긋나는 경우 등을 자동으로 식별하고, 데이터를 수정하도록 했다. 이와 같은 방식으로 뉴스 기사 1억 어절을 학습해 정확도를 높였다. 바른은 모호성(동음이의어) 분별, 지정사(서술격 조사) 복원 등에서 기존 분석기보다 높은 성능을 보였다.[표 2] 바른은 R, 파이썬, 자바 등 다양한 언어로 제공되며, 자세한 사항은 공식 홈페이지(https://bareun.ai)와 깃허브(https://github.com/KPF-bigkinds)를 통해서 확인할 수 있다.
뉴스 데이터와 KPF-BERT
그리고 ‘바른’
일찍이 재단은 1991년 뉴스아카이브 ‘카인즈’를 통해 뉴스 기사를 데이터로 활용했다. 여러 신문을 한 데 모아 사람이 직접 색인(메타데이터 입력)하고, 데이터 형태로 만들어 이용자들이 쉽게 검색할 수 있게 했다. 여러 매체의 기사가 함께 저장된 뉴스 데이터베이스(DB)로, 카인즈는 다양한 분야에서 활용됐다.
그리고 2016년, 재단은 카인즈에 빅데이터 기술을 접목한 ‘빅카인즈’를 출시했다. 기존 카인즈는 구분하지 못했던 동음이의어8)를 구분하게 됐고, 지식 네트워크를 활용해 이형태9) 인식률도 높아졌다. 개체명, 신조어, 복합명사 등 빅카인즈 언어사전(LARM)을 구축해 뉴스 검색 및 분석 품질도 비약적으로 향상됐다. 현재까지 빅카인즈는 약 7,800만 건의 뉴스 기사와 80만 단어의 언어 사전을 축적해오고 있다.
2021년부터는 빅카인즈의 데이터를 활용한 언어 자원 개발에 착수했다. 언론 영역에서 인공지능 기술의 도입과 적용 필요성은 증대되고 있었지만, 자체적인 기술 개발은 어려운 상황이었다. 이에 재단은 구글의 양방향 인코딩 모델10)인 ‘BERT(Bidirectional Encoder Representations from Transformers)’에 뉴스 데이터 4,000만 건을 학습시켰다. 그 결과물인 KPF-BERT는 기존 BERT보다 높은 한국어 분석 성능을 보였으며, 언론계에서 활용할 수 있도록 KPF-BERT를 적용한 기사 요약, 클러스터링 등 소스코드를 깃허브(https://github.com/KPFBERT)에 공개했다.
지금도 빅카인즈는 뉴스 데이터 속에서 다양한 신조어와 개체명을 찾아내 축적하고, 분석을 통해 새로운 관점들을 제시하고 있다. 그리고 깃허브에 공개된 KPF-BERT, 바른은 맞춤법 검사, 혐오 표현 검출·순화, 적절한 표현 추천 등 언론계 인공지능 서비스 확산을 촉진하고, 데이터 저널리즘을 활성화하는 데 기여할 것으로 기대된다. ‘언론사를 위한 언어자원 개발 사업’으로 시작된 바른이 언론계를 넘어 나날이 발전하고 있는 인공지능 기술의 한국어 학습 길라잡이가 되길 바라본다.
1) 컴퓨터를 이용해 사람의 언어를 분석·이해·생성하는 기술로, 형태소 분석은 자연어 처리를 위한 기반 기술로 활용된다.
2) 단어나 음절 단위를 토큰(token)이라고 하는데, 특정 기준에 따라 문장을 단어와 음절과 같은 토큰 단위로 나누는 작업을 수행한다.
3) 워드임베딩은 자연어 처리에서 기계가 사람의 언어를 이해할 수 있도록 각 단어를 벡터(수치)로 표시하는 것이다. 바른은 벡터로 표시된 각 단어에 8개의 형태 정보를 추가해 기존 워드 임베딩 방식을 개선했다.
4) 입력(인코딩) 부분과 출력(디코딩) 부분으로 구성된, 자연어 처리에서 널리 쓰이는 인공신경망 구조로, 바른은 이러한 구조를 따르면서도 기존의 한계를 극복하기 위해 단어에 대한 형태 정보를 추가해 단어의 위치에 따른 문맥적 의미와 형태소를 정확하게 파악한다.
5) 형태는 같지만 의미가 다른, 즉 동음이의어 어절을 분별하는 성능 평가
(예시) “용인”의 경우(명사) ○ 전설 속의 용인 이무기의 이름을… : 용/NNG, 이(VCP) ㄴ/ETM ○ 용인 제2캠퍼스를 확대 운영: 용인/NNG |
6) 한국어에서 빈번하게 생략돼 분석하기 어려운 ‘서술격 조사’ 형태소의 원형을 얼마나 잘 복원해내는지 평가
(예시) ○ 숨은 원동력은 수비다(수비/NNG+이/VCP+다/EF). ○ 전달될 거라고(거/NNB+이/VCP+라고/EC) 굳게 믿는다. |
7) ‘모두의 말뭉치’에서 제공하는 ‘형태 분석 말뭉치’ 15만 문장을 평가 데이터로 사용해, 문장 전체의 형태소 분별이 하나라도 일치하지 않으면 틀린 것으로 간주해 평가했다.
8) 소리는 같지만 의미가 다른 단어 (예) 기업명 ‘아마존’과 지역명 ‘아마존’
9) 의미는 같지만 모양이 다른 단어 (예) ‘바이든’과 ‘조 바이든’
10) 앞의 단어들을 참조해 다음에 나올 단어를 예측하는 방식이었던 기존의 단방향 언어모델과 달리 문장에서 예측해야 할 단어 이후의 단어들까지 양방향으로 참조해 그 의미를 더욱 잘 이해하는 방식으로 학습한다.
저자의 다른 미디어
