기사 상세
지난 8월 메타가 오픈소스 AI 모델 심리스M4T를 발표했다. 심리스M4T의 가장 큰 특징은 문자와 음성 서비스를 동시에 지원한다는 점이다. 무려 100개의 언어로 문자-문자, 음성음성은물론 음성과 문자를 넘나들며 번역할 수 있다. 심리스M4T의 특징과 출시 시사점을 살펴본다. 편집자 주
인간은 시대를 거듭하며 수많은 장벽을 극복해 왔다. 도구의 발견은 육체적 한계를 넘어 다른 생물과의 경쟁에서 인간이 우위를 차지하게 해줬고, 문자의 발견은 시간의 흐름 속에서 지식을 남기고 소통의 기반을 마련해 주었다. 인터넷의 출현은 공간의 제약 없이 생각과 문화를 공유하는 세상을 열었다.
하지만 지금까지 해결되지 않은 장벽이 있다. 바로 언어와 언어 사이의 차이다. 한 인간이 사회화 과정에서 습득하는 언어는 제한적이다. 평생을 언어 습득에 매진한다 해도, 일생 중 많아야 네댓 개 언어를 익힐 수 있는 것이 인간이라는 종의 한계다.
인간의 삶은 유한하다. 새로운 언어를 익히는 데도 제한이 있다. 이에 기인한 언어적 한계는 인간이 같은 인간임에도 똑같은 생각과 감정을 공유할 수 없게 만드는 장벽이 되어 왔다.
기술 발달과 소셜미디어의 등장으로 사람들은 그 어느 때보다 다양한 콘텐츠와 생각을 만날 수 있게 됐다. 이에 인간이 가진 언어적 장벽 역시 어느 때보다 크게 느껴지는 상황이다. 그런데 인공지능은 우리가 이 장벽을 부수고 세계와 소통하는 미래를 현실화하고 있다.
AI 기반 언어 처리 발달과 한계
챗GPT로 우리에게 알려진 GPT 모델은 기존 단순 번역기의 기능을 넘어, 우리가 한 언어의 뉘앙스를 이해하고 이를 표현할 수 있는 세상을 열었다. 사람들이 일반적으로 챗GPT를 이용하며 보는 퍼포먼스는 GPT-3.5-English 모델에 기반한다.
GPT-3.5-English 모델의 MMLU1)는 70.1%다. 일반적인 번역기의 수준을 넘는, 우리가 요청하는 다양한 언어적 표현을 줄 수 있는 챗GPT의 성적은 70점에 불과한 것이다.
이는 GPT-4 모델로 발전되며 크게 개선됐다. GPT-4-English 모델의 MMLU는 85.5%로, 챗GPT보다 훨씬 다양한 답변과 표현이 가능해졌다.
하지만 우리가 주목해 볼 부분은 GPT-4 모델이 가장 낮은 퍼포먼스를 보이는 언어다. GPT-4 모델은 태국어, 네팔어, 벵골어에서 GPT-3.5 모델의 영어 퍼포먼스를 뛰어넘었다. 한국어와 일본어 등에서는 기존 챗GPT 대비 뛰어난 결과를 얻어낼 수도 있다. 인간이 인공지능을 매개로 그 어떤 언어도 이해하고, 모든 언어로 자신의 생각을 표현할 수 있는 미래가 머지않았음을 알 수 있다.
실제로 이 미래를 만들어 가는 기술 중 하나가 바로 지난 8월 메타(Meta)가 발표한 심리스M4T(SeamlessM4T)다. 기존 번역기, 챗GPT와 바드(Bard) 등 우리가 마주한 인공지능 서비스의 한계는 무엇일까? 그것은 결국 채팅 등 문자 데이터에 기반해 입력값을 제시해야 하며, 일상의 커뮤니케이션에서 활용하기엔 그 효용성이 떨어진다는 점이다.
언어의 경계 허무는 심리스M4T
심리스(Seamless)란 경계가 없다는 것을 의미한다. 심리스M4T는 인공지능이 한 언어를 다른 언어로 치환하는 과정에서 그 경계를 느끼기 어려운 서비스다. 사용자가 목소리나 문자로 인공지능에 정보를 제공하면, 심리스M4T는 해당 내용을 자동 분석해 원하는 결과를 자동으로 제공한다. 공개된 초기 단계 심리스M4T는 다음과 같은 기능을 지녔다.
- 100여 개 언어에 대한 자동 음성 인식
- 100여 개 언어에 대한 음성-텍스트 번역
- 100여 개 언어에 대한 텍스트-텍스트 번역
- 100여 개 언어에 대한 출력 언어 자동 변환(출력값은 36개 언어 지원)
- 100여 개 언어에 대한 텍스트 음성 변환(출력값은 36개 언어 지원)
만약 사용자가 ‘메타의 오픈소스, 인공지능 모델, 심리스 M4T’라는 문장을 말한다면, 심리스M4T는 이 한국어 음성 입력값을 원하는 다른 언어로 자동 변환해준다. 음성 입력값을 문자 입력값으로 전환하고, 이를 다시 다른 언어로 변환해 문자나 음성으로 제공한다. 사람들은 하나의 서비스에서 각자의 생각을 모국어로 표현하고, 이를 원하는 언어의 음성으로 변환해 얻어낼 수 있다.
심리스M4T는 기존 문자-문자 번역, 문자-음성 전환 등 여러 단계로 나눠진 시스템 의존 문제를 해결한다. ‘한 언어 처리의 모든 작업을 수행할 수 있는 다국어 인공지능 모델’이 바로 메타가 발표한 심리스M4T다.
심리스M4T에서는 어떤 언어로 이야기하거나 입력하는지 체크할 필요가 없다. 메타가 말하는 ‘심리스(경계 없음)’는 바로 여기에 기인한다.
메타는 자동 인식 기능을 위해 수년간 언어 데이터 확보 및 분석을 진행했다. 그 결과 내가 말하는 언어와 상대방이 말하는 언어를 더 이상 직접 설정하지 않아도 된다. 인공지능을 소통에 활용하는 데에 어떤 준비도 필요 없는 것이다.
메타(당시 페이스북)는 2014년 가상현실(VR) 헤드셋 제조사 오큘러스(Oculus)를 인수하며 메타버스 세상을 대비해 왔다. 실제 퀘스트2(Quest2) 등 기기를 양산하며 누적 판매량 1,000만 대를 돌파하기도 했다.
새로운 세대들은 이미 로블록스(Roblox), 더샌드박스(TheSandbox) 등의 서비스를 이용해 메타버스 속에서 관계와 경험을 쌓아가고 있다. 이 플랫폼에 심리스M4T 기술이 적용된 미래는 어떤 모습일까? 기존 세대가 경험했던 언어로 인한 세상과의 괴리, 물리적인 한계를 극복하기 어렵던 집단의식이 미래 세대에게는 새롭게 정의될 것임을 예상할 수 있다.
다양성 강화, 인간 사고의 혁신
메타는 지난 5월 대규모 다국어 음성 인식 모델(MMS, Massively Multilingual Speech)을 오픈소스로 공개했다. 메타의 MMS는 전 세계 7,000여 개의 언어 중 약 1,107개 언어의 음성-문자 변환이 가능하며, 식별 가능 언어 총수는 4,000여 개다.
공개된 MMS 모델은 기존 음성 변환 모델과 비교해 월등한 성능을 보인다. 일반적인 음성 인식 모델 대비 지원 언어를 10배 가까이 늘렸음에도 오류율은 0.4% 증가하는 데 그쳤다.
음성 인식 기능 수행을 위해서는 고품질의 기계 학습 모델이 필요하다. 수많은 텍스트 데이터와 함께 수천 시간에 달하는 오디오 데이터가 필요한 것이다. 그러나 세상의 대다수 언어는 충분한 텍스트 및 오디오 데이터가 부족하다. 이는 기계 학습식 모델이 대두하는 상황에서 사용자가 적은 언어에 기반한 정보들이 세계에서 주목받을 수 없는 이유가 되기도 했다.
메타는 성경과 같은 종교적 텍스트에 집중했다. 성경은 하나의 원본이 다양한 언어로 번역됐으며, 오디오북 등 음성 데이터로 활용할 수 있는 사료가 풍부하다. 메타는 이 프로젝트를 통해 1,100여 개 언어로 구성된 신약성경 음성 데이터 세트를 만들었다. 그 결과가 바로 메타 MMS 인식 모델의 지원 언어 확대다.
세계의 많은 언어는 사라질 위기에 처해 있었다. 기존 음성 인식 및 번역 기술의 한계는 이러한 추세를 더욱 가속화했다. 유네스코는 21세기 말에는 현재 7,000여 개의 언어 중 최소 절반, 최대 90%가 사라질 것으로 전망하기도 했다.
하나의 언어는 각기 다른 사고와 문화를 담고 있다. 짧게는 수백 년, 길게는 수천 년간 한 민족이 쌓아온 세상을 보는 눈이 언어 속에 녹아있다. 인공지능을 활용한 언어 활용 증가는 이런 소수 언어 이용자도 모국어를 통해 세계와 소통할 가능성을 열었다.
메타는 MMS를 오픈소스로 공개했다. 전 세계 기업들이 이 기술을 활용해 언어 장벽을 극복하고 그들의 서비스를 세상에 선보일 미래가 우리 앞에 열렸다. 인간 역시 다른 언어를 가진 인간과 어떤 어려움도 없이 생각과 감정을 공유할 수 있는 세상이 다가오고 있다.
인공지능의 등장은 사회 속 인간의 역할을 제한하는 기술이 아니다. 기존 인간이 가진 한계를 극복하게 해줄 수 있는 기술이다. 우리 앞에 펼쳐지는 세상은 인간 혼자 사고해야 했던 과거와는 다른 모습일 것이다.
더 다양한 생각이 세상에 알려지고, 더 중요한 생각에 인간의 노력을 쏟을 수 있는 미래. 인공지능이 인간 사이 장벽을 부수고 새로운 시대의 인간 창의성을 꽃피울 세상을 그려본다.
1) Massive Multi-task Language Understanding, 특정 언어로 종합적인 주제에 대응하는 능력을 수치화한 점수
저자의 다른 미디어
