기사 상세
VR을 통해 가슴에 묻은 어린 딸을 마주한 엄마의 이야기를 담은 MBC 다큐멘터리 <너를 만났다>는 큰 반향을 불러왔다. 진짜 같은 가짜를 통해 사람들을 몰입시키고 교감하는 실감 미디어 기술. 이 기술 가져올 미래는 장밋빛이기만 한 것인지, 명과 암을 살펴봤다. 편집자 주
지난 겨울,
나의 친구는
일곱 살 된 딸을
가슴에 묻었다
시인 윤희상의 시, <걸어다니는 무덤>이다. 자식의 죽음을 다룬 수많은 시가 있지만, 그 죽음의 의미를 살아있는 동안 늘 짊어져야 할 무덤으로 표현한 잔인함은 그 의미를 뚜렷하게 각인시킨다. 일곱 살의 나이에 하늘나라로 떠난 나연이를 그리워하는 엄마의 마음은 바로 ‘걸어다니는 무덤’이다. 누가 그 무덤의 무거움을 해체할 수 있을까?
지난 2월 6일 방송된 특집 VR 휴먼다큐멘터리 <너를 만났다>는 혈액암으로 하늘나라로 떠난 일곱 살 소녀 나연이를 가상현실에서 만나는 엄마의 모습을 담았다. TV 화제성 조사기관인 굿데이터코퍼레이션이 2월 13일 공개한 자료에 따르면 2월 첫째 주에 누리꾼은 비드라마 중 <너를 만났다>를 가장 많이 검색한 것으로 나타났다. 특히 프로그램이 방송된 목요일에는 무려 46.5%의 검색 점유율을 기록했으며, 특히 30대 여성층에서 가장 높은 관심을 보인 것으로 나타났다. 이러한 반응은 국내에만 머물지 않았다. 전 세계 유수의 언론사와 방송사는 삶과 죽음을 공존시킨 가상현실 기술을 부각하며, 향후 가상현실 기술이 만들어낼 미지의 세계를 그려냈다.
세계의 관심을 불러일으킨 <너를 만났다>는 전체 제작 기간 1년, 제작을 시작한 이후 실제 촬영에서 방송까지 9개월 동안 여섯 개 협력업체와의 협업으로 완성한 작품이다. 시청자의 눈물을 쏙 뺀 53분의 드라마에는 어떤 기술적 요소가 담겨 있을까?
가상현실 속의 나영이는 어떻게 만들어졌을까?
가장 중요한 것은 가상현실의 나연이를 실제 나연이처럼 엄마가 인식할 수 있도록 만드는 것이다. 이를 위해서는 외모, 움직임, 목소리가 가장 중요하다. 적어도 외양에서 나연이의 모습과 일치시키지 못한다면 엄마가 갖는 첫인상은 부정적일 수밖에 없다. 따라서 모습의 정교함(fidelity)이 핵심이다.
가상현실의 시작은 외모를 만드는 작업이다. 나연이의 외모를 만들기 위해서는 복잡한 과정을 거쳐야 한다. 먼저 360도로 둘러싸인 160대의 카메라로 비슷한 나이대의 대역 모델의 얼굴과 몸을 동시에 촬영해 나연이의 외모를 위한 기본 뼈대를 만드는 3D 스캐닝 작업부터 시작한다. 나연이의 사진과 동영상을 바탕으로 얼굴과 체형, 피부, 표정, 동작 등의 리터칭 작업을 거쳐 나연이와 닮은 3D 모델을 구현한다. 이 작업을 통해 가상현실 속의 나연이가 얼마나 실제의 나연이처럼 보일 수 있는지가 결정된다.
나연이의 얼굴과 몸을 구현하기 위한 3D 스캐닝 작업
이렇게 만든 모델링을 기반으로, 실시간 움직임을 기록하는 모션 캡처 기술을 활용해서 가상현실에서 보일 나연이의 행동을 만들어 냈다. 모션 캡처는 자연스러운 몸짓을 만들어내기 위해 필요한 작업인데, ‘아바타’나 ‘캣츠’와 같은 모션 캡처를 이용한 영화를 만드는 과정과 동일하다. 나연이의 표정과 걷는 모습 등 자연스러운 움직임을 보인 것은 바로 모션 캡처의 결과이다. 모션 캡처로 찍은 영상은 그대로 가상현실 환경에 재현될 것이기 때문에 세심한 스토리텔링이 필요하다. 참고로 가상현실 환경에서 몰입감을 높이기 위한 다양한 기제가 있다. 물리적으로는 해상도를 높이고, 정교함을 보여야 함과 동시에 사용자가 몰입할 수 있는 인구통계학적(demographic), 심리적(psychographic) 요소들을 준비하는 것도 필요하다. 가령 나연이의 경우는 엄마의 기억을 활용해 나연이가 좋아하던 옷과 신발을 그대로 구현했고, 배경이 되는 장소 역시 엄마와 나연이의 추억이 남아있는 곳으로 설정했다. 이처럼 하나의 상황을 만들어 내기 위해 기술적 요소에 더해진 스토리텔링은 몰입감을 증가시킨다. 이후 가상현실에서 보이는 나연이를 실제 사람처럼 보이기 위한 CG 작업은 더욱 현실적인 감정을 불러일으키는 데 중요한 역할을 한다.
가상현실 환경은 '언리얼 엔진(Unreal Engine)'으로 구현했다. 언리얼 엔진은 강력한 그래픽 성능과 편리한 인터페이스 등을 장점으로 게임 엔진산업을 주도하는 2D와 3D 게임 엔진이다. 그러나 최근에는 입력에 따라 이미지와 내용 출력이 달라지는 리얼타임 렌더링을 지원함으로써 가상현실과 혼합현실이 가져야 하는 즉각적인 상호작용성을 구현하는 데 적합하게 개발돼, 게임뿐만 아니라 가상현실 제작 도구로 유니티(Unity)와 더불어 많이 사용되고 있다.
나연이의 목소리를 만드는 다섯 명의 아이들
나연이의 목소리를 만들기 위해서 비슷한 또래의 아이 다섯 명이 각각 800문장씩 녹음을 한 후, 열 시간 분량의 데이터를 만들었다. 나연이의 실제 목소리가 1분 정도밖에 남아 있지 않아서, 이 데이터를 딥러닝(deep learning) 엔진을 통해 학습시킨 후 최대한 나연이의 목소리와 비슷하게 만든 것이다. 학습시킬 수 있는 데이터만 있다면, 목소리는 딥러닝을 통해 죽은 사람의 음성뿐만 아니라 유명인의 음성 등 누구의 음성도 구현할 수 있다. 기존 인공지능 음성에서 느끼던 기계적인 음성이 아닌 자연스러운 톤을 만들 수 있다는 장점을 갖고 있어 다양한 분야에 적용 가능성이 높다.
아직은 인간이 나누는 대화처럼 자연스러운 대화를 만들어내는 인공지능 기술은 개발되지 않았다. 네이버의 ‘클로바(Clova)’나 카카오의 ‘카카오 아이(Kakao i)’, KT의 ‘기가지니(GiGA Genie)’나 SKT의 '누구(NUGU)' 사용자는 잘 알겠지만, 인공지능 스피커라고 말하는 음성 서비스는 실제로 사전에 훈련된 문장에 대해서 반응할 뿐, 대부분의 질문에는 이해하지 못한다는 반응을 보인다. 가상현실의 나연이 역시 엄마와 나눌 수 있는 대화를 사전에 훈련해 짧은 대화만 가능하게 만들었다.
마지막으로 나연이를 만져주고, 안아줄 때 현실감을 높이기 위해서 촉각 인식 기구인 ‘가상현실용 장갑’을 활용했다. 이번에 사용한 장갑은 촉각에 더해서 온도까지 느낄 수 있는 기술을 갖고 있어서 엄마의 손과 나연이의 손이 맞닿는 순간 체온이 느껴지게 했다.
진짜 같은 가짜가 만드는 현실감과 몰입감!
다큐멘터리 <너를 만났다>를 만든 목적은 엄마에게 ‘좋은 기억’을 만들어주기 위해서였다. 사랑하는 딸을 허망하게 떠나보낸 엄마가 나연이를 위해 차려준 생일 미역국은 가장 해주고 싶은 선물이었다. 그런 엄마에게 가상현실 기술은 ‘좋은 기억’을 만들어 준 도구였을까?
가상현실은 사용자가 완전한 상태로 몰입하고 상호작용할 수 있는, 100% 컴퓨터 그래픽으로 만들어진 가상의 세계를 의미한다. 가상현실은 단지 눈으로 보는 것만을 의미하지 않는다. ‘실감!’ 나는 경험을 하기 위해, 즉 몰입도를 높이기 위해 인간의 다양한 감각을 자극하는 것이 가상현실이다. 그리고 가상현실로 대표되는 실감나는 미디어를 바로 ‘실감 미디어’라고 부른다. 사실 실감 미디어는 어느 때고 존재했다. 실감 나게 느낀다는 것은 결국 주관적인 경험이기 때문이다. 그럼에도 불구하고 실감 미디어의 시대임을 새삼 강조하는 이유는 진짜 같은 가짜가 실제보다 더 현실같이 구현되는 기술적 환경이 구비됐기 때문이다. 나연이 엄마에게 가상현실은 적어도 그 시간만큼은 나연이와 함께 하는 공존의 공간이었다. 과거의 기억을 바탕으로, 존재할 수 없는 현재를 만든 공간인 것이다. 가짜이지만 진짜 같은 가상현실 공간이 나연이 엄마에게는 얼마나 큰 의미였을까?
몰입감을 극대화하는 것이 목표이다 보니, 가상현실은 긍정적 효과와 부정적 효과를 공존하게 만든다. 일반인이 접할 수 있는 경우는 기껏해야 엔터테인먼트 분야이기 때문에, 가상현실 콘텐츠의 사용이 대중적이지 않은 것이 현실이지만, 일부 분야에서는 가상현실을 적극적으로 차용하고 있다. 대표적인 예가 실제로 경험하기 힘든 환경을 구현하거나, 실제로 경험할 때 비용이 많이 들 경우이다. 100% 가짜이기 때문에 가상현실은 현실에서 수행하기 곤란한 과업을 실행할 수 있는 우주나 심해 탐험, 그리고 비용이 많이 드는 의료시술, 항공기 운항이나 군사훈련 같은 상황을 재현하는 데 유용하다. 특히 손님을 맞이하는 서비스업의 경우는 고객 응대용으로도 많이 활용된다. 훈련용 환경을 만든 후에 반복적으로 활용함으로써 실제 상황에 대처할 때 효과를 높이는 것이다.
이러한 이유로 글로벌 기업에서는 자사의 전통적 산업을 실감 미디어 분야로 확장하는 데 적극적이다. 협업을 위한 솔루션 개발에 강점이 있는 마이크로소프트는 협업 환경을 만드는데 공을 들이고 있다. 마이크로소프트가 산업용 시장의 확대를 꾀하는 데 반해, 페이스북은 실감 미디어의 미래를 소셜로 보고 있다. 소셜, 즉 관계는 인간의 기본 속성이다. 그리고 페이스북 같은 소셜미디어는 이러한 인간의 기본적인 욕구를 잘 반영한 기술이다. 자기 생각과 관점 혹은 유용한 정보를 공유하면서 새로운 인간관계를 만들거나 지속, 발전시키는 장을 제공하는 것이다. 소셜 활동의 공간이 가상현실이 될 것이며, 이곳에서 광고와 같은 마케팅과 상거래가 자연스럽게 이루어져, 소셜미디어가 자연스럽게 소셜 VR로 발전하는 것을 준비하고 있다.
과몰입의 또 다른 이름, 중독
그러나 동시에 부작용도 긍정적인 면 이상으로 많다. 개인에게는 우리가 잘 아는 게임의 부작용을 그대로 갖게 될 것이다. 과몰입은 달리 말하면 중독이다. 과몰입과 중독의 경계선은 긍정적인 관점 또는 부정적인 관점을 갖고 있는가의 차이이기도 하다. 만약 친척의 죽음보다 디지털 ‘다마고치’의 죽음에 더 크게 슬퍼하고, 남편이 아내와의 잠자리보다 사이버 아바타 또는 에이전트와의 관계에서 더 큰 만족감을 얻는다면 어떨까? 가상현실에 과도하게 몰입한 나머지 현실에서 도피하거나 대리 경험이 일상화될 수도 있다. 이러한 경험이 현실 세계의 삶에 어떠한 영향을 미칠지 아직은 아무도 알 수 없다.
세계 최초로 가상현실과 섹스토이를 연동시킨 러브앤씨와 버추얼 리얼포른
특히 성인물 시장은 단시간에 큰 인기를 끌 것이다. 가상현실과 이를 지원하는 액세서리의 한 예를 생각해 보자. 헤드마운트디스플레이(HMD, Head-Mounted Display)를 쓰면 이상형의 파트너가 침대에 누워있는 채로 나타난다. 현실에서는 자위 기구를 가진 사람 모습의 마네킹이 나와 함께 누워있다. 동영상의 파트너는 현실 속의 나를 유혹하고 나와 사랑을 나눈다. 섹스토이 제조사 러브앤씨(Lovense)와 VR포르노 제작사인 버추얼리얼포른 (VirtualRealPorn)은 이미 가상현실 성인물 비즈니스를 시작했다.
실감 미디어 기술로 인해 현실감이 현실 이상이 되고, 그로 인해 몰입감이 높아지면 가상의 세계에서 나오지 않으려는 사람들이 있을지도 모른다. 현실의 관계를 포기하고, 가상현실에서 삶의 만족을 추구하는 사람들이 많아질 수도 있다. 지금도 자신만의 세계에 빠져 밖으로 나오지 않는 ‘히키코모리’와 같은 사람들이 존재하지만, 앞으로는 이러한 ‘디지털 히키코모리’의 출현이 더 큰 규모로 존재하게 될 것이다.
실감 콘텐츠의 미래는?
모든 새로운 기술이 그렇듯 실감 미디어에도 기대와 두려움이 공존한다. 미디어는 인간의 생활 방식과 가치관까지 변화시킨다. 가족이 TV 앞에 앉아 대화를 나누던 저녁 시간은 이제 각자의 공간에서 스마트폰으로 원하는 콘텐츠를 각자 즐기는 일상으로 바뀌었다. 누구나 자유롭게 콘텐츠를 생산하고 전파할 수 있는 시대가 됐고, 빅데이터와 인공지능으로 인간의 상상력을 초월하는 결과물도 만들어 내는 시대다. 현실과 가상의 경계를 무너뜨리는 가상현실은 우리의 생활과 생각을 얼마나 변화시킬까? 인간의 오감을 자극하는 가상현실은 우리 감각을, 그리고 우리의 생활 태도와 삶의 방식을 어떻게 변화시킬까?
실감 미디어 기술의 발전이 가져오는 미래가 어떻게 진행될지 기대와 함께 우려도 크다. 가상현실로 인해 대인 커뮤니케이션이 더 강화될지 아니면 약화할지, 그것도 아니면 새로운 형식의 커뮤니케이션 양식이 탄생할지 두고 볼 일이다. 테크놀로지는 그 자체로 사회적 가치라는 의미를 포함하고 있다. 동시에 사용자의 가치와도 상호작용하게 된다. 따라서 가상현실이라는 가치를 사용자가 어떻게 활용하는가에 따라 긍정적인 결과도, 부정적인 결과도 가져올 수 있다.
VR 휴먼다큐 <너를 만났다>에 대한 대중의 관심이 가상현실 때문에 만들어진 관심인지, 아니면 꼭 가상현실이 아닐지라도 훌륭한 스토리텔링과 정교한 그래픽 작업만으로도 이러한 관심을 불러올 수 있었던 것인지는 향후 이어지는 실감 미디어 콘텐츠의 반향으로 알 수 있을 것이다. 기술과 윤리의 분리가 더욱 어려워지는 21세기에 실감 콘텐츠의 미래는 논쟁의 역사가 될 것이다.
저자의 다른 미디어
