기사 상세
다른 분야에 비해 영상 콘텐츠 제작에서의 인공지능 기술은 더디게 발전해왔다. 최근 소개되고 있는 영상 콘텐츠 제작 관련한 인공지능 기술을 알아보고, 이를 바탕으로 인공지능 PD를 실현하기 위한 영상 콘텐츠 제작 기술의 발전 방향을 살펴본다. 편집자 주
1940년대 TV 보급이 시작된 이래 영상 콘텐츠는 수십 년 동안 우리 생활 중심에 있었다. 9시 뉴스는 세상 돌아가는 소식을 접할 수 있는 가장 손쉬운 창구였으며, 주말 저녁 드라마는 시청률 50%를 가뿐히 넘기던 시절도 있었다. 인터넷이 보급되고, 사람들 손에 스마트폰 한 대쯤은 들려 있는 지금, 뉴스나 드라마, 영화를 보는 방법은 변했지만, 그 영향력은 여전히 크다.
수십 년 동안 영상을 제작하는 환경의 변화 또한 컸다. 단순히 흑백 영상에서 컬러로, 저해상도 영상에서 UHD를 넘나드는 고해상도 영상으로의 변화나 UHD 표준에서 얘기하는 인터넷과 통합된 방송 환경은 시청자도 쉽게 기술의 발전을 체감할 수 있다.
서비스와 직접 연관된 기술의 급격한 발달과 비교해보면, 영상 콘텐츠를 제작하는 환경에서 기술 발전은 더딘 편이었다. 우리는 종이 대본을 들고 펜으로 밑줄 치며 읽는 배우의 모습을 쉽게 접할 수 있으며, 마이크나 반사판을 들고 있는 제작 스텝 또한 여전히 현장에서 만날 수 있다. 조그마한 핸드폰에 수백 곡의 노래와 수천 권의 책을 넣어 다니고, 복잡한 기계도 로봇이 조립하는 시대에 비춰보면 영상 콘텐츠의 제작 현장은 자동화와는 거리가 멀어 보인다.
왜 그런가 생각해 보면, 영상 콘텐츠 제작은 종합 예술로 불려도 손색이 없을 정도로 다양한 분야의 전문가들이 섬세한 작업을 수행하고 이들의 결과물이 조화롭게 합쳐지는 과정이기 때문이다. 조명, 미술, 소품, 음향 등 각자의 분야들이 하나의 이야기를 풀어나가기 위해 창의적인 결과물들을 내야 하고, 이를 조화시키는 작가나 감독, 그리고 그 안에서 연기하는 연기자들의 행위는 자동화의 흐름에서 콘텐츠 제작 분야가 한발 벗어나 있게 해왔다. 그동안 인공지능 기술은 데이터에서 관측되는 단순한 패턴을 추출하는 데 그쳤다. 당연히 이런 기술들이 종합 예술 분야에 적용되기는 어렵다고 여겨졌다.
하지만 딥러닝(deep learning)1) 기술의 출현 이후, 인공지능 기술의 적용 범위는 기하급수적으로 늘고 있다. 특히, GANs(Generative Adversarial Networks)2)를 이용한 생성 모델들은 고품질의 데이터 생성 성능을 무기로, 인간의 창작 활동이라 여겨왔던 다양한 분야로 인공지능 기술의 적용 범위를 넓혀가고 있다. 이 글에서는 최근 소개되고 있는 영상 콘텐츠 창작 혹은 제작에 적용 가능한 인공지능 기술들을 소개하고, 이들 기술의 한계점을 바탕으로 영상 콘텐츠를 제작하는 인공지능 PD에 도달하기 위한 발전 방향에 대한 생각을 나누고자 한다.
인공지능 PD, 넘어야 할 산 아직 많아
내가 영상 콘텐츠의 제작을 위한 인공지능 기술에 관심을 가진 것은 2016년 발표된 MIT CSAIL(Computer Science and Artificial Intelligence Laboratory) 연구팀의 짧은 블로그 포스팅을 본 이후다. <미래의 영상 제작(Creating videos of the future)>이라는 제목의 짧은 포스팅3)에서는 GANs를 이용한 모델을 학습해 이미지를 움직이는 영상으로 변환하는 기술을 소개했다. 한창 인공지능 모델의 창작 활동이 활발히 논의되던 중이라, 보는 순간 ‘어쩌면 우리가 보는 드라마나 영화도 인공지능이 제작할 수 있지 않을까’ 하는 생각을 했다. 평소 같으면 웃고 잊었을 일이지만 같은 해 소개된 벤자민(Benjamin)은 인공지능 감독 혹은 PD라는 단어를 머릿속에 새겨줬다. 벤자민은 정확히 말하면 감독이 아니라, 작가에 가깝다. 지금도 많이 사용되는 LSTM(Long and Short Term Memory)4) 기반의 Seq2Seq(Sequence to Sequence)5) 모델인 벤자민은 1980년대와 1990년대 발표된 수많은 SF 시나리오를 기반으로 학습됐다. 학습이 완료된 벤자민은 SF 시나리오를 끊임없이 생성해낸다. 어찌 보면 난해한 문장을 생성하지만, 연구자인 뉴욕대의 로스 굿윈(Ross Goodwin)과 영화감독 오스카 샤프(Oscar Sharp)는 벤자민이 생성한 문장으로 <선스프링(Sunspring)>이라는 영화를 제작해 그 가능성을 입증했다.[그림 1]
고작 몇 프레임의 영상을 생성한 모델을 본 후, 진정한 창작의 영역이라 생각했던 시나리오를 집필하는 인공지능 기술을 봤으니, 이때는 금방이라도 인공지능 PD가 세상에 나타날 것 같았다. 하지만, 인공지능이 그린 그림이 크리스티 경매장에서 약 5억 원에 팔리고, 알리바바가 상품 광고 배너를 만드는 인공지능 모델 루반(魯班)을 발표한 지 몇 년이 흘렀지만, 여전히 인공지능 PD는 보이지 않고 있다.
영상을 처음부터 끝까지 제작하는 인공지능 PD가 당장 실현되기 어렵다면, 그 일부만을 수행하는 인공지능 기술은 어떨까? 영상을 제작하는 데 이바지하는 다양한 직업군 중 일부의 역할을 대신할 수 있는 기술이 최근 제안되고 있다. BBC는 ‘미디어 프로덕션 인공지능(AI in Media Production)’ 프로젝트6)를 통해 자동 편집 모델 에드(Ed)를 소개한 바 있다. 에드는 광각으로 촬영된 고해상도 이미지에서 적합한 카메라 앵글을 찾고 이에 맞춰 영상을 편집한다. 지니어스스포츠(Geniussports) 연구팀은 CVPR 2020 학술대회의 CVSports 워크숍에서 농구 경기 비디오를 자동 편집하는 기술을 소개한 바 있다. 이 기술에서는 하나의 고정 카메라로부터 획득한 경기 영상을 통해 경기 상황을 추론해 시청자에게 전달할 적합한 프레임을 추출한다. 에드나 지니어스스포츠 연구팀은 많은 장비와 인력을 이용할 수 없는 환경에서 효과적으로 영상을 제작해 시청자에게 전달할 수 있다는 데 기술의 가치를 두고 있다. 제작하는 장르를 좁히면 좀 더 재미있는 기술들도 찾아볼 수 있다. 최근 스탠퍼드대에서 발표한 Vid2Player 모델7)은 인공지능 PD에 가까운 형상을 보여준다. Vid2Player에서는 많은 수의 테니스 경기 비디오를 분석해 선수, 라켓, 테니스공의 움직임을 학습하고 이를 토대로 실제와 유사한 테니스 경기 비디오를 생성해냈다.[그림 2] 유명 선수들의 움직임을 학습한 모델은 실제 경기가 성사되지 않은 선수 들 간의 경기도 생성해낼 수 있다. 생성한 영상이 자 연스럽게 보일 수 있는 것은 빛의 방향이나 옷의 움 직임 등 작은 것까지도 Pix2PixHD, CycleGAN 등 다수의 인공지능 모델들을 활용해 제어하기 때문이다. Vid2Player에서는 경기 결과 또한 제어할 수 있어서, 특정 선수가 세계 유수의 플레이어들과 대결해서 이기는 영상을 직접 만들 수 있다. 연구팀은 이러한 기술이 스포츠 엔터테인먼트 분야에서 새로운 사용자 경험을 창출할 것으로 기대했다.
인상적인 결과물을 보면 이러한 기술들은 제작 과정의 자동화에 크게 이바지할 수 있을 것으로 여겨진다. 하지만, 현재의 기술들이 발전을 거듭해서 인공지능 PD가 될 수 있을까 생각해 보면 여전히 넘어야 할 산들이 많다. 현재까지 개발된 기술들은 대부분 제작 과정의 일부만을 고려하고 있거나, 특정 장르나 내용에 한정해서 콘텐츠를 제작하고 있다. Vid2Player의 경우에도, 영상의 앵글은 단일 앵글로 한정하고, 생성 대상을 두 선수와 공으로 제한했다. 경기장에 입장한 관중이나, 심판 등은 고정된 이미지로 표현했다. 테니스 경기와 같이 한정된 상황에서는 이러한 제한이 영상의 질을 크게 떨어트리진 않으나, 드라마나 영화 같은 일반적인 영상은 환경이나 상황을 제한하기 힘들다. 영화만 생각해봐도 우주 끝에서 땅끝까지 어떤 배경에서 무슨 일이 일어날지 한정해서 상상하기는 어렵다. 인공지능 PD가 이처럼 넓은 범위의 이야기를 다루기에는 현재까지 개발된 기술로는 어려움이 있다. 이 글에서 소개한 기술들은 콘텐츠를 한정함으로써 대상 콘텐츠의 내용을 사람의 지식에 의존해 모델링하고 있다. 대상 콘텐츠의 범위가 넓어진다면, 이와 같은 방식은 한계를 드러낸다. 따라서 인공지능 PD의 첫걸음은 영상 콘텐츠의 장르적 특성, 스토리 등을 이해하는 것이어야 한다. 인공지능이 콘텐츠를 이해할 수 있다면, 벤자민을 보듯 새로운 스토리를 생성할 수 있을 것이다.
인간이 쌓아온 지식은 인공지능 PD의 자양분
스토리를 바탕으로 한 고품질 영상의 제작은 오히려 기존 기술에서 힌트를 얻을 수 있다. 다시 말해, 에드나 지니어스스포츠의 농구 경기 콘텐츠, Vid2Player의 테니스 경기 영상의 제작 과정을 보면 우리가 인공지능 PD에 도달하기 위한 힌트가 있다. Vid2Player를 개발한 스탠퍼드 연구팀은 새로운 모델을 개발하기보다, 테니스라는 스포츠에 대한 다양한 지식을 적용했다고 밝히고 있다. 지니어스스포츠 또한 경기를 구성하는 요소들과 움직임에 집중했다. 콘텐츠에 대한 지식을 모델에 주입하는 것은 한계에 다다를 수 있다. 하지만, 제작 과정 혹은 기법에 대한 사람의 지식은 어떨까? 영상 콘텐츠의 제작은 수십 년간 쌓은 노하우를 바탕으로 하고 있다. 주어진 상황에서 효과적인 카메라 움직임이나 앵글, 조명 등은 인간이 수백, 수천 편 이상의 영상을 제작하면서 도출된 기법이다. 이런 기법들이 콘텐츠가 변했다고, 혹은 다른 스토리의 콘텐츠를 만든다 해서 완전히 새로워질 수는 없다. 따라서 콘텐츠 제작을 위한 인간이 쌓아온 이러한 지식은 인공지능 PD의 실현에 큰 도움을 줄 수 있을 것으로 기대된다. 엔지니어, 특히 기계학습 분야의 엔지니어는 데이터로부터 생각을 시작하고 목표를 달성하기 위한 모델을 디자인한다. 하지만 인간의 창의성을 모방하기 위한 인공지능 모델은 데이터가 생산되는 과정에서 인간이 쌓아온 지식에 대한 고찰 없이는 실현되기는 어렵다고 본다. 결론적으로 인공지능 PD 기술의 실현은 인공지능 기술을 개발하는 엔지니어와 콘텐츠 제작 분야의 전문가들 간의 협업을 필수적으로 고려해야 한다.
인공지능 PD의 탄생, 그 후
아직 세상에 나오지 않은 인공지능 PD지만, 기술이 실현된 상황을 상상해볼 수는 있다. 인공지능에 의한 영상 제작의 자동화는 현재 제작을 담당하고 있는 많은 인력의 역할을 줄이거나 없앨 것이다. 산업혁명으로 수많은 방직공이 직업을 잃었듯이, ‘인공지능 PD로 인해 제작 인력들의 설 자리가 사라질 것인가?’ 하는 걱정은 당연하다. 개인적으로는 기술의 한계는 분명히 존재하는 터라, 걱정하는 것처럼 수많은 일자리가 사라지는 상황은 없을 것으로 생각한다. 인공지능 기술의 결과가 아무리 그럴듯하고 창의적으로 보일지라도, 데이터로부터 도출된 패턴에 기반을 두는 것이니, 사람의 생각이 필요할 여지는 충분하다. 반복적·기계적으로 사용되던 기법들, 구태의연한 스토리라인 등은 기계가 대체할 것이고, 그런 일에 시간을 쓰던 제작자는 더 새로운 기법들, 더 기발한 스토리나 콘텐츠를 개발하는 데 많은 시간을 쓸 수 있을 것이다. 물론 4차 산업혁명 시대에 노동자의 위치에 대한 고민처럼 제작자의 새로운 역할 정립을 위한 노력이 기술 개발과 함께 필요해 보인다.
마지막으로 덧붙이고 싶은 것은 ‘서비스’와 관련이 있다. 인공지능 PD는 사용자가 원하는 스토리와 형태에 맞춰 영상 콘텐츠를 제작해줄 수 있을 것이다. 앞서 소개한 지니어스스포츠의 농구 경기의 경우, 내가 좋아하는 선수만 따라가며 본다던가, Vid2Player를 이용해 원하는 선수들 간의 대결을 안방에서 성사시키는 것이 현재의 기술 수준이다. 더 나아간다면, 인공지능 PD는 내가 원하는 대로 결말이 이뤄지는 드라마나, 내가 주인공인 드라마 등 사용자의 요구에 맞춰 끊임없이 콘텐츠를 제작할 수 있다. 이러한 인공지능 PD 기술을 이용한 미래 서비스에 대한 고민 또한 필요한 시점이다. 4차 산업혁명 시대에서 기술을 따라가지 못하는 서비스가 살아남기는 어려우니 말이다.
1) 기계가 주어진 데이터를 통해 스스로 학습하는 기술. 편집자 주
2) 가짜를 생성하는 딥러닝 네트워크와 이를 감별하는 딥러닝 네트워크가 서로 경쟁하면서 학습하는 차세대 딥러닝 기술. 편집자 주
3) Conner-Simons, A. & Gordon, R.,
4) 특정 위치에 나타나는 단어의 종류를 인식함으로써, 문맥 연관성을 분석하는 기술. 편집자 주
5) 한 문장(시퀀스)을 다른 문장(시퀀스)으로 변환하는 모델. 편집자 주
6)
7) Zhang, H., Sciutto, C., Agrawala, M., & Fatahalian, K.,
저자의 다른 미디어
