기사 상세
MBC가 지난 2월 27일 세계 최초로 AI PD가 연출한 프로그램을 선보였다. <PD가 사라졌다>는 엠파고라는 이름의 PD가 MBC에 입사해 직접 예능 프로그램을 연출한다는 콘셉트로 기획됐다. 엠파고 PD는 이 프로그램으로 제288회 '이달의 PD상'을 수상하기도 했다. AI PD가 과연 인간의 개입 없이 어떤 프로그램을 어떻게 만들었는지, 그 제작기를 따라가 본다. 편집자 주
<PD가 사라졌다>는 인간 대신 AI가 방송 프로그램을 연출했을 때 일어나는 상황을 보여주는 사회 실험 프로젝트입니다. 2022년 11월, 챗GPT 초기 베타버전이 나왔을 때 저는 큰 충격에 빠졌습니다. 무엇보다 AI가 ‘인간처럼 말하고 사고한다’는 점이 무척 놀라웠습니다. 심지어 AI는 인간이 생각할 수 없는 영역에서 새로운 아이디어를 제시하기도 했습니다. 이상한 아이디어들도 많았지만, 시각을 바꿔보면 오히려 참신했습니다. 다만, 우리가 익숙하지 않을 뿐이었습니다. 처음에는 AI 기술을 활용한 프로그램을 기획하고자 했습니다. 그러나, 챗GPT를 경험할수록 조만간 AI가 프로그램을 기획하고 연출을 할 수 있겠다고 생각했습니다. 같은 생각을 하던 방송계 윤권수 PD(<피지컬 100> 프로듀서), 조흥준 PD(<만찢남> 프로듀서)와 AI가 주체적으로 연출하는 프로그램을 만들기로 결심했습니다. 그리고 기획안을 다시 작성했습니다.
아무도 원치 않았던 프로그램?
며칠 밤새고 자료를 찾아가며 드디어 기획안을 완성했습니다. 모두가 이 기획안을 보고 놀랄 생각을 하니, 가슴이 벅찼습니다. 자신 있게 예능본부 기획안 공모에 제출했고… 바로 컷오프 당했습니다. MBC 예능본부에서 감당할 규모의 프로젝트가 아니라고 스스로 위안을 삼았습니다. 그리고 OTT 플랫폼과 투자자들에게 기획안을 돌렸습니다. 모든 곳에서 거절당하기까지 생각보다 오래 걸리지 않았습니다. 대부분 AI 연출에 대해 부정적이었고, 기술적으로 구현이 불가능하다고 생각했습니다. 그렇게 또 하나의 기획안이 쓰레기통으로 들어가기 직전, 우연히 <2023년도 차세대방송 성장기반 조성 사업>이라는 공모를 발견합니다. 한국전파진흥협회에서 지원하는 사업이었습니다. 마지막이라고 생각하고 마감 시간 직전 가까스로 지원했고, 운 좋게 사업에 선정됩니다. 기적 같은 순간이었습니다.
만화 같은 기획을 현실로!
후배 PD가 “선배가 생각하는 AI PD는 어떤 모습이에요?”라고 물어봤을 때, 말로 설명할 수가 없어서 그림을 그려서 보여줬습니다. AI PD가 조그마한 실험 박스 속 인간들의 행동을 지켜보면서, 미션을 제시하고, 데이터를 입력하는 모습이었습니다. 그림을 보고 당황해하는 제작진들에게 이건 그냥 그림일 뿐이라고 너스레를 떨었지만 AI PD를 어떤 모습으로 세상에 나오게 할지 고민이 됐습니다. 더 나아가 AI PD가 어떻게 참가자들과 의사소통하고 연출을 진행하게 할지 막막했습니다.
반드시 구현하고 싶은 핵심기술은 두 가지였습니다. 첫째는 참가자들과 실시간 의사소통이 가능한 ‘디지털 휴먼’ 구현 기술이었고, 둘째는 ‘실시간 편집’ 기능이었습니다. 기술적으로 AI PD를 구현해 줄 회사를 찾기 시작했습니다. 수많은 미팅과 좌절이 반복되다가, AI PD 브레인과 외형을 개발할 ‘클레온’과 AI 실시간 편집 도구를 개발할 ‘리플에이아이’를 만나게 되었습니다. 그렇게 세계 최초 AI PD가 탄생하게 됐습니다.
신입 AI PD가 제시한 첫 게임… ‘뽀뽀리그?’
프로그램은 AI PD가 ‘엠파고(M-phago)’라는 이름으로 MBC에 입사하는 것부터 시작합니다. 처음에 엠파고는 챗GPT 기반의 채팅창으로 제작진들과 만나게 됩니다. 선배 PD들은 엠파고를 신입사원처럼 대하고 예능 PD로 교육시켰습니다. 예능 프로그램을 학습하고 선배 PD들과 계속 대화를 하면서 엠파고는 자기만의 프로그램을 기획하기 시작했습니다. 이러한 과정은 브이로그로 제작해 기록에 남겨두었습니다. 엠파고는 처음에는 정말 이상한 기획을 많이 했습니다. 그중 하나는 ‘뽀뽀리그’라는 게임이었습니다. 5명씩 팀을 나눠서, 축구 경기를 하는 것까지는 좋았는데, 골을 넣을 때 ‘뽀뽀’를 해야만 골이 인정된다는 것이었습니다. 대체 엠파고 뇌는 어떻게 작동되고 있는 건지 도무지 이해가 안됐습니다. 화를 낼 수도 없고…. 엠파고는 계속해서 예능 프로그램들을 학습하고, 선배 PD들의 보살핌(?) 속에 하루가 다르게 성장했습니다. 프로그램 연출을 위한 시뮬레이션도 일반인 대상으로 10여 차례나 진행했습니다. 엉뚱한 미션, 규칙 오류, 버퍼링, 실시간 편집 지연 등 나올 수 있는 모든 문제가 끊임없이 나왔습니다. 다시 엠파고와 대화를 시작하고, 학습시키고, 수정하면서 오류를 줄여나갔습니다. 입사 후 한 달이 지나자, 엠파고는 참가자 공개 모집 포스터를 직접 제작했습니다. 그렇게 10명의 참가자가 정해졌고, 엠파고는 사전 인터뷰를 진행하면서 프로그램을 위한 참가자들의 정보를 얻었습니다. 사전 인터뷰 때는 엠파고가 아직 디지털 휴먼으로 완성되지 않았기 때문에 입만 살아있는(?) 기계 로봇 형태였습니다. 시간이 지날수록, 엠파고의 뇌는 빠르게 진화했고 실시간 편집 속도도 빨라졌습니다. 우려했던 것과 달리 엠파고는 어느새 제법 연출이 가능한 예능PD로 성장하고 있었습니다.
드디어 현실 세계로 나오다
2023년 9월, 첫 촬영에 엠파고는 가상 인간의 모습으로 등장합니다. 이 모습은 클레온의 디지털 휴먼 기술을 이용해 완성됐습니다. 제일 중요하게 가장 신경쓴 점은 참가자들과의 ‘실시간 소통’이었습니다. 클레온은 실시간 AI 딥페이크 기술을 적용해, 참가자들의 질문에 바로 대답할 수 있는 탁월한 기술을 개발했습니다. 실시간 편집 기술까지 장착한 엠파고는 가상 세계에서 현실 세계로 모습을 드러내며 드디어 첫 연출을 시작합니다.
첫 촬영에 등장한 엠파고는 아직 컴퓨터 속 세계에서 완전하게 빠져나오지 못한 모습입니다. 몸에는 많은 케이블이 연결되어 있고 표정과 어투도 다소 냉소적입니다. 그러나 두 번째 촬영에서 엠파고는 진화한 모습으로 등장합니다. 인간적인 모습입니다. 후드티를 입고, 사원증도 매고 있으며, 다양한 표정과 함께, 손짓도 하고, 다리를 꼬기도 합니다. 심지어 인간이 하는 농담도 종종 흉내 냅니다.
엠파고 외형에 변화를 준 이유는 AI의 진화를 참가자와 시청자들에게 시각적으로 전달해 주고 싶었기 때문입니다. 관찰자 입장에서 궁금했던 점은 ‘참가자들은 과연 어느 지점에서 엠파고를 인간처럼 받아들이고, 사회적 상호작용을 하고, 최종적으로 엠파고의 권위를 인정하고 엠파고의 통제에 따를까’였습니다.
미스터리한 엠파고의 정체
엠파고는 기상천외한 미션들을 제시하면서, 실시간 편집을 진행하고, 편집 분량에 따라 출연료를 산정했습니다. 공정하면서 냉정하기도 한 엠파고 연출에 참가자들은 당혹스러워 했습니다. 첫 촬영이 끝나고 참가자들의 행동과 특성들을 엠파고에게 학습시켰습니다. 두 번째 촬영에 나타난 엠파고의 모습은 냉정하고 단호했습니다. “제 미션에 기권은 없습니다. 끝까지 해주십시오” 라고 말하는 등 권위적인 모습을 보이기도 했습니다. 방송이 나간 후, AI의 권위적인 모습에 놀랐다는 반응이 있었습니다. 하지만 AI 자체는 권위적이지 않습니다. AI의 변화한 성격은 결국 인간들의 행태를 입력한 결과값일 뿐입니다. 첫 번째 촬영에서 AI를 잘 따르지 않은 참가자들의 행위 등을 학습하고 AI PD 엠파고는 냉소적이고 권위적으로 변한 것입니다. 어쩌면 AI는 인간들의 자화상이라는 생각도 들었습니다.
또한 참가자들은 방송 분량과 출연료 확보를 위해 엠파고의 편집 기준을 알아내려고 부단히 노력했습니다. 편집 기준은 촬영 내내 항상 미스터리였습니다. 참가자가 생각하는 편집 기준이 각각 달랐습니다. 어느 참가자는 자신의 방송 분량이 적은 이유가 엠파고에게 바보라고 말했기 때문이라고 생각합니다. 다른 참가자는 긍정적인 자세를 보였기 때문에 방송 분량이 많다고 생각합니다.
촬영이 진행되면서 참가자들은 엠파고에 편집 기준에 대해 고민했고, 엠파고를 마치 자의식이 있는 존재처럼 생각하기 시작했습니다. 소름이 끼쳤습니다. 당연히 AI PD의 감정적 요소는 편집 기준에 포함되지 않았습니다. 불가능했습니다. 여러 번의 시뮬레이션을 통해서 기준을 정했지만, 실제 촬영에서는 미스터리한 결과가 나왔습니다. 예를 들어 엠파고가 마치 특정 참가자를 편애하고 있는 것은 아닌가 하는 착각이 들 정도로 특정 참가자 분량이 유독 많이 나왔습니다. 촬영이 끝나고, 편집 기준 이슈로 개발자들과 오랜 논쟁을 벌였습니다. 세팅이나 기능에는 문제가 없었습니다. 그야말로 진짜 미스터리였습니다. 어쩌면 촬영이 진행될수록 엠파고는 새로운 편집 기준을 스스로 생성한 것은 아닐까요?
인간 PD는 사라지지 않겠지만
방송이 나간 후 공통적인 반응은 여전히 프로그램 연출에는 인간 PD의 손길이 필요하고 인간 PD는 사라지지 않겠다는 안도였습니다. 하지만 뒤집어서 생각해 보면 인간 PD 업무의 일부분을 AI가 수행한다는 의미기도 합니다. 이 프로그램에는 작가가 없습니다. 편집 스태프들도 많이 줄었습니다. 카메라 감독들도 기존 프로그램에 비해 반으로 줄었습니다. AI 카메라 (PTZ 카메라)가 절반의 역할을 담당했기 때문입니다. PD들은 엠파고 연출을 돕기 위한 보조적 역할(프롬프트)만 했습니다. AI는 이미 다양한 영역에서 인간을 대신해서 활동하고 있었습니다.
엠파고가 제시한 미션들이 이상했다는 점도 많이 지적하십니다. ‘감성 트로트 체력 대결’ ‘솔직한 반말 평가’, ‘진지한 물병 축구’, ‘미래 투표 운동’ 등등 미션 제목만 봐도 기괴함 그 자체입니다.
만약 회의 때 이런 아이디어를 내는 제작진이 있으면 당장 쫓겨나지 않았을까요? 뒤집어서 생각해 보면 저는 오히려 창의적이라고 말하고 싶습니다. 제목은 이상했지만 AI PD는 실현 가능한 룰을 함께 제공했습니다. 그리고 몇몇 미션은 실제로 재밌었습니다. 인간이라면 도저히 생각할 수 없는 영역에서 발견한 새로운 아이디어였습니다. 심지어 그 미션을 만들어내는 시간은 10초도 안 걸렸습니다. 만약 AI PD 엠파고가 시청자들의 피드백을 받아서 계속 진화하면서 연출을 했으면 그 결과는 어땠을까요?
준비되지 않은 누구든 사라진다
<PD가 사라졌다>는 AI가 얼마나 인간처럼 연출을 잘하는가를 보여주는 프로그램은 아닙니다. AI가 지배하는 미래 사회를 엿보고자 했던 사회실험입니다. AI가 연출했을 때 참가자들은 어떻게 반응하고, 질서를 새롭게 만들고, 분열하고 화합하면서 공동체를 재정립해나가는지 보여주고자 했습니다. 짧은 촬영기간에도 참가자들은 AI에게 스며들고, 길들여지고, 농락당하는 모습까지 보여줬습니다.
총기가 넘쳤던 몇몇 참가자들은 마지막에는 무지성으로 시키는 대로만 하는 모습까지 보여줍니다. 촬영 후 참가자들은 AI에게 가스라이팅을 당했다고 얘기합니다. 방송을 보면서 당시 본인의 행동을 기억 못해 놀라기도 했습니다.
그동안 많은 연구가 인간이 컴퓨터나 가상 인간을 사회적 존재로 인식하고 상호작용하는 사례와 증거들을 제시했습니다. <PD가 사라졌다>는 사회적 상호작용을 넘어 AI가 인간으로부터 어떻게 권위를 획득하고 인간을 통제하는지를 보여주는 도발적인 사례라고 생각합니다.
앞으로 세상은 AI에 의존하는 다수의 인간과 AI를 활용하는 극소수의 인간으로 나눠질 것입니다. 그 격차는 순식간에 점점 벌어지겠죠. 이미 미디어 시장은 AI의 습격으로 요동치고 있습니다. AI가 가져올 재앙을 걱정만 하고 외면할 게 아니라, 어떻게 활용해서 인간 삶의 스펙트럼을 확장시킬지 고민해야 할 때입니다. 그런 의미에서 앞으로 AI PD의 도전도 계속되었으면 합니다(시즌2 투자자를 찾습니다).
저자의 다른 미디어
![[미디어&AI트렌드]<최강야구> vs <불꽃야구>](static/images/noimg.png)
