오랫동안 우리는 인공지능의 ‘투명성’을 강조해왔다. 거대 기술 기업들의 인공지능 알고리즘이 각종 차별을 심화하는 사례가 지속적으로 나타나면서, 알고리즘을 투명하게 볼 수 있다면 인공지능 시스템에서 문제가 되었던 편향, 배제 등의 문제를 해결할 수 있을 것으로 생각했기 때문이다(전창영, 2019).¹⁾

그러나 《AI 지도책-세계의 부와 권력을 재편하는 인공지능의 실체》(이하 《AI 지도책》)를 읽어보면 정작 중요한 것을 놓치고 있었음을 알게 된다. 케이트 크로퍼드(Kate Crawford) 마이크로소프트 연구소 선임수석연구원은 10여 년의 경험을 바탕으로, AI가 갖는 정치적·사회적 의미를 다각적으로 검토하며 입체적 지도책을 만들었다. 이 책은 AI가 어떻게 생성되는지 폭넓은 의미에서 살펴보고, 인공지능을 만드는 경제적·정치적·문화적·역사적 배경을 탐구한다. 정치사회 구조와 AI를 연결하게 되면 우리가 AI를 기술적 영역으로만 받아들였던 기존의 통념에서 벗어날 수 있다. AI는 기술적 행위이자 사회적 행위이며, 제도이자 토대이며, 정치이자 문화이기 때문이다.

저자는 AI가 생산되는 방식과 교육, 의료, 금융, 고용, 통신, 사법 체계 등에 적용되는 방식에 대해 질문을 던져야 한다고 강조한다. 인공지능을 어디에 쓸지 고민하기보다 ‘우리는 왜 인공지능을 이용하는가?’에 대해 끊임없이 질문해야 한다는 것이다. 쉽게 답할 수 있는 질문은 아니지만 그렇다고 해결할 수 없는 문제도 아니다. 《AI 지도책》은 이에 대한 실마리를 찾기 위해 ‘지구, 노동, 데이터, 분류, 국가, 권력’ 등의 키워드를 연결해 폭넓게 문제를 진단하고 있다. 함께 지도책을 펼쳐 AI의 실체를 살펴보자.

AI를 떠받치는 탄소발자국

‘인공지능’이라는 용어를 들으면 알고리즘, 데이터, 클라우드 등의 단어가 먼저 떠오를 것이다. 몇 년 전 알파고가 이세돌을 상대로 승리를 거두는 장면처럼 인간을 초월하는 지능, 데이터와 연산으로 이루어진 기술에 대한 이미지도 연상된다. 그러나 저자는 이보다 인공지능을 구성하는 핵심 부품에 주목한다.

책은 네바다의 리튬 광산 실버 피크(Silver Peak)에서 시작한다. 리튬은 충전용 배터리의 핵심 연료이며 배터리 공급사슬에서 이뤄지는 채굴, 제련, 추출, 조립, 운송은 환경과 지역사회에 심각한 피해를 입힌다. 또한 NLP(자연어처리) 모형을 하나 가동하는 데는 미국에서 중국까지 비행기로 125차례 왕복하는 것과 맞먹는 30만 kg의 이산화탄소가 배출된다. 인공지능 데이터센터 역시 어마어마한 석탄, 가스, 원자력, 재생에너지를 필요로 하는 세계 최대 전기 소비처 중 하나다. 이처럼 AI 시스템의 속도와 정확성 등 기술적 차원의 기하급수적인 성장을 이루려는 욕망으로 인해 지구가 막대한 비용을 치르고 있다. 마이크로소프트, 구글, 아마존 등 거대 기술 기업들은 지구 지각에서 화석연료를 찾아내고 채굴하는 일을 지원하기 위해 자사의 AI 플랫폼, 엔지니어링 인력, 인프라에 대한 이용 권한을 부여함으로써 AI 산업을 더욱 육성하고 있다.

이런 상황에서 그린피스는 거대 기술 기업들에게 청정에너지 비중을 늘리고 에너지 이용 현황을 공개할 것을 요구하기도 했다. 최근 애플과 구글은 탄소중립을 공언하고 있으며, 마이크로소프트는 2030년까지 탄소 네거티브를 실현하겠다고 약속하는 등²⁾ 대규모 연산의 에너지 소비에 대해 적극적으로 대응하는 모습을 보이고 있는데, 지속적으로 지켜봐야 할 것이다.

요컨대 우리가 기억해야 하는 사실은 AI를 떠받치는 것이 리튬 광산의 자원과 폐기물이 만들어내는 탄소발자국이라는 것이다. 이 모든 것들에는 비용이 따른다. 저자가 AI 산업을 에너지, 광물자원을 추출하는 ‘추출 산업’이라고 규정하는 이유다. AI는 생각보다 훨씬 많은 것을 지구로부터 뽑아가고 있다.

자동화 이면에 가려진 인간 노동자들

많은 사람이 경험했을 역설. 구글링을 하다 보면 우리가 인간임을 증명해야 하는 상황이 발생한다. 도로표지판이나 버스, 신호등, 소화전이 들어있는 사진을 열심히 선택한다. 하지만 이는 구글의 이미지 인식 알고리즘을 무료로 훈련시켜주는 작업이다.

AI가 효율적이라는 환상을 떠받치기 위해 여러 겹의 착취가 이뤄진다. 거대 기술 기업들의 AI 시스템을 정교하게 발전시키기 위한 대규모 무급 노동의 추출은 그중 하나다. 우리는 광산 노동자들의 육체노동, 조립라인의 반복적 공장 노동, 외주 프로그래머의 정신적 노동 착취에 대해 주목해야 한다.

AI를 활용한 자동화 시스템은 인간 노동을 대체하는 것처럼 보이지만 실상은 인간 노동을 조율하는 것에 불과하다. AI는 인간 노동을 직접 대체하지 않는다. 겉보기에 자동화된 AI 시스템을 지탱하는 것은 단순 작업을 끊임없이 처리하는 인간 노동자들이다. 오히려 노동자들은 같은 일을 하는 다른 노동자들과 단절될 뿐 아니라 자신의 노동 결과물로부터 소외된 채 고용주에게 착취당할 가능성만 커진다. 이는 전 세계 크라우드 노동자들이 받는 급여가 극단적으로 낮은 것을 보면 알 수 있다. 노동자들은 초저임금을 받고 이미지에 태그를 붙이거나 알고리즘이 올바른 결과를 내놓는지 검증하며 AI 시스템을 빠르고 값싸게 개선한다. 거대 기술 기업들은 AI 시스템 덕분에 전 세계에 분산된 노동을 더욱 착취해 불균등한 경제 지형을 이용할 수 있게 됐다.

우리는 그동안 ‘로봇은 인간 일자리를 대체할 수 있는가?’에 주목해왔다. 그러나 저자는 인간이 AI처럼 취급받는 상황과 AI 시스템이 노동의 역할 측면에서 의미하는 바가 무엇인지에 대한 고민이 더욱 필요하다고 역설한다.

데이터 없이는 말을 하지 말라

“로켓이 발사되기만 하면 어디 떨어지든 무슨 상관인가요? 그건 제 소관이 아닙니다.”³⁾

저자가 인용한 이 비유는 데이터 추출 이데올로기의 핵심을 관통한다. 최대한 많은 데이터를 긁어모으고 분석하는 관행이 업계와 학계에 얼마나 일상화돼있는지, 윤리적 의문을 기술적 의문과 분리하는 태도에 대해 문제를 제기하는 사람은 많지 않다. 모든 것은 분석돼야 하는 데이터로 간주되고, 알고리즘을 훈련시키기 위해 수집돼야 할 자료로 취급된다.

데이터가 어떻게 AI 성공과 그 신화를 추진하는 동력이 되었으며, 손쉽게 수집되는 수많은 데이터가 어떻게 처리되고 있는지 살펴봐야 한다. 시스템의 기반이 되는 데이터가 어디서 왔는가를 검증하는 것은 매우 중요하다. 거대 기술 기업들은 끝없이 공급되는 데이터 파이프라인을 갈수록 많이 구축하게 될 것이다. 사람들이 자신의 사진에 이름, 장소 등 정보를 ‘기꺼이’ 태깅해서 온라인 공간에 공개하는 덕분에 AI 모형은 더욱 많은 데이터 라벨을 확보할 수 있게 되었다. 대량의 데이터를 동의 없이 추출하고 저임금 크라우드 노동자에게 라벨링을 시키는 작업 방식은 훈련 데이터를 구축하는 데 있어 표준 관행이 되었다.

기술은 계속해서 데이터를 수집해 우리가 알 수 없는 방향으로 진화해 나가고 있으며, 데이터가 없이는 말을 하지 말라는 식으로 인간을 위협해 나갈 것이다(오세욱, 2020).⁴⁾ 어느 순간부터 데이터 수집의 부작용과 상관없이 인공지능 시스템을 개선하기 위해 데이터를 가능하면 많이 수집하라는 일종의 정언 명령이 세상을 지배하고 있다. AI 전문가 닐슨(Nils J. Nilsson)은 인공지능 기술 분야에서 전형적으로 데이터를 어떻게 바라보는지 다음과 같이 서술한다.

“대량의 원자료(raw data)는 유용한 정보를 분류하고 정량화하고 추출하는 효율적 데이터마이닝 기법을 필요로 한다. 데이터 분석에서 기계학습의 역할이 점차 중요해지는 이유는 대량의 데이터를 처리할 수 있기 때문이다. 사실, 데이터는 많을수록 좋다.”⁵⁾

분류와 명명을 통한 세계 만들기

인공지능 시스템에서 발생하는 차별과 편향 사례는 어제오늘 일이 아니다. 그러나 ‘왜’ 이런 형태의 차별과 편향이 자주 일어나는지, 단순히 부적절한 데이터나 부실하게 설계된 알고리즘 때문만이 아니라 보다 근본적인 문제가 내재된 것은 아닌지 논쟁하는 경우는 드물다.

저자는 AI 분야에서 벌어지는 편향 논쟁의 한계를 지적하고, 인공지능이 ‘분류의 정치’를 통해 권력을 행사한다고 주장한다. 인종, 성별, 계급, 장애, 연령 등의 차원에서 AI 시스템이 차별적 결과를 내놓는다는 사실이 드러나면, 기업들은 시스템을 개선하거나 데이터를 점검하라는 비판에 직면한다. 하지만 기술적 오류와 왜곡된 데이터를 바로잡는 등 지엽적 대응에 그치는 경우가 많다.⁶⁾ 이 과정에서 누락되는 것은 다음과 같은 근본적인 질문들이다. ‘기계학습에서 분류는 어떻게 작용하는가?’, ‘데이터 분류에 영향을 미치는 것은 무엇인가?’, ‘분류 행위로 인해 뒷받침되는 권력은 무엇인가?’

데이터를 수집하고 라벨을 붙이는 일은 순수한 기술적 행위로 보이지만, 사실은 정치적 성격이 개입되어 있다. 데이터가 수집·분류되고 명명되는 방식은 기본적으로 세계 만들기(world-making)와 담기(containment)의 행위기 때문이다.

이를 가장 잘 보여주는 사례가 감정 분류다. 사진 속 인물의 표정을 통해 감정을 분류하는 AI 시스템은 인간 감정과 표현의 무한한 경우의 수를 몇 가지 범주로 묶어버린다. 예컨대 마이크로소프트 ‘Emotion API’에 인물 사진을 투입하면 분노, 행복, 슬픔, 놀람, 혐오, 경멸, 두려움, 무감정 등 8가지 감정 점수를 산출한다(전창영, 2021).⁷⁾ 이 책은 감정 인식을 자동화하는 시스템이야말로 지독히 복잡한 것을 지나치게 단순화하려는 욕망에서 비롯되는 것이라고 지적한다. 자동 감정 탐지 시스템은 현재 우리 삶에 널리 도입되고 있으며 특히 채용 분야에서 활발하게 사용된다. 감정 인식을 이용하여 입사 지원자의 면접 동영상을 분석하고, 지원자의 성격이나 업무 열정 등의 점수를 매긴다. 한편 기계학습을 통해 얼굴 단서를 평가해 사람들의 업무 적합도를 추정하기도 한다. 지원자의 미세 표정과 어조 등의 변인을 추출하는 AI 시스템을 활용해 회사 내 최고 성과자와 비교해서 성공 가능성을 판단하는 것이다.

문제는 분류라는 행위 자체가 왜곡과 편향을 담고 있다는 것이다. 거대 기술 기업에서 기계학습 시스템을 훈련시키는 데 이용되는 모든 데이터에는 세계관이 담겨 있다. 훈련 데이터를 만들기 위해서는 복잡하고 다양한 세계관을 분류 체계에 적용해야 하는데, 이 과정에는 본질적으로 정치적이고 문화적이고 사회적인 가치판단이 필요하기 때문이다. 데이터 분류 행위에 주목하면, 다양한 권력 체계가 AI의 세계 만들기(world-making) 논리에 침투해있음을 알 수 있다.

AI 시스템은 누구를 위해 작동하는가?

알파고가 이세돌을 이긴 것은 마법이 아니라 통계 분석을 대규모로 실시한 결과에 불과하다. 그럼에도 기계가 초자연적 지능을 가졌다는 호들갑은 사라지지 않는다. 러셀(Stuart J. Russell)과 노빅(Peter Norvig)의 말처럼, 인공지능을 객관적이고 중립적인 순수기술인 것으로 바라보는 왜곡된 시선들이 확산되고 있다.⁸⁾ 저자는 인공지능을 독립적으로 지식을 흡수하고 생산하는 비실체적 두뇌로 바라보는 판타지적 시각을 비판한다. 이 환상에 현혹되면 ‘AI 시스템은 누구를 위해 작동하는가?’, ‘AI 시스템을 관리하는 권력 체계는 누구인가?’, ‘AI 시스템은 지구 전체에 어떤 영향을 미치는가?’와 같은 훨씬 중요한 질문을 간과하게 되기 때문이다.

저자는 자연스럽게 AI 시스템을 정치의 영역으로 가져온다. 특히 AI를 추상적 대상으로 묘사하는 것을 경계한다. AI를 생산하는 데 필요한 에너지, 노동, 분류, 다양한 채굴 방식이 자연스럽게 잊히기 때문이다. 문제의 핵심은 기술, 자본, 권력이 깊숙이 얽혀있는 상황이며 AI는 이것이 드러난 최근 사례일 뿐이다.

한때 정보기관의 전유물이었던 감시는 더욱 세분돼 직장, 가정, 도로 등 많은 사회 시스템에 확산됐고, 거대 기술 기업들에 의해 상업적으로 활용되고 있다. 정치학자 버지니아 유뱅크스(Virginia Eubanks)의 말처럼, AI 시스템이 복지국가에서 운영되면 사람들에게 지원을 확대하는 수단보다는 공적 자원에 대한 접근을 감시하고 평가하고 제한하는 수단으로 활용된다.⁹⁾ AI의 핵심 동력은 ‘자동화’라는 기술적 인공물이 아니라 전 지구적으로 상호 연결된 권력 체계다. AI의 실상을 이해하기 위해서는 이를 활용하는 정치권력의 구조를 들여다봐야 하는 이유다.

‘AI 정의’를 추구하려는 노력 필요

이 책은 인공지능이 지닌 추출의 정치적 성격을 가장 적나라하게 볼 수 있는 땅속에서 출발하며(제1장), 자원 비용과 노동 프로세스와 같은 넓은 의미에서 AI가 어떻게 만들어지는지 보여준다(제2장). 인도네시아에서 주석을 채굴하는 광부, 인도에서 아마존 메커니컬 터크(Amazon Mechanical Turk) 작업을 수행하는 크라우드 노동자, 중국 폭스콘의 아이폰 공장 노동자에 이르기까지 AI의 노동력은 우리가 일반적으로 상상하는 것보다 훨씬 규모가 크다.

한편 AI 시스템은 공적 공간의 데이터를 무분별하게 수집하고 있다(제3장). 얼굴 인식 시스템을 훈련시키기 위해 길거리에서 사람들의 얼굴을 수집하고, 언어 예측 모형을 구축하기 위해 소셜미디어 게시물을 내려받고, 기계 시각과 자연어 알고리즘을 훈련하기 위해 커뮤니티 게시물을 긁어모은다. 이 관행이 어찌나 흔한지 AI 분야에서는 질문을 던지는 사람조차 없다. 한때 정보기관의 레토릭이었던 ‘모조리 수집하라’는 규범으로 권장되고 있으며, 가능할 때마다 데이터를 수집하지 않는 것이야말로 낭비로 치부된다.

이렇게 채굴된 데이터는 AI 시스템이 세상을 분류하는 인식론적 토대가 된다(제4장). 데이터를 수집·범주화하고 라벨을 붙여 AI 시스템 훈련에 이용하는 행위는 정치적 성격을 갖는다. 그동안 많은 학자가 지적했던 수많은 차별과 편향 사례는 증상에 불과하며, 근본적인 원인은 더욱 깊숙한 곳에 있다.

이것의 핵심 사례가 바로 감정 인식이다(제5장). AI는 체계화할 수 없는 감정을 체계화하고, 사회적인 감정을 규격화하고, 복잡하고 변화하는 감정을 기계가 읽을 수 있는 질서로 바꾸려 든다. AI 시스템의 문제는 국가 권력의 맥락에서 한층 심화된다(제6장). 이 책에서 저자가 일관되게 주장하는 것은 AI 덕분에 강화되는 권력이 통제의 중앙 집중화를 향해 급격하게 기울어져 있다는 점이다. 무엇이 중요한지를 이해하려면 윤리 원칙에만 얽매이지 말고, 누가 실질적으로 권력을 쥐고 있는지 파악하는 데 초점을 맞춰야 한다는 것이 이 책의 결론이다.

챗GPT를 비롯한 AI 시스템은 답을 찾는 것에 익숙하며, 항상 인간에게 무언가 답을 제시하고 있다. 하지만 기술과 구별되는 인간의 가장 큰 특징은 그 대답을 끌어내기 위한 질문을 던질 수 있다는 것이다(오세욱, 2021).¹⁰⁾ 이제 우리는 새로운 질문을 던져야 한다. ‘AI의 민주화를 추구할 수는 없는가?’, ‘평범한 사람들을 위한 AI가 존재할 수는 없을까?’, ‘차별과 편향이 아니라 정의와 평등을 향해 나아갈 수는 없을까?’.

AI는 최적화, 자동화를 위해 동원된 권력을 증폭하고 재생산하도록 설계된다. 이에 맞서려면 가장 큰 피해를 입는 공동체의 이익을 중심에 놓아야 한다. 누군가 ‘AI 윤리’를 말한다면 광부, 도급업자, 크라우드 노동자의 노동 여건을 떠올려야 한다. 누군가 ‘최적화’를 말한다면 이것이 이민자를 비인도적으로 처우하는 수단은 아닌지 의심해야 한다. 누군가 ‘대규모 자동화’를 강조한다면 지구가 이미 극심한 스트레스를 받고 있는 시대에 자동화로 인한 탄소발자국을 명심해야 한다. 그것이 진짜 AI의 모습에 가깝기 때문이다.

AI 시스템의 깊숙한 물질적·인간적 뿌리를 이해하는 새로운 방법론을 찾는 것은 말처럼 쉽지 않다. AI 시스템과 얽혀있는 많은 산업이 현실에서 발생하는 비용을 숨기고 있기 때문이다. 하지만 이 책의 목표는 복잡한 AI 시스템의 사슬을 투명하게 만드는 것을 넘어선다. AI의 ‘내부’를 들여다보기 위해 애쓰기보다는 다양한 시스템을 ‘가로질러’ 연결함으로써 이들이 서로 어떻게 연관돼 작동하는지 이해해야 한다. AI라는 거대한 산업의 실체를 폭넓게 알기 위해 통상적 지도(maps)를 넘어서서 지도책(atlas)을 통해 시공간들이 서로 어떻게 맞물리는지 봐야 한다. 이 책의 제목이 《The Atlas of AI》인 이유다.

1) 전창영, <미 상원, 알고리즘 책무성 법안 발의: 알고리즘과 인류의 공존 위한 첫 걸음>, ≪신문과방송≫, 2019년 6월호.

2) 박건형, <100% 재생에너지 사용 … 애플, 협력사까지 脫탄소 요구>, 조선일보, 2021.6.24, https://www.chosun.com/economy/tech_it/2021/06/23/2DVFSBC6Q5HTNCLIK6UTMHMU7Q 

3) 전쟁용 로켓 과학자 베르너 폰 브라운(Wernher von Braun)을 풍자한 음악가 톰 레러(Tom Lehrer)의 노래 한 구절

4) 오세욱, <자동화 결과물이 드러내는 편향에 대한 대응 방안으로서 저널리즘의 역할에 대한 탐색적 연구>, 커뮤니케이션 이론, 16(3), 2020.

5) Nils J. Nilsson, 《THE QUEST FOR ARTIFICIAL INTELLIGENCE》, Cambridge University Press, 2009.

6) 2020년 출시 이후 각종 차별과 편향 논란 속에 3주 만에 서비스가 중단됐던 챗봇 ‘이루다’가 2022년 10월 서비스를 재개했다. AI 스타트업 스캐터랩은 1년 9개월 동안 서비스 안정성을 검증했다고 밝혔다(https://www.aitimes.com/news/articleView.html?idxno=147526).

7) 전창영, <대통령의 이미지 정서와 언론사의 뉴스사진 게이트키핑: 알고리즘을 활용한 포털뉴스 사진 정서 분석>, 한국언론정보학보, 106호 2021.

8) 스튜어트 러셀·피터 노빅, 《인공지능: 현대적 접근방식》, 제이펍, 2016.

9) 버지니아 유뱅크스, 《자동화된 불평등: 첨단 기술은 어떻게 가난한 사람들을 분석하고, 감시하고, 처벌하는가》, 북트리거, 2018.

10) 오세욱, 《알고리즘의 블랙박스》, 스리체어스, 2021.