인공지능 기술 중 추천 알고리즘은 대중과 밀접한 기술이다. 그런 만큼 편향된 데이터로 학습한 알고리즘이 불공정한 의사결정을 하거나 권리를 침해하는 오류도 자주 발생하고 있다. 이를 해결하기 위해 최근 관련 업계에서 이뤄지고 있는 알고리즘 공정성 보정과 편향 감소 노력을 알아본다. 편집자 주

인공지능 기술은 ‘범용 기술’이다. 범용 기술이란 모든 곳에 다 적용되는 보편기술을 말한다. 전기를 생각하면 이해가 쉽다. 동력원으로 개발된 전기는 불을 밝히는 것과 같은 특정 기술에 적용됐지만, 지금은 전기가 사용되지 않는 곳이 없을 정도로 범용 기술이 됐다. 인공지능 기술 역시 전기와 다를 바 없이 ‘보이지 않는 기술’이지만, ‘모든 곳에서 구현되는 기술’로 진화하고 있다. 인공지능 기술을 설명하라고 할 때 특정한 기술적 형상으로 표현하기 어려운 이유도 여기에 있다. 인공지능 기술은 결국, 소프트웨어로 구현되는 일종의 의사결정 시스템이다. 방대한 데이터를 학습해서 분류나 예측형 알고리즘을 구현한다.

인공지능 기술 가운데 추천 시스템 또는 추천 알고리즘은 대량의 데이터에서 이용자의 숨겨진 선호도를 고려해 사용자가 원하는 것을 찾아주는 개인화 서비스와 밀접히 연관돼 있다. 추천 알고리즘은 미디어 서비스에도 다양하게 접목돼 있다. 검색엔진, OTT 서비스의 콘텐츠 큐레이션, 소셜미디어의 친구 추천, 이커머스의 상품 추천, 뉴스 추천 알고리즘 등 필수 기술로 자리 잡아가고 있다. 추천 알고리즘은 현대사회의 사회적 에이전트로서 공식·비공식 영역에서 그 영향력이 커지고 있다.

그러나 알고리즘은 학습된 데이터를 바탕으로 형성된 수리적인 모형으로, 다양한 요인에 의해 영향을 받는다. 예를 들어, 편향된 데이터로 학습한 알고리즘이 불공정한 의사결정을 하거나 권리를 침해하는 오류를 범하기도 한다. 이는 머신러닝의 근본적인 한계이기도 하다. 알고리즘의 편향과 관련한 내재적 문제점에 대한 관심은 공학과 비공학적 접근에서 상이하게 다뤄져 왔다. 알고리즘의 내재적 문제점에 대한 이슈의 예를 보면, 정확한 예측의 절차적 방법 도출을 목표로 하는 시스템 중심의 접근, 추천된 아이템이 차별 없이 대우받는지와 관련한 공급자 이슈, 추천 시스템이 사용자의 요구를 충족하는지와 관련한 이용자 중심 접근 등이 있을 수 있다(황용석, 김기태, 2019). 공학적 관점은 추천한 서비스에 대한 사용자의 만족뿐만 아니라 추천 알고리즘에서 나타나는 편향과 불공정의 문제를 제거하는 알고리즘 발견에 관심을 가진다. 비공학적 접근은 공학적 접근이 알고리즘에 내포된 문제를 해결할 수 있게 하는 방향을 제시하고 정책을 마련하는 데 목적이 있다. 공학적 접근은 비공학적 접근에서 제시된 문제점을 바탕으로 효과적인 알고리즘을 개발할 수 있고, 비공학적 접근은 공학적 접근의 한계를 바탕으로 문제점을 제기하는 등 상호영향을 미치고 있다. 이는 추천 알고리즘이 기술적·사회적 측면에서 독립적으로 접근돼야 하는 대상이 아니라 다학제적 접근이 요구된다는 것을 의미한다(황용석 외, 2020).

추천 알고리즘의 편향을 보정하기 위한 노력은 ‘알고리즘 공정성 연구’를 중심으로 다양하게 전개되고 있지만, 딥러닝 기법 등 머신러닝의 고도화는 알고리즘을 더욱 설명하기 어려운 블랙박스로 만들고 있다(황용석, 김기태, 2020). 많은 한계에도 불구하고, 공학 및 비공학적 융합 연구들이 활발해지면서 알고리즘의 초기 개발 단계에서부터 개발 후 평가적 영역까지 편향을 보정하기 위한 노력이 계속되고 있다.

알고리즘의 편향을 줄이기 위한 노력은 크게 개발 단계와 개발 후로 나눠 설명할 수 있다. 또한 민간 차원의 노력과 공공 또는 제도적 노력으로 구분할 수 있다. 윤리적 기본 원칙을 제시하는 것에서부터 구체적인 실천 규약과 책무 시스템을 만드는 경우까지 다양하다. 윤리적 기본 원칙은 정부 차원에서부터 민간 기업까지 여러 기관에서 발표한 바 있다. 지난 6월 방송통신위원회가 발표한 <인공지능 기반 미디어 추천 서비스 이용자 보호 기본 원칙>은 정부가 발표한 대표적인 윤리 및 실천 원칙이다.

추천 시스템의 공정성 및 편향 보정을 위해서는 이를 개발하는 민간기업의 역할이 매우 중요하다. 머신러닝은 스스로 학습하고 변화하는 동적인 논리 체계로서 작동 원리를 규명하기 어려워 블랙박스라 불린다. 그래서 이용자 피해가 발생했을 때 제삼자가 사후적으로 원인을 추적하는 것이 매우 어렵다. 이 기술을 개발하고 적용하는 사업자의 자발적인 선제 노력이 필요한 이유이다. 이 글에서는 필자가 수행한 연구보고서(황용석, 문수복, 정재선 외, 2020)를 중심으로 최근의 알고리즘 공정성 보정 노력 또는 편향 감소 노력에 대한 시도를 소개하는 데 초점을 맞추고자 한다.

개발 단계에서의 노력: 개발자를 위한 오픈소스 툴킷

머신러닝을 활용한 알고리즘의 개발과 이용이 용이해지고 있지만, 알고리즘의 영향성을 판단하고 개발 단계에서 보정하는 노력은 큰 비용과 기술적 조건이 필요하다. 그로 인해 구글, MS, IBM과 같은 글로벌 빅테크 기업들이 이 분야 연구를 하고 있다. 대표적인 예는 머신러닝 모델 개발 및 사용 과정에서 지속해서 발생하는 알고리즘의 편향성을 측정하고 알고리즘 공정성을 개선할 수 있는 다양한 ‘공정성 툴킷’들을 개발하고, 다양한 영역의 개발자들이 활용할 수 있도록 오픈소스(무상으로 공개된 소스코드) 형태로 제공하는 노력들이다.

IBM은 오픈소스 서비스를 제공하는 깃허브(Github)를 통해 2018년 공개한 ‘AI 페어니스360(AI Fairness 360)’을 제공하고 있다. 이는 머신러닝 모델 내에서 그리고 AI 애플리케이션 수명 주기 전반에 걸쳐 알고리즘 편향성의 원인이 되는 편견과 차별을 탐색해 모델 개발자에게 보고해줄 뿐만 아니라 완화해주는 툴킷이다. 해당 오픈소스 툴킷에는 70개 이상의 연구용 공정성 매트릭과 11개의 고유한 편향 완화 알고리즘이 포함돼 있으며 금융, 인적자본 관리, 의료 및 교육을 포함한 실제 산업 전반의 적용 사례로 변환될 수 있도록 설계 및 개발됐다. AI 페어니스 360은 방대한 데이터를 통해 높은 수준으로 개발된 오픈소스 툴킷이기 때문에 다양한 기능을 제공한다. 오픈소스로 제공되는 파이썬 패키지는 넓은 범위의 알고리즘 공정성 연구 커뮤니티에서 개발한 아홉 가지의 알고리즘을 포함하고 있다. 또한 세 가지 튜토리얼을 제공하고 있어 개발 단계에서 알고리즘 공정성 문제를 고려하기 어려운 연구자 및 개발자들에게 현실적인 도움을 제공한다.

구글은 ‘왓이프(What-if )’라는 툴킷을 제공한다. 구글의 데이터 관련 프로그래밍을 위한 오픈소스 소프트웨어 라이브러리인 텐서플로(TensorFlow)가 내장돼 사용자가 머신러닝 모델의 공정성을 쉽게 분석할 수 있도록 돕고 있다. 개발자가 머신러닝 모델의 분류 과정에서 블랙박스와 회귀적 머신러닝 모델에 대한 이해를 확장할 수 있도록 대량의 샘플 데이터 세트와 알고리즘 모델에 대한 추론을 가능케 해주며, 즉각적으로 추론 결과를 다양한 방식으로 시각화하는 기능을 수행한다. 현존하는 오픈소스 툴킷 중 시각화 기능이 뛰어난 편에 속해 머신러닝 알고리즘에 대한 손쉬운 이해를 제공함으로써 알고리즘 공정성 개선에 기여하고 있다.

왓이프 툴킷은 현재 머신러닝 개발에 있어 가장 대중적으로 사용되는 오픈소스인 텐서플로에 알고리즘 공정성 툴킷을 코드 한 줄 없이 적용할 수 있도록 웹 애플리케이션 형태로 개발됐다. 이는 그동안 코드를 능숙하게 다루는 숙련자만의 영역이었던 모델 분석 및 평가를 텐서 플로를 이용하는 모든 사람이 접근할 수 있도록 만들어 줌으로써 알고리즘 공정성 이슈를 보다 그라운드 레벨로 현실화했다. 더불어 주요 기능인 인퍼런스(Inference) 결과를 시각적으로 보여주는 것, 데이터 포인트를 선택해 피처(Feature) 값을 자유롭게 편집할 수 있는 것, 개별 피처가 어떤 영향을 미치는지에 대한 결과를시각적으로 제공하는 등 강점인 시각화 기능을 통해 인터랙티브한 방식으로 간편하게 머신러닝 모델을 분석할 수 있게 해줘 연구자 및 개발자들이 모델의 편향성을 더욱 높은 효율로 완화할 수 있게 해준다.

마이크로소프트 역시 오픈소스 툴킷인 ‘페어런(Fairlearn)’을 개발해서 깃허브를 통해 제공하고 있다. 마이크로소프트는 알고리즘 공정성을 우선적으로 해결돼야 할 사회공학적 도전 과제로 보고, 공정성 매트릭과 최신 편향성 완화 알고리즘에 대해 넓은 선택지를 제공하고 있다. 또 여러 모델과 동시에 비교분석이 가능한 상호작용적 시각화 기능을 제공해 알고리즘 모델의 편향성 완화와 공정성 개선에 도움을 주고 있다. 페어런 오픈소스 패키지는 궁극적으로 모델이 갖고 있거나 영향받는 여러 요소와 이로 인해 발생할 수 있는 편향을 완화할 수 있는 전략을 평가할 수 있도록 도와준다. 이를 통해 알고리즘 공정성 문제에 대해 연구자 및 개발자들이 인공지능 및 머신러닝 모델을 개발하는 데 필요한 시나리오의 장단점을 제공해줌으로써 주도적인 모델 개발을 가능케 해준다.

비즈니스에 특화돼 특정 업계 사람들이 서로 구인 및 구직, 정보 파악 등의 서비스를 제공하는 SNS 기업인 링크드인(LinkedIn)은 ‘LiFT’라는 오픈소스 공정성 툴킷을 제공한다. 해당 툴킷은 머신러닝 모델 학습 도중 배치돼 사용될 수 있으며, 학습 데이터 세트의 편향성에 대한 점수를 매기고, 모델의 공정성을 평가함과 동시에 학습 모델의 서브 그룹들에 대한 성능에 차이를 탐지할 수 있다. 또한 다양한 모델들에 대해 가변적으로 적용할 수 있고 재사용할 수 있으며, 다양한 부가 기능을 통해 높은 편의성을 제공해 알고리즘 공정성 개선에 기여하고 있다. 특히 취업과 관련된 추천 시스템을 활용하고 있는 회사인 만큼 사람 및 알고리즘에 의한 편향을 완화해 공정한 취업 기회를 제공하는 것을 목표로 하고 있다. LiFT의 경우 소개하고 있는 여러 오픈소스 툴킷과 마찬가지로 편의성과 높은 성능을 통해 알고리즘 공정성을 보다 다양한 영역과 여러 레벨에서 다룰 수 있도록 돕고 있다. 또한 개발업체인 링크드인의 특성이 반영돼 사회적 영역에서 중요한 이슈인 구인·구직 문제를 다룸으로써 알고리즘이 인간 사회에 미칠 수 있는 영향과 이로 인해 발생하는 편향에 대해 더욱 직접적으로 다루고 있다는 점에서 의의가 있다.

‘애틱스 앤 알고리즘 툴킷(Ethics and Algorithms Toolkit)’은 데이터 커뮤니티인 DC, 샌프란시스코 정부 관계자, 존스홉킨스대 및 하버드대 연구자들이 모여 개발한 오픈소스 공정성 툴킷이다. 이들은 정부 차원에서의 알고리즘 이용이 불가피함과 동시에 모든 사람과 알고리즘이 편향성을 갖는다는 점에 공감했다. 이에 정부 데이터와 알고리즘 활용이 갖는 의미를 이해하도록 돕고, 잠재적 리스크를 명료하게 만들고, 리스크를 완화할 수 있는 방법들을 제공하기 위해 툴킷을 개발했다. 애틱스 앤 알고리즘 툴킷은 정부 기관과 같은 공공 환경에서 사용하기 적합하도록 목표를 설정해 개발하기 때문에 민간 영역에서 개발한 오픈소스 툴킷과 달리 사회 공공 측면에서 알고리즘의 편향을 보다 효과적으로 완화해준다.

또 다른 오픈소스 공정성 툴킷인 ‘데온(Deon)’은 데이터 사이언스 프로젝트를 진행하면서 연구진 혹은 개발자가 일종의 윤리적인 체크리스트를 손쉽게 추가할 수 있도록 도와주는 툴킷이다. 드리븐 데이터(Driven Data) 연구소에서 개발해 배포됐다. 이외에도 알고리즘 공정성을 위한 오픈소스 툴킷에는 워싱턴대에서 개발해 제공하는 ‘라임(Lime)’, 시카고대 데이터 사이언스 및 공공정책 센터에서 개발한 ‘에퀴타스(Aequitas: A Bias and Fairness Audit Toolkit)’ 등이 존재한다.

개발 후의 노력: 자율 규제

빅테크 기업을 중심으로 추천 알고리즘의 공정성을 보호하기 위한 자율 규제 활동이 활발하다. 구글은 ‘책임 있는 AI(Responsible AI)’ 프레임워크에 기반해 사회와 공익에 책임을 갖는 AI 개발에 대한 연구 결과와 도구, 실행지침을 공유하고 있다. 이 프레임워크는 공정성(Fairness), 해석가능성(Interpretability), 프라이버시(Privacy), 보안성(Security) 등으로 나눠진다. 이 가운데 공정성은 누구에게나 공정하고 포용적인 시스템을 지향하는 것으로 보고 있다.

구글은 AI 및 추천 알고리즘 개발에서 공정성을 확보하기 위해 네 가지 실천 방안을 추천하고 있다. 첫째, 공정성과 포용에 대한 구체적인 목표를 사용해 모델을 디자인하는 것이다. 사회과학·인류학 등 다양한 관련 전문 영역의 관점을 고려하고 구체적인 공정성의 목표를 계획해 이를 달성하기 위한 객관적인 알고리즘을 디자인해야 한다. 둘째, 모델을 훈련하고 검증하기 위한 적합한 데이터 세트를 사용하는 것이다. 개발자는 자신의 데이터 세트 자체의 공정성을 평가해야 하는데, 데이터 세트 자체가 편향 및 한계가 존재할 수 있기 때문이다. 데이터 세트에 대한 평가 이후, 시스템 목적과 관점에 따라 적합한 데이터 세트로 모델을 구축해야 한다. 셋째, 불공정 편향 확인을 위해 시스템을 체크해야 한다. 의도적으로 편향 상황을 설계한 데이터를 통한 지속적 테스트를 통해 시스템의 편향을 확인하고, 이를 지속적으로 수정하는 피드백 루프(feedback loop)를 구성해야 한다. 마지막으로, 퍼포먼스를 분석하는 것이다. 척도나 데이터의 서브 그룹을 조정하는 방식으로 모델의 결과물에 대해 다양하게 분석함으로써 모델이 실제 세계의 문제에 잘 적용되는지 확인해야 한다.

공정성 외에 구글은 해석가능성(Interpretability), 프라이버시(Privacy), 보안성(Security)의 측면에서 AI의 사회적 책임 실천 방안을 제시하고 있다. 구체적으로 AI 시스템에 대해서 의문을 제기하고 이해할 수 있는 해석가능성을 확보하는 것이 중요하며, 이에 대한 실천 방안으로 △학습 모델을 해석가능하게 디자인할 것 △훈련된 모델을 이해할 수 있을 것 등을 제시하고 있다. 또한 구글은 AI가 법적으로 프라이버시를 보호할 뿐만 아니라 사회의 일반적 인식과 개인적인 수준에서의 프라이버시도 함께 고려해야 함을 강조하고 있다. 마지막으로 구글은 AI 시스템이 외부 간섭이나 공격과 관계없이 의도한 대로 작동해야 하는 보안적인 측면을 강조하고 있으며, 세부 권장 사례와 실행지침을 제공하고 있다.

IBM은 ‘신뢰할 수 있는 AI’라는 명목 아래 ‘공정성(Fairness)’, ‘가치정렬(Value Alignment)’, ‘강건성(Robustness)’, ‘설명 가능성(Explainability)’, ‘투명성과 책임감(Transparency and Accountability)’ 등 다섯 가지 개념을 자사 인공지능의 핵심 역량이자 규율로 채택, 강조하고 있다.

이 가운데 ‘공정성’을 통해 인공지능으로 도출된 결과물이 지닐 수 있는 편향 가능성을 지속적으로 경계할 것을 강조하고 있다. 앞서 소개한 AI 페어니스 360 툴킷과 함께 ‘가치정렬’을 통한 인공지능 기반 의사결정의 정확성과 효율성을, ‘강건성’을 통한 인공지능 모델의 지속가능함과 강건함을, ‘설명 가능성’을 통해 알고리즘의 설명 가능성을, ‘투명성과 책임감’을 통해 알고리즘의 투명성과 알고리즘에 대한 인간의 책임감이 필요함을 기술하고 있다. 이뿐만 아니라 IBM에서는 AI에 대한 투명성과 책임성을 강조하며 정책적인 측면에서 AI에 대한 정밀 규제를 찬성한 바 있다. 구체적으로 IBM 정책연구소(IBM Policy Lab)에서는 AI에 대한 다섯 가지 규제 가이드를 제시해서 발표한 바 있다.

마이크로소프트는 ORA(the Office of Responsible AI) 설립을 통해 자사 인공지능 시스템의 책임감에 대한 정책을 펼치고 있다. 구체적으로 ‘공정성(Fairness)’, ‘신뢰성과 안전성(Reliability & Safety)’, ‘프라이버시와 보안(Privacy & Security)’, ‘포괄성(Inclusiveness)’, ‘투명성(Transparency)’, ‘책임감(Accountability)’ 등 여섯 가지 원칙을 바탕으로 책임감 있는 인공지능을 위한 기틀을 다지고 있다. 그뿐만 아니라 마이크로소프트에서는 내부윤리위원회를 두고 <책임지는 AI: 대화형 AI 개발자를 위한 10가지 지침(Responsible bot : 10 guidelines for developers of conversational AI)>을 발표한 바 있다. 해당 가이드라인의 구체적인 세부 지침을 살펴보면, △AI가 적용되는 사례에 목적을 명시할 것 △제품 또는 서비스 일부로 AI가 사용됨을 명확하게 드러낼 것 △AI가 적절한 문화 규범을 존중하고 오용을 방지하도록 설계할 것 △AI가 사람들에게 공평하게 적용될 수 있게 설계할 것 △AI가 프라이버시를 존중할 수 있도록 할 것 등 내용이 해당된다. 마지막 지침에서는 “책임을 받아들일 것”이라는 규정으로 AI로 인해서 발생하는 윤리적 이슈에 대해서 책임을 강조하는 모습을 찾아볼 수 있다. 또한 마이크로소프트에서는 AI 기술이 활용되는 방향을 논의하기 위해서 사내에 엔지니어, 변호사 등 다양한 전문가들이 포함된 거버넌스 위원회를 운영하고 있다. 이러한 모습을 통해 마이크로소프트가 기술적인 요구사항에 앞서서 책임과 윤리를 선결하기 위해 여러 가지 노력을 하는 것을 유추할 수 있다.

국내에서는 카카오가 <알고리즘 윤리 헌장>을 제정해서, 자사가 생각하는 AI 윤리의 기준점들을 제시한 바 있다. 최근에는 먼저 발표된 여섯 가지 원칙에 더해 사회적으로 화두가 되는 아동과 청소년에 대한 새로운 조항을 신설했다. 카카오톡 <알고리즘 윤리 헌장>은 국내 기업 중 최초로 인공지능 알고리즘 설계 시 준수해야 할 사항을 명문화했으며 민간 기업 차원에서 인공지능 윤리 기준을 공표했다는 데 의의가 있다. 다만, 세부적이고 구체적인 실행·실천 규약이나 툴킷, 오픈소스와 같은 기술공유 사업 등이 확대될 필요가 있다(이원태, 2018).

네이버 역시 관련 AI 윤리 준칙을 발표한 바 있다. 여기에는 사람을 위한 AI 개발, 다양성의존중, 합리적인 설명과 편리성의 조화, 안전을 고려한 서비스 설계, 프라이버시 보호와 정보 보안 등 모두 다섯 가지 원칙이 제시돼 있다. 그 밖에도 국내 인공지능기업인 (주)코난테크놀로지는 인공지능 모델과 학습 데이터의 편향성을 보정하기 위한 연구를 진행하고 있다.

알고리즘 영향성 평가 

추천 알고리즘의 영향성을 중심으로 한 평가적 접근도 있다. 알고리즘 영향성 평가(AIA, Algorithmic Impact Assessment)는 EU 미래과학기술 분과의 라이스만(Reisman, et.al.)과 동료들이 2018년 뉴욕대의 AI나우인스티튜트(AI Now Institute) 보고서에서 제안한 프레임워크다(Reisman et al., 2018). 이 보고서는공공기관(Public Agency)에 대한 알고리즘 설명 가능성 및 책무성 부과 기준과 거버넌스를 제시할 알고리즘 영향 평가의 필요성을 주장했다.

알고리즘 영향성 평가 프레임워크의 수행 과정은 다음과 같이 크게 다섯 단계로 이뤄진다. △시행 전 리뷰 단계(Pre-acquisition review) △초기 기관정보 공개 요구 단계(Initial agency disclosure requirements) △비평 단계(Comment period) △법적 절차 검토 단계(Due process challenge period) △AIA 갱신 단계(Renewing AIAs)다. 이와 같은 프레임워크를 차용한 대표적인 기관은 캐나다 정부다. 캐나다 정부는 자동화된 의사결정(Automated Decision-Making)의 공공 및 일상 부문 적용에 대비해 알고리즘의 투명성, 책무성, 입법성, 절차적 공정성 등에 대한 정책적 원칙(Directive on Automated Decision-Making)을 가지고 있는데, 이 원칙을 지지하는 도구 중 하나로 AIA 측정 도구를 제안하고 있다.

2020년 8월 31일 기준으로 캐나다 정부 홈페이지에서 AIA의 베타 버전이 오픈소스 형태로 공개돼 있어 누구나 테스트에 참여할 수 있을뿐 아니라, 공개된 깃허브를 통해 개발 및 오류사항 보고 등에 참여할 수도 있다. 35분 이내의 시간 동안 자신이 진행하고 있는 프로젝트에 대한 60여 개의 질문에 대해 답을 하고, 그 결과에 따라 알고리즘 영향성 관련 점수를 도출한다. 

이처럼 기업과 공공 분야에서 알고리즘 편향 보정은 매우 중요하며 앞으로 보다 관심을 갖고 지속적으로 투자되고 추진돼야 할 과제다. 국내 기업들도 이 분야에 더 많은 관심을 많은 노력을 기울여 주기를 기대한다.

정책 차원에서는 입법적 규제보다는 자율 규제를 통해 문제를 해결하는 소프트 로우(soft law) 접근이 타당해 보인다.