기사 상세
2023년 12월 1일, 월스트리트저널은 페이스북과 인스타그램에서 진행한 자체 실험 결과 메타의 추천 알고리즘이 소아성애적 콘텐츠, 계정 및 그룹들을 추천하고 있다고 보도했다(Horwitz & Blunt, 2023c; Nguyen, 2023). 월스트리트저널은 다수의 연구기관과 함께 지난 여름부터 이와 관련된 연구 및 실험을 진행·보도하고 있다(Horwitz & Blunt, 2023a, 2023b; Thiel et al., 2023). 이에 유럽연합 규제 당국자들에 이어 미국 상원 법사위 또한 2024년 1월 31일 열릴 청문회에서 메타, X(구 트위터), 틱톡, 스냅, 디스코드의 최고 경영자들이 온라인 아동 성착취에 대해 증언할 것이라 밝혀 논의가 확산되고 있다(Durbin, 2023; Shepardson, 2023). 월스트리트저널과 연구기관들의 연구 결과와 메타의 대응, 그리고 관련 이슈를 정리해 본다.
WSJ, 2개 대학 연구소와 아동 성착취물 공유 행태 밝혀
2023년 6월, 월스트리트저널은 스탠퍼드대 스탠퍼드인터넷관측소(Stanford Internet Observatory), 그리고 매사추세츠대 애머스트(University of Massachusetts Amherst)의 레스큐랩(Rescue Lab) 연구진과 함께한 소셜미디어상 아동 성착취물 공유 행태에 관한 연구 결과를 보도했다(Horwitz & Blunt, 2023a). 결과는 상당히 충격적이었다.
키워드를 기반으로 포착한 소셜미디어 계정들의 네트워크를 분석한 결과 스탠퍼드 연구진들은 인스타그램에서 405개의 이른바 ‘셀프’ 아동 성착취물(SG-CSAM, self-generated child sexual abuse material) 판매자 계정들을 발견했다(Thiel et al., 2023). 셀프 아동 성착취물이란 해당 아동 성착취물이 그 성착취 콘텐츠에 등장하는 미성년 아동에 의해 직접 제작 및 공유되고 있는 것으로 보이는 성착취물을 뜻한다. 405개 중 112개 계정은 약 2만 2,000명의 고유 팔로워(unique followers)를 보유하고 있는 것으로 나타났다. 주요 소셜미디어 플랫폼들을 비교한 결과 인스타그램 내 소아성애 관련 계정 간 네트워크 규모가 유달리 크게 나타났다고 스탠퍼드 연구진들은 발표했다. 트위터의 경우 128개의 계정이 아동 성착취물을 공개적으로 판매하고 있었다.
이외에 인스타그램 테스트 계정을 이용한 연구에 따르면 아동 성착취 관련 계정을 한 번 방문하는 것만으로도 인스타그램 추천 알고리즘은 위험한 방향으로 작동했다. 아동 성착취와 관련 있는 계정을 한 번 방문한 순간부터 아동 성착취물 판매·구매 인스타그램 계정뿐만 아니라 인스타그램 플랫폼 밖 아동 성착취물 거래 사이트로 유도하는 계정들이 추천 목록에 등장하기 시작했다. 나아가 이 중 몇 개 계정을 팔로우하는 것만으로도 테스트 계정의 피드는 아동을 성적으로 묘사하는 콘텐츠들로 가득 찼다고 월스트리트저널은 보도했다(Horwitz & Blunt, 2023a).
인스타그램 릴스, 단순 관심으로도 성적 콘텐츠 소비 확산
2023년 6월 보도 이후 월스트리트저널은 캐나다아동보호센터(Canadian Centre for Child Protection)와 함께 독자적인 후속 연구를 진행했다. 이 실험은 사용자들이 관심 있어 할 만한 짧은 영상 클립들을 추천하는 서비스인 인스타그램 릴스(Reels) 테스트 계정들을 이용해 진행됐다. 이 테스트 계정들은 아동 성착취물과 직접적 관련이 없는 어린 체조선수, 치어리더, 그리고 아동 혹은 청소년 인플루언서들을 팔로우하도록 설정됐다. 이후 해당 테스트 계정들의 릴스에 어떤 콘텐츠들이 추천되는지 살펴본 결과 아동이 등장하는 외설스러운 영상이나 성인이 등장하는 음란한 영상들이 다량 등장한 것으로 나타났다(Horwitz & Blunt, 2023b). 이는 메타의 행동 추적 알고리즘이 체조선수나 치어리더를 팔로우하는 일부 인스타그램 사용자들이 아동을 성적으로 묘사하는 영상에 관심 가질 것으로 판단했음을 보여준다.
월스트리트저널은 전·현직 메타 직원들과의 인터뷰를 통해 이러한 이슈가 이미 내부에서 문제 제기된 적이 있었던 것으로 보인다고 밝혔다. 또한 이 같은 유해 콘텐츠들의 추천을 시스템 차원에서 예방하려면 현재의 추천 알고리즘을 상당 부분 변경해야 하는데, 이 알고리즘이 대다수 ‘정상’ 사용자들의 인게이지먼트(참여)를 효과적으로 창출하고 있어 변경이 쉽지 않아 보인다. 기자들의 메타 내부 문건 검토 결과, 콘텐츠 안전 관련 직원들이 일별 활성 사용자(daily active users)가 상당수 줄 것으로 판단되는 변화를 시도하는 것은 금지된 것으로 나타났다(Horwitz & Blunt, 2023b). 인스타그램 릴스에서는 현재 본인이 팔로우하지 않는 계정들의 콘텐츠까지 추천되기 때문에 자동화된 콘텐츠 필터링 및 억제 기능을 제대로 적용하는 데 어려움이 있다.
페이스북 또한 아동 성착취 관련 안전 문제에서 자유롭지 못하다. 월스트리트저널 보도진은 메타의 지속적인 노력에도 페이스북 추천 알고리즘은 그들이 운영한 페이스북 테스트 계정들에 아동을 성적으로 묘사하는 대화와 콘텐츠가 오가는 그룹을 지속적으로 추천했다고 밝혔다(Horwitz & Blunt, 2023c). 여기에는 근친상간을 옹호하는 회원 20만 명의 그룹이나 어린 여학생들의 이미지를 성적으로 공유하는 회원 80만 명의 그룹 등이 포함돼 있었다.
머신러닝 등 기술 활용
아동보호 대책 마련에 나선 메타
이 같은 문제가 처음 제기됐던 2023년 6월 메타는 내부적으로 대책위원회를 수립해 보다 적극적인 대응을 할 것이라고 밝혔고(Horwitz & Blunt, 2023a), 12월 1일 자사의 아동 보호 대책위원회(Child Safety Task Force)의 활동 현황을 발표했다(Meta, 2023). 메타의 대책위원회는 크게 세 가지 분야에서 대응을 확장했다고 밝혔다. 첫 번째는 추천 시스템 개선(Recommendations and Discovery), 두 번째는 잠재적 아동 성착취범이나 그들의 네트워크 제한, 그리고 세 번째는 규제의 강제성 강화다.
메타는 아동 성착취 관련 콘텐츠·그룹·사용자 추천을 최소화하기 위해 관련 키워드들을 대폭 확장하고 머신러닝 등의 기술을 통한 추가 대책을 적용했다고 말했다. 그리고 기존에 있던 잠재적으로 소아성애적 성향을 보이는 계정을 포착하는 기술의 적용 범위를 확장할 것이라고 밝혔다. 메타에는 이미 60개가 넘는 이상 신호를 바탕으로 잠재적 소아성애 성향 의심 계정을 포착하는 시스템이 있었다(Instagram, 2021). 이 시스템을 이용해 계정 간 추천을 제한하고 아동 성착취와 관련이 있는 페이스북 그룹·페이지, 혹은 프로파일 등을 포착해 삭제했다고 밝혔다. 그 결과 2023년 7월부터 12월 1일까지 19만 개의 페이스북 그룹을 검색창에서 삭제했고 8월 한 달만 해도 50만 개 이상의 계정을 차단했다고 발표했다.
혹자는 이같은 안전과 관련된 콘텐츠 조정(content moderation) 자동화 노력에 더해 실제 조정 작업이나 관련 조사를 위한 인력에 재투자할 필요가 있다고 주장한다(Horwitz & Blunt, 2023a). 하지만 콘텐츠 조정이 주로 인도와 같은 해외로 외주화되기 때문에 제대로 된 훈련이 쉽지 않다는 점이 여전히 해결 과제로 남는다. 나아가 아동 성착취물을 포함, 유해 콘텐츠에 지속적으로 노출되는 콘텐츠 조정 노동자들의 정서적 안정 문제나 대책은 아직 이슈화되지 못한 상황이라 논의가 필요한 시점이다(Steiger et al., 2021).
한편, 월스트리트저널의 잇따른 보도로 인해 유럽연합을 비롯한 규제 당국의 관심이 커지고 있다(Lomas, 2023). 이런 가운데 2024년 1월 31일, 미국 일리노이주 딕 더빈(Dick Durbin) 상원의원과 사우스캐롤라이나주 린지 그레이엄(Lindsey Graham) 상원의원이 주도하는 미 상원 법사위(Senate Judiciary Committee) 청문회에서 온라인 아동 보호와 관련해 메타를 비롯한 주요 소셜미디어 플랫폼 기업의 최고 경영자들의 증언이 예정되어 향후 소셜미디어 및 온라인 아동 안전과 관련된 논의가 어떤 방향으로 흘러갈지 귀추가 주목된다.
저자의 다른 미디어
![[글로벌 미디어 현장]미국_미국 내 틱톡 서비스 금지](static/images/noimg.png)
