AI 제공 정보는 비판적 수용, 관련 법제도 마련 시급해
생성형 인공지능 시대, 허위정보의 사례와 위험성
written by. 최종선 (영국 셰필드대학 저널리즘스쿨 어드밴스드 펠로우)1)
1) Advanced Fellow Researcher at the University of Sheffield’s School of Journalism
생성형 인공지능 시대에 허위정보의 사례 및 위험성을 이해하기 위해서는
생성형 인공지능의 개념, 서비스 내용, 생성형 인공지능의 장단점, 오남용 사례,
허위정보의 위험성 및 대응 방안 등을 살펴볼 필요가 있다.
관련 내용을 소개한다.
특히, 생성형 AI의 특성상 해당 서비스가 설계되고 작동되는 알고리즘을 예측하기 어렵고,
그에 따른 결과물을 정확하고 진실하다고 담보할 수 없기 때문에
이용자가 정보의 진실성, 허위성을 섣불리 판단하는 일은 더욱 위험하다.
생성형 인공지능(Generative Artificial Intelligence, 이하 ‘생성형 AI’)이란 새로운 메시지, 이미지, 영상, 음성 또는 코드를 생성하는 모든 유형의 인공지능을 뜻한다. 즉, 이용자가 요구하는 즉시 문자, 이미지, 비디오 등을 포함한 새로운 콘텐츠를 생성할 수 있는 기술로 이해되며, 챗GPT, 구글 바드, 스냅챗 ‘마이 AI’, 미드저니, 빙챗, 달리 등의 서비스가 제공되고 있다.2)
2) Ofcom(2023.11.28.), Gen Z driving early adoption of Gen AI, our latest research shows ; https://www.ofcom.org.uk/news-centre/2023/gen-z-driving-early-adoption-of-gen-ai (2023년 11월 29일 방문)
생성형 AI 개념과 장단점
오픈AI가 출시한 챗GPT는 사전에 훈련된 언어 생성 모델로, 이용자의 입력에 따라 자동으로 응답을 생성하면서 발전하고 학습한다. 챗GPT는 보다 나은 서비스를 위해서 사용자에게 “명확한 질문, 의도나 원하는 답변 설명, 문맥 제공, 긍정적인 예와 부정적인 예의 제공” 등을 요구하고 있다.
스냅챗에서 제공하고 있는 ‘마이 AI’는 채팅 대화를 통하여 질문에 답하고, 생일 선물 조언을 하거나, 주말을 이용한 하이킹 여행 계획을 도와주고, 저녁 식사에 적합한 음식을 추천해주는 등의 서비스를 제공한다. 스냅챗은 이러한 서비스를 제공하면서 ‘마이 AI’를 개선하기 위하여 지속적인 노력을 하고 있지만, 편향되거나 부정확하거나 해롭거나 오해를 유발하는 정보가 포함될 수 있음을 밝히고 있다. 이러한 문제점이 있어 스냅챗은 ‘마이 AI’를 이용할 경우 제공되는 정보에 대한 이용자 확인이 필요하며, 기밀을 요구하는 정보나 민감한 정보를 공유하지 말 것을 조언하고 있다.3)
생성형 AI의 장점은 이용자가 요구하는 결과를 도출하기 위하여 방대한 내용의 정보를 빠르게 분석할 수 있고, 이용자의 의도를 스스로 고려하여 맞춤형 정보를 제공하고 이를 토대로 향후 유사한 정보를 지속적으로 추천하는 등 시간적·경제적 측면에서 이용자 편의에 큰 도움을 주고 있다는 점이다. 특히 괴롭힘, 가족 빈곤, 신체 건강 문제 등 아동의 정신건강에 악영향을 미치는 문제를 개선하기 위하여, 인공지능 시스템을 이용하여 아동의 정신 상태 진단 속도를 향상시킬 수 있는 프로그램이 영국 케임브리지대학에서 개발될 예정이다.4)
그러나 생성형 AI의 속성상 사용자가 요구하는 내용에 한정하여 빅데이터를 분석하여 결과를 도출한다는 점, 빅데이터 분석 대상이 되는 정보에 대한 무결성을 보장할 수 없다는 점, 알고리즘 설계자의 의도에 따라 상이한 결과가 도출된다는 점, 제공되는 결과에 대한 진실성을 담보할 수 없는 점 등 문제점도 많다. 즉, 생성형 AI의 작동 알고리즘이 어떻게 설계됐는지 사용자가 알 수 없으며 그에 따른 결과의 투명성, 정확성 및 진실성 등을 담보하기 어렵다. 따라서 사용자는 생성형 AI의 이러한 특성을 고려하여 해당 서비스를 이용해야 한다. 만약 이러한 특성을 무시하고 해당 서비스가 제공하는 결과물을 그대로 받아들인다면 자신도 모르는 사이에 그 결과가 마치 진실하고 무결한 정보인 것으로 생각하게 되고, 생성형 인공지능은 스스로 제공한 서비스 결과를 바탕으로 유사한 정보를 사용자에게 추천하게 되면서 편향적 정보 제공을 초래할 수 있다.
3) 스냅챗에서 제공하는 마이AI는 오픈AI의 챗GPT 기술로 작동되고 스냅챗의 독특한 안정성 확보 및 제어 기능을 추가하고 있다. ; https://help.snapchat.com/hc/en-gb/articles/13266788358932-What-is-My-AI-on-Snapchat-and-how-do-I-use-it- (2023년 11월 29일 방문)
4) BBC (2023.12.7.), Can AI find the children at risk of mental health conditions? : https://www.bbc.co.uk/news/uk-england-cambridgeshire-67624048 (2023년 12월 7일 방문)
생성형 AI 오남용 사례
생성형 AI라는 기술 자체가 위법한 것은 아니다. 그러나 이를 설계하거나 사용하는 사람들이 생성형 인공지능이라는 기술을 위법하게 사용하는 경우 법적 책임을 지게 된다. 인공지능이라는 기술 자체가 빅데이터를 분석하고, 자동화된 프로그램 등을 사용하는 특성이 있어, 진실된 데이터 또는 잘못된 데이터를 바탕으로 생성되는 결과물은 타인에 대한 명예훼손 등 권리를 침해하는 불법 정보가 될 수 있다. 또는 악의적으로 자동화된 프로그램을 설계하고 이를 악용하는 등 현행 법률에서 금지하는 행위에 해당할 경우 그에 따른 법적 책임을 지게 된다. 다만 이러한 법적 책임과는 무관하게 전파성·복제성 등 인터넷의 특성 및 이용자의 요청에 따라 분석 대상이 되는 빅데이터를 활용하여 결과물을 제공하는 생성형 AI의 특성으로 인해, 한번 생성된 결과물은 인터넷을 통하여 무한히 반복적이고 빠르게 유통되면서 그로 인한 피해를 완벽하게 구제하기 힘든 상황을 초래하게 된다.
￭ 소녀의 일반 사진으로 누드 이미지 생성(음란 정보)
2019년 등장한 스페인 디클로팅 애플리케이션(Declothing Application)5)은 메시지 서비스를 제공하는 텔레그램에서 ‘봇’으로 알려진 자동화된 소프트웨어이다. 애초에는 정교하지 않은 서비스를 제공했는데 애플리케이션에 생성형 AI 사용을 허용하면서 정교한 가짜 누드 이미지를 만들 수 있게 됐다. 스페인 남부의 알멘드랄레호 마을에서는 현지 소녀들을 대상으로 AI가 생성한 나체 이미지가 소셜 미디어에 유포된 사건으로 큰 충격을 주었다. 해당 이미지는 피해자의 소셜 미디어 계정에서 발견한 옷을 입은 소녀들의 사진을 이용하여, 옷을 입지 않은 사람의 상상 이미지를 생성하는 프로그램으로 나체 이미지를 만들어 유포시킨 것이었다. 경찰 수사에 따르면 약 11명의 해당 지역 소년들이 왓츠앱과 텔레그램 앱을 통해 해당 이미지를 만들어 유통한 것으로 밝혀졌다.6) 이 사건에서 중요한 점은 피해자들이 자신의 나체 이미지가 포르노 사이트 등 음란 사이트에 유통되는 사실조차 인지하지 못한 채 피해를 보고 있다는 점이다.
생성형 AI를 통하여 만들어진 아동의 음란하고 선정적인 이미지는 아동에게 해를 끼치기 위한 목적에서 만들어진 것이 아닐 수도 있지만, 이러한 정보가 인터넷에 유통되면 아동 학대 사이트 등에서 악용될 수 있고, 성범죄자가 사용할 경우 수치심을 느끼는 피해자를 침묵하게 만드는 수단이 될 위험성이 있다.
5) BBC (2023.11.27.), Children making AI-generated child abuse images, says charity : https://www.bbc.co.uk/news/technology-67521226 (2023년 12월 7일 방문)
6) BBC (2023.9.23.) AI-generated naked child images shock Spanish town of Almendralejo ; https://www.bbc.co.uk/news/world-europe-66877718 (2023년 12월 7일 방문)
￭ 예술가 사진 무단 사용(저작권 위반 정보)
2023년 1월 13일, 세 명의 예술가(사라 앤더슨, 켈리 맥커런, 칼라 오티즈)가 인공지능 회사 세 곳(Stability AI, Midjourney and DeviantArt)을 상대로, 그들의 삽화, 그림 등 예술 작품이 피고 회사의 생성형 AI 시스템에서 무단으로 사용됐다고 주장하며 저작권 위반을 이유로 소송7)을 제기했다. 이 사건에 대하여 2023년 10월 30일 캘리포니아 연방법원은 저작권 침해에 대한 보다 상세한 입증이 필요하다며, 일부 기각 결정을 내렸다. 그리고 스테빌리티 AI의 스테이블 디퓨전(Stable Diffusion)8) 기술을 사용한 미드저니와 디비언트아트 두 회사에 대해서는 수정된 소장을 제기할 수 있다고 판시했다. 즉, 법원은 스테이블 디퓨전 기술을 만들기 위해 수십억 개의 이미지를 허가없이 다운로드한 행위에 대해서는 저작권 위반을 입증하기에 충분하다고 보았다. 그러나 법원은 피고 미드저니와 디비언트아트가 스테이블 디퓨젼 기술을 유포하면서 저작권을 침해했다는 원고에 주장에 대해서는 피고가 사용한 스테이블 디퓨전에 물리적으로 보호되는 저작권 대상이 있는지, 피고들의 알고리즘에 따라 재구성된 것인지 여부가 불분명하다는 이유로 기각하면서, 향후 이러한 문제를 명확하게 주장할 수 있는 증거를 확보해 다시 소송을 제기할 수 있다고 판시한 것이다.
7) Andersen v. Stability AI Ltd. (3:23-cv-00201) ; https://www.courtlistener.com/docket/66732129/andersen-v-stability-ai-ltd/ (2023년 12월 7일 방문)
8) ‘스테이블 디퓨전’은 소비자 및 기업(사용자의 문자 프롬프트에 응답하여 이미지를 생성하는 오픈소스 생성 AI 회사인 디비언트아트, 미드저니 등)에게 이미지 생성 서비스를 제공하는 소프트 라이브러리이다.
￭ 이용자 정보 무단 수집(개인 정보 침해)
이탈리아 개인정보보호위원회(이하 ‘위원회’)는 2023년 3월 20일 챗GPT 이용자 대화와 결제정보 등이 유출된 사실을 인지했다. 위원회는 오픈AI가 데이터를 수집하는 경우 이용자와 정보 주체에게 이를 통지하지 않은 점과 챗GPT 알고리즘을 훈련시키기 위해 수집되는 대규모 개인 정보가 법적 근거 없이 처리되는 점을 지적했다. 요컨대, 위원회는 2023년 3월 31일, 챗GPT가 불법적으로 이용자 정보를 수집했으며 13세 미만의 아동이 불법 정보에 노출되지 않도록 하는 연령 확인 시스템을 갖추지 않았다는 이유로, 오픈AI가 이탈리아 이용자 정보를 처리하는 것을 임시 차단했다.9)
9) Italian DPA, Intelligenza artificiale: il Garante blocca 챗GPT. Raccolta illecita di dati personali. Assenza di sistemi per la verifica dell’età dei minori (2023.3.31.) ; https://www.garanteprivacy.it/web/guest/home/docweb/-/docweb-display/docweb/9870847 (2023년 12월 12일 방문)
무비판적 맹신과 수용은 위험
‘소녀의 사진을 왜곡하여 음란한 정보를 생성한 사례, 저작권으로 보호되는 예술 작품을 활용하여 제2, 제3의 새로운 정보를 생산·유통한 사례, 정보 주체의 개인 정보를 위법적으로 활용하여 정보를 생성한 사례’ 등 생성형 AI가 오남용되는 경우, 일반 이용자가 이러한 오남용 여부를 확인하기 어렵다. 특히, 특정한 목적을 위해 허위정보를 조작하는 일명 허위조작정보의 법적 정의10)가 없고 이에 대한 사회적 합의가 충분히 형성되지 않아, 이용자가 허위정보의 개념조차 이해하기 어려운 상황에서 생성형 AI가 제공하는 정보가 허위정보에 해당하는지 여부를 인식하기란 더더욱 어려울 것이다. 인터넷을 통해 유통되는 정보가 진실인지 거짓인지 구별하기 쉽지 않고, 때로는 오랜 시간이 지난 후에 진실이라고 믿었던 정보가 거짓으로 밝혀지거나 그 반대의 경우도 있기 때문이다. 따라서 이용자는 어느 한 시점에 정보의 진실과 거짓을 규정짓는 것은 항상 고도의 위험성이 있다는 사실을 인지하여야 한다. 특히, 생성형 AI의 특성상 해당 서비스가 설계되고 작동되는 알고리즘을 예측하기 어렵고, 그에 따른 결과물을 정확하고 진실하다고 담보할 수 없기 때문에 이용자가 정보의 진실성, 허위성을 섣불리 판단하는 일은 더욱 위험하다.
유럽연합은 2023년 12월 13일, 인공지능의 윤리성·안전성·신뢰성을 담보하기 위한 세계 최초의 「인공지능 법률(EU Artificial Act)」에 대해 잠정 합의했다고 발표했다. 특히, 이 법은 챗GPT와 같은 생성형 AI의 투명성을 확보하기 위하여 “특정 콘텐츠가 인공지능에 의해 생성됐다는 점, 불법 정보를 생성하지 않도록 설계됐다는 점, 인공지능 훈련에 이용된 저작권으로 보호되는 정보를 공개해야 하는 점”의 요구 사항을 충족해야 한다고 밝히고 있다.
이와 같이 생성형 AI는 이용자의 요구에 따라 빅데이터를 분석하여 결과를 생성하는 서비스를 제공해 주고 있으나, 해당 서비스의 윤리성·안전성·신뢰성을 담보할 수 없는 현 단계에서 이용자들은 제공받는 정보를 무비판적으로 맹신하여서는 안 된다. 특히, 이용자의 요구에 따른 결과물 제공 등의 서비스를 반복하면서 생성형 AI가 편향적이고 유해한 정보를 지속적으로 확대 및 재생산하면서, 이용자에게 정신적으로 악영향을 미칠 수 있는 위험성이 있다는 사실을 명확하게 인식하는 것이 중요하다.
10) 허위조작정보를 “방송·신문 등 기존 미디어 매체 또는 인터넷 기반의 새로운 유형의 미디어 매체뿐만 아니라 음성·이미지·영상·문자 등 정보 유형을 불문하고 허위의 사실을 진실인 것처럼 포장하는 내용의 정보”로 정의하기도 한다. ; 최종선 (2020), “허위조작정보 규제 시도에 대한 비판적 고찰”, 《홍익법학》 제21권 제1호, 2020, 367면.
11) World’s First AI Law: EU Announces Provisional Agreement on AI Act (2023.12.13.), https://www.eeas.europa.eu/delegations/australia/world%E2%80%99s-first-ai-law-eu-announces-provisional-agreement-ai-act_en (2023sus 12월 15일 방문)
