KOSAC

이슈 페이퍼

2024.7호

작성자 | 장미경(한국과학창의재단) 편 집 | 정책기획실 발 행 | 한국과학창의재단 발행일 | 2024.08.27

인공지능 시대의 허위정보와 가짜뉴스

/심층분석

ISSUE PAPER / CONTENTS

CONTENTS

허위정보 이슈의 심각성 부각

허위정보 및 가짜뉴스의 개념

가짜뉴스의 유형과 사회적 대두

허위정보에 속아 넘어가는 이유

기존 신념과 조응할 때 허위 지각 강화

인공지능 기술이 접목된 딥페이크 허위정보

딥페이크 허위정보 관련 글로벌 규제 동향

규제를 위한 사회적 합의와 분석적 사고 역량 중요

References

인공지능 시대의 허위정보와 가짜뉴스

장미경 선임연구원

첨단 과학기술의 진화는 인류 문명의 번영과 발전을 불러오지만, 다른 한편으로는 전혀 예측할 수 없는 부작용과 폐해 등 부정적 산물을 낳기도 한다. 특히 인공지능 기술로 생성되는 허위정보(disinformation)는 각종 사회 문제를 초래하는 부정적 이슈의 대표 사례이다. 최근에는 생성형 인공지능 기술 딥페이크(deepfake)가 허위정보의 생산과 확산에 접목되면서 사실과 거짓의 경계가 점점 더 모호해지고 있다. 누구든지 쉽고 빠르게 정보를 만들고 퍼뜨릴 수 있는 디지털 기술 환경의 구축, 다양한 형태의 미디어 플랫폼들로 인해 인공지능 시대의 허위정보는 사회 곳곳에서 더욱 강력하고 광범위한 영향력을 행사할 것으로 전망된다. 이에 따라 이번 이슈페이퍼에서는 학자들의 선행연구에 기반해 허위정보의 개념과 유형을 정리하고 공중이 허위정보에 현혹되는 심리적 경향성을 짚어 허위정보 이슈에 대한 개인과 사회의 현주소를 살펴보는 한편, 글로벌 규제 동향 탐색을 통해 허위정보 관련 위험과 부작용에 대응하기 위한 시사점을 찾아보고자 한다.

허위정보 이슈의 심각성 부각

세계경제포럼(WEF)은 ‘글로벌 위험보고서(Global Risks Report) 2024’를 공개하면서 2023년 9월부터 10월까지 전문가 1,490명을 대상으로 설문조사를 진행한 결과, 향후 2년 동안 인류에게 가장 큰 위협이 되는 요소 1위로 ‘잘못된 정보 및 허위정보’(misinformation and disinformation)가 선정되었다고 발표했다. 향후 10년을 내다보는 장기 예측 결과에서도 ‘잘못된 정보 및 허위정보’와 ‘인공지능 기술 부작용’(adverse outcomes of AI technologies) 이슈가 상위 자리를 차지했을 만큼 전문가들의 인공지능 허위정보에 대한 문제 인식은 심각하다.

1) https://www.weforum.org/publications/global-risks-report-2024/

1)

FIGUREC Global risks ranked by severity over the short and long term

"Please estimate the likely impact (severity) of the following risks over a 2-year and 10-year period."

2 years

Risk categories

Economic Environmental

Misinformation and disinformation

1st

Extreme weather events

2nd

Geopolitical

Societal polarization

3rd

Societal Technological

Cyber insecurity

4th

Interstate armed conflict

5th

Lack of economic opportunity

6th

Inflation

7th

Involuntary migration

8th

Economic downturn

9th

Pollution

10th

Source World Economic Forum Global Risks Perception Survey 2023-2024.

그림 1 | ‘Global Risks Report 2024’에 따르면 향후 2년 동안 인류에게 가장 큰 위협이 되는 요소 1위로 ‘잘못된 정보 및 허위정보’가 선정되었다.

2016년 미국 대선 당시 트럼프 전 대통령은 자신의 정치적 유익에 반하는 모든 뉴스를 통칭해 공중의 주목도를 높이고 선정성을 자극할 수 있는 ‘가짜뉴스’(fake news)라는 용어로 표현했고, 가짜뉴스 용어가 지속적으로 오남용되면서 민주주의를 위협하는 갖가지 사회 문제를 초래했다. 이에 따라 전 세계적으로 가짜뉴스라는 용어가 유행하게 되었고, ‘탈진실’(post-truth) 현상이 두드러지게 나타나면서 2016년 옥스퍼드사전 올해의 단어로 ‘탈진실’이 선정되기도 했다. 탈진실이란 객관적 사실에 근거한 정보나 주장에 믿음을 갖기보다 개인의 정치적 신념이나 기존 감정에 부합한 정보를 더 신뢰하는 현상을 의미한다. 탈진실에 갇히면, 정치적 양극화와 확증편향, 사회적 동조 등이 발생해 심각한 사회적 갈등과 분열을 불러올 수 있다. 2016년 미국 대선 과정이 입증하듯 탈진실의 가속화에 따라 사회적으로 진실과 가짜의 혼란이 야기되면 허위정보와 조작 자료 등 진실과 연계된 변수에 따라 역사적 흐름이 달라지면서 결코 뒤바꿀 수 없는 결과를 양산하기도 한다.

2) https://languages.oup.com/word-of-the-year/2016/

10 years

1st

Extreme weather events

2nd

Critical change to Earth systems

3rd

Biodiversity loss and ecosystem collapse

4th

Natural resource shortages

5th

Misinformation and disinformation

6th

Adverse outcomes of AI technologies

7th

Involuntary migration

8th

Cyber insecurity

9th

Societal polarization

10th

Pollution

2)

허위정보 및 가짜뉴스의 개념

그림 2 | 전 세계적으로 탈진실 현상이 두드러지게 나타나면서 2016년 옥스퍼드사전 올해의 단어로 ‘탈진실’이 선정되었다.

이러한 흐름은 첨단 과학기술 시대를 살아가는 현대인들에게 허위정보를 구별할 수 있는 역량과 사고가 왜 중요한 것인지 주목해야 할 필요가 있음을 시사한다. 전문가들은 향후 인공지능 기술 발전이 더욱 빠르게 진행됨은 물론, 기술의 향방이 예측 불가능한 양상으로 전개되면서 머지않은 미래에 혁신적 패러다임 변화가 펼쳐질 것으로 전망한다. 특히 딥페이크 등 인공지능 기술 발전과 연동될 새로운 형태의 허위정보가 다양한 사회적 폐해와 부작용을 불러올 것으로 예측되는 상황이다.

가짜뉴스라는 용어는 거짓 정보, 사실이 아닌 정보, 조작 정보 등 허위로 만들어진 정보라는 개념으로 광범위하게 인식되고 있다. 가짜뉴스 용어가 일반적으로 통용된 주요 배경으로는 인터넷과 소셜미디어의 성행 등 디지털 미디어 환경의 변화를 손꼽을 수 있다. 디지털 환경 덕분에 누구나 손쉽게 뉴스를 생산하고 확산시킬 수 있는 주체가 되었고, 많은 양의 콘텐츠가 다양한 플랫폼을 통해 유통될 수 있기 때문이다. 첨단 과학기술의 진화에 따라 최근에는 챗GPT 등 초거대 인공지능을 활용해 더욱 쉽고 빠르게 콘텐츠를 생산하거나 재조합·재가공할 수 있고, 비슷한 관심사를 공유하는 집단끼리 플랫폼을 통해 공유할 수 있게 되어 허위정보가 범람할 수 있는 최적의 환경이 조성되었다고 할 수 있다.

그림 3 | 가짜뉴스라는 용어는 ‘허위로 만들어진 정보’라는 개념으로 광범위하게 인식되고 있다.

정치권을 비롯해 사회 곳곳에서 빈번하게 언급되는 가짜뉴스의 실질적 개념을 명확하게 이해하기 위해서는, ‘뉴스’(news)와 ‘진짜뉴스’(real news)가 무엇을 뜻하는지 뉴스의 본질을 파악할 필요가 있다. 뉴스란 공중의 관심사 중 확인할 수 있는 정보를 의미한다. 확인할 수 있는 정보, 즉 진실을 추구하는 뉴스의 본질적 개념은 거짓, 모조, 위조 등을 뜻하는 가짜의 개념과 상충하므로, 가짜뉴스는 뉴스의 신뢰성을 훼손하는 모순어법의 용어이다. 3) 이에 따라 국내외 학계와 언론계에서는 가짜뉴스라는 용어 사용의 부적절성을 끊임없이 지적해 왔다. 가짜뉴스라는 용어는 잘못된 정보(misinformation) 또는 허위정보(disinformation) 등의 맥락 안에서 개념 정의를 명확하게 할 필요가 있다. 4) 연구진에 따르면 ‘잘못된 정보’는 고의성이나 특정 의도가 없는 거짓 정보이자 단순 오보를 뜻하고, ‘허위정보’는 사람들을 속이기 위한 의도성이 있는 정보, 즉 사람들을 고의로 기만하기 위해 만들어 낸 정보를 의미한다. 언론 보도를 중심으로 한 현대 담론에서는 가짜뉴스에 대한 정의를 “뉴스 보도처럼 보이게 만든, 가상 계정에 기반한 바이러스성 게시물”로 규정하고 있고, 최근 연구에서는 가짜뉴스에 대해 “의도적이고 검증할 수 있는 거짓이며, 독자들을 현혹할 수 있는 뉴스 기사”라고 정의하고 있다. 5) 더불어 국내 연구진은 가짜뉴스의 특성에 대해 상업적 또는 정치적 목적에서 타자를 속이려는 의도가 담긴 정보, 수용자가 허구임을 오인하도록 언론 보도의 양식을 띤 정보, 사실 검증이라는 저널리즘의 기능이 배제된 가운데 사실처럼 허위 포장된 정보로 규정한 바 있다. 선행연구의 논의를 종합해 보면, 가짜뉴스의 개념을 충족하기 위해서는 총 세 가지의 조건이 전제되어야 한다. 즉, 가짜뉴스는 사실이 아닌 ‘허위와 조작’, 속이려는

3) 한국언론진흥재단, 2019 4) Wardle & Derakhshan, 2017 5) Allcott & Gentzkow 2017, p. 213 6) 황용석·권오성, 2017

6)

목적의 ‘고의성과 의도성’, 보도 형태에 부합한 ‘뉴스 형식’을 모두 갖춘 거짓 정보여야 한다. 하지만 최근에도 가짜뉴스라는 용어는 조작, 고의성, 형식에 상관없이 무분별하게 사용되고 있다. 특히 뉴스에서 고의성이 없는 오류가 발견될 때도 무조건 가짜뉴스로 규정하거나, 자신의 유익에 따라 가짜뉴스라는 표현을 오남용하면서 공격의 수단으로 삼기도 한다. 이러한 양상은 정치권에서 매우 심각하게 드러난다. 유네스코가 발간한 ‘저널리즘, 가짜뉴스 & 허위정보’(Journalism, fake news & disinformation)에서는 가짜뉴스라는 용어 대신 허위정보(disinformation), 잘못된 정보(misinformation), 유해정보(mal-information) 등 세 가지 용어의 사용을 제안하고 있다. 7) 여기서 허위정보와 잘못된 정보는 사실이 아닌 정보를 의미한다. 좀 더 구체적으로 살펴보면, 허위정보는 사실이 아님을 알면서도 상대방을 속이기 위한 고의성이 있는 정보이고, 잘못된 정보는 조작이나 나쁜 의도 또는 고의성 없이 내용상 오류나 오해의 여지가 있는 정보이며, 유해 정보의 경우, 거짓 정보는 아니지만 공익적 가치가 없는 정보를 의미한다. 지금까지의 논의를 종합해 보면, 가짜뉴스는 ‘허위와 조작’, ‘고의성과 의도성’, ‘뉴스 형식’을 모두 갖춘 거짓 정보를 의미하며, 이 조건을 벗어난 경우라면 가짜뉴스 대신 허위정보, 잘못된 정보, 유해정보 등의 용어를 올바르게 사용할 수 있도록 사회적 합의를 이루어야 할 것이다.

그림 4 | 유네스코는 ‘저널리즘, 가짜뉴스 & 허위정보’(Journalism, fake news & disinformation)에서 가짜뉴스 용어 대신 '허위정보', '잘못된 정보', '유해정보' 등 세 가지 용어의 사용을 제안하고 있다.

7) Ireton & Posetti, 2018

가짜뉴스의 유형과 사회적 대두

한편 가짜뉴스는 뉴스 풍자(news satire), 뉴스 패러디(news parody), 날조 (fabrication), 조작(manipulation), 광고(advertising), 선전(propaganda) 등 크게 여섯 가지 유형으로 범주화하여 폭넓게 설명할 수 있다. 가장 일반적인 개념으로 제시되는 ‘뉴스 풍자’는 유머나 과장을 사용해 공중에게 뉴스를 제공하는 방식이다. 뉴스 풍자는 정보를 제공하기보다 오락물 형태로 공중에게 다가간다. 따라서 뉴스 풍자의 사회자는 자신을 언론인이나 뉴스 진행자가 아닌, 코미디언 또는 연예인으로 일컫는다. 인기를 끄는 뉴스 풍자는 공중에게 실제 뉴스 이상의 영향력을 발휘한다. 브루어 외 연구진에 따르면 뉴스 풍자는 대중 담론(public discourse), 의견(opinions), 정치적 신뢰(political trust)를 형성하는 것으로 인정받고 있다. 9) 이에 따라 연구자들은 정치 비판과 개선이라는 뉴스 풍자의 순기능과 표현의 자유를 보장하기 위해 가짜뉴스와 풍자의 개념 차이를 명확하게 인지해야 한다고 제언한다. ‘뉴스 패러디’는 주류 뉴스 매체를 모방하는 방식을 활용해 공중의 관심과 흥미를 자극한다. 뉴스 패러디와 뉴스 풍자의 차이점은, 유머를 포함하기 위해 사실이 아닌 정보를 사용한다는 것’이다. 즉 뉴스 패러디는 유머를 통해 이슈에 대한 직접적 해설을 제공하지만, 사실이 아닌 허구의 정보를 포함해 부각하는 방식을 적용한다. ‘날조’는 사실을 기반으로 한 근거가 전혀 없이 형식상 정당성(legitimacy)을 부여하기 위해 뉴스 기사 스타일로 게재하는 방식을 뜻한다. 뉴스 풍자 또는 뉴스 패러디와 다른 점을 꼽자면, 날조의 경우 뉴스 생산자가 의도를 갖고 허위 정보를 만든다는 것이다. 잘 날조된 기사는 언론 보도 형식으로 뉴스의 정당성을 갖추고 웹사이트나 소셜미디어 플랫폼에 정교하게 탑재되어 공중의 관심을 끌어들이고 자극함으로써 광고 수익을 창출한다. 예를 들어 2016년 미국 대선 당시 퍼져나갔던 “프란시스 교황이 트럼프를 지지했다”(Pope Francis had endorsed Republican Donald Trump)라는 뉴스는 날조 기사의 대표적 사례라고 할 수 있다. ‘조작’은 사진이나 동영상 등 시각적 뉴스의 범주에 해당하는데, 디지털 기술의 발전과 이미지 조작 소프트웨어가 활성화됨에 따라 점점 더 흔해지고 있는 가짜뉴스 형태라고 할 수 있다. ‘광고’ 형태의 가짜뉴스는 실제 뉴스 보도를 가장한 유형이다. 예를 들어 홍보 대행사가 광고를 제작한 후 실제 뉴스 보도에 통합되도록 뉴스 매체에 제공할 경우라면 가짜뉴스로 간주한다. 특히 광고는 뉴스 형식을 이용함으로써 일방적 주장에 더 많은

8) Tandoc Jr, Lim, & Ling, 2018 9) Brewer, Young, & Morreale, 2013 10) Allcott & Gentzkow, 2017

8)

10)

정당성을 부여할 수 있는 유형이라고 할 수 있다. ‘선전’은 공중의 사고에 영향을 미치기 위해 정치적 주체가 만들어 낸 뉴스 기사를 의미한다. 선전 역시 광고와 비슷하게 사실에 기초하기는 하지만, 특정 측면이나 관점을 부각하는 편견 또는 일방적인 주장을 포함하고 있다. 즉 알리기보다는 설득하는 측면을 강조한다. 앞서 살펴본 바와 같이 학자들은 가짜뉴스 이슈가 대두되기 시작한 계기로 2016년 미국 대통령 선거와 영국 브렉시트 사건 등을 손꼽는다. 특히 미국의 전 대통령 트럼프는 2016년 대선 당시 선거를 유리하게 이끌기 위한 전략으로 자신에게 부정적이거나 불편한 언론 보도를 가짜뉴스라는 용어로 통칭하고 오·남용하면서 혼란과 분열 등 심각한 사회 문제와 부작용을 초래했다. 이후에도 진실을 담보하는 뉴스라는 용어를 가짜뉴스에 오용하는 행위가 잦아지면서, 언론에 대한 공중의 불신과 정파적 양극화가 지속적으로 촉발되었다. 이를 계기로 미국을 비롯한 전 세계의 관련 분야 연구자들은 가짜뉴스와 허위정보의 개념과 특징, 사례 분석 등 다양한 연구를 통해 사회적 함의와 시사점을 제시하면서 공중과 사회의 비판적 관심을 촉구해 왔다.

그림 5 | 가짜뉴스는 뉴스 풍자, 뉴스 패러디, 날조, 조작, 광고, 선전 등 크게 여섯 가지 유형으로 폭넓게 설명할 수 있다.

허위정보에 속아 넘어가는 이유

그렇다면 공중이 허위정보에 쉽게 속아 넘어가게 되는 이유는 무엇일까. 사람들이 허위정보에 현혹되는 원인은 확증편향(Confirmation Bias)과 선택적 노출(Selective Exposure) 등 심리적 경향성에서 찾을 수 있다. 11) 확증편향은 특정 이슈에 대한 사실관계와 상관없이 자신의 신념에 맞는 정보만을 선택적으로 수용하려고 하는 심리를 의미한다. 특히 자신의 신념이 꼭 구현되길 원하거나, 자신이 원하는 방향으로 결과가 완성되길 간절하게 바랄 때 확증편향이 강화되는데, 이 경우 유리한 정보만 선택적으로 모으거나 편향된 방식의 주장만을 받아들이게 되는 경향성을 보이게 된다. 선택적 노출이란 선택권이 주어졌을 때 자신의 기존 관점과 신념에 부합하는 정보를 최우선으로 선택하는 행위를 의미한다. 선택적 노출은 정치 등 특정 영역에만 국한되어 발생하는 심리적 현상이 아니라, 다양한 영역에서 관심 정보를 추구할 때 발생할 수 있는 기제이다. 학자들의 선행연구를 살펴보면 사람들은 자신이 가진 기존의 가치관, 관점, 신념, 이념 등을 보호하고 지지하기 위하여 새로운 정보에 대한 목표 주도적 처리에 관여하게 되는데, 이러한 지향적 목표가 추론 과정에 영향을 줄 때 편향 동화(biased assimilation)에 빠지기 쉽다. 편향 동화는 속성 일치 정보를 속성 비일치 정보보다 더욱 타당하게 인지하는 양상을 보이면서, 자신이 이미 보유하고 있는 관점, 신념, 입장에 맞추어 정보를 해석하고 처리하고자 하는 경향성을 의미한다. 사람들은 일단 잘못된 정보를 진실이라고 믿게 되면 상당히 신뢰할 만한 정보원을 통해 정확하고 구체적인 정보를 획득한다고 하더라도 그 인식을 쉽게 바꾸지 않는다. 잘못된 정보에 대한 노출이 그릇된 신념으로 굳어지는 현상을 믿음의 메아리(belief echo)라고도 표현하는데, 허위정보에 노출된 직후 또는 실시간으로 부정확한 정보를 정정(correction)하더라도 사람들의 허위 지각은 쉽게 교정되지 않는다.

12)

11) Spohr, 2017 12) Ditto et al., 1998; Kunda, 1990 13) Garrett, Nisbet, & Lynch, 2013; Lewandowsky, Ecker, Sefert, Schwarz, & Cook, 2012; Nyhan & Reifler, 2010 14) Thorson, 2016; Garrett & Weeks, 2013

13)

14)

기존 신념과 조응할 때 허위 지각 강화

그림 6 | 확증편향은 사실관계와 상관없이 자신의 신념에 맞는 정보만을 선택적으로 수용하려는 심리를 의미하는데, 확증편향에 빠지면 유리한 정보나 편향된 주장만을 받아들이는 경향성을 보이게 된다.

공중이 받아들이는 허위정보는 자신의 기존 신념(pre-existing beliefs)과 조응할 때 허위 지각이 더 견고하게 형성되는데, 이 경우 정보에 대한 정정을 시도하면 오히려 허위 지각을 더욱 강화하는 결과가 초래되기도 한다. 15) 이와 같은 사람들의 편향된 정보처리는 동기화 추론(motivated reasoning) 개념으로 설명할 수 있다. 동기화 추론은 정보를 접했을 때 나타나는 순간적인 무의식 반응에 맞추어 형성되는 의식적 생각을 의미한다. 즉, 동기화 추론은 정보를 접하면 무의식 상태에서 반응이 먼저 생성된 후, 이 반응에 맞춰 의식에서 생각이 떠오른다는 개념이다. 동기화 추론은 방향성 동기(directional motivation)와 정확성 동기(accuracy motivation)로 분류할 수 있다. 방향성 동기는 특정한 목적(goal)에 따라 정보를 처리하려는 노력에 주안점을 두고 있고, 정확성 동기는 객관적·합리적 결론에 이르고자 하는 정보처리 노력에 초점이 맞추어진다. 허위정보의 확산에 영향을 미치는 확증편향, 선택적 노출 등 심리적 경향성에는 인공지능 기술이 깊게 관여할 수 있다. 인공지능 알고리즘은 수용자가 선택하거나 선호하는 허위정보에 최적화된 맞춤형 콘텐츠를 제공하는 방식으로 작동하므로, 필터 버블(Filter Bubble)을 강화하기 때문이다. 필터 버블은 검색 이력, 기존 클릭, 선호 내용 등 수용자 개인의 정보에 기반해 수용자가 보고 싶어 하는 정보를 추측하고 필터링함으로써 개인 중심의 검색 결과물을 선별적으로 제공하는 정보 필터링 현상을 일컫는다. 이 경우 수용자들은 자신의 의견이나 관점, 신념 등에 부합하지 않거나 동의하지 않는 정보에서 자연스럽게 멀어지게 되고, 원하는 정보만을 효율적으로 취함으로써 이념적으로나 사회문화적으로 필터링된 버블에 갇히게 된다. 이에 따라

15) Nyhan & Reifler, 2010; Nyhan, Reifler, & Ubel, 2013 16) Taber & Lodge, 2006 17) Kunda, 1990

Confirmation Bias

16)

17)

같은 단어나 내용을 검색하더라도 누가 검색하느냐에 따라 다른 정보가 제공되고, 정보 검색 수용자의 생각에 반대되는 의견이나 논리로 구성된 자료, 평소에 관심을 두지 않았던 뉴스 등을 접할 기회는 아예 차단된다. 결국 수용자들은 자신의 신념에 최적화된 내용을 더욱 신뢰하게 되면서 개인의 편견 또는 선입견, 고정관념을 더욱 강화하게 된다. 허위정보도 진짜처럼 믿게 되는 폐해가 발생할 수밖에 없는 구조적 상황에 빠지는 것이다. ‘The Filter Bubble’의 저자이자 필터 버블 용어를 처음 사용한 엘리 패리저(Eli pariser)는 필터 버블이 확증편향과 선택적 노출을 일으키는 정보 검열의 방식으로 작용할 수 있다고 지적했다. 또한, 필터링 알고리즘에 따라 정보에 대한 선택적 편식이 지속되면서 스스로 인지하지 못한 상태의 가치관 왜곡으로 이어질 수 있다는 우려를 제기했다. 수용자들은 인공지능 알고리즘에 따라 선택적으로 취합된 정보를 제공받게 되므로, 윤리나 도덕적 가치판단 이슈가 얼마나 큰 문제를 일으킬 수 있을지조차 판단할 수 없는 상황에 이르게 된다.

그림 7 | ‘The Filter Bubble’의 저자는 필터 버블이 확증편향과 선택적 노출을 일으키는 정보 검열의 방식으로 작용할 수 있다고 지적했다.

인공지능 기술이 접목된 딥페이크 허위정보

이와 같은 심리적 경향성과 정치적 신념의 결합으로 허위정보 폐해가 가장 큰 분야인 정치 영역에서는 인공지능 기술의 발전과 활용에 따른 허위정보의 위험성이 그 어느 때보다 심각한 상황이다. 예를 들어 최근 유튜브에는 인공지능 기술이 활용된 딥페이크(Deepfake) 영상이 자주 등장한다. 딥페이크는 인공지능 핵심 기술인 딥러닝(Deep Learning)과 가짜(Fake)의 합성어로, 특정 인물의 얼굴이나 신체를 생성할 수 있는 인공지능 기술을 뜻한다. 이안 굿펠로 외 연구진은 두 개의 신경망이 서로 경쟁하면서 실제 이미지를 자체 생성할 수 있는 적대적 생성 신경망(GANS, Generative Adversarial Nets)을 만들었는데, 이는 딥페이크 기술 탄생의 계기가 되었다. 적대적 생성 신경망은 이미지를 자동으로 생성하기 위한 비지도 학습 딥러닝 모델인데, 이 알고리즘은 생성자(Generator)와 판별자(Discriminator) 신경망이 적대적 관계로 경쟁하면서 능력을 강화하는 방식으로 작동한다. 즉 2개의 신경망인 생성자와 판별자가 적대적 환경에서 훈련하면서 경쟁 학습을 지속하기 때문에 데이터 생성과 판별 능력이 모두 향상될 수 있고 이에 따라 결과물의 완성도를 최대치로 끌어올릴 수 있다. 딥페이크 영상은 단순 재미 또는 유머를 지향하기도 하지만, 악의적이고 의도적인 목적으로 만들어진 허위정보는 사회적·정치적 혼란을 유도하거나 특정 인물을 음해하는 등 심각한 부작용을 초래한다. 특히 선거가 가까워질수록 수많은 허위정보가 딥페이크 등 인공지능 기술을 등에 업고 온라인을 통해 퍼져나간다. 딥페이크 기술이 인공지능 이미지 생성 분야의 발전에 기여했다는 평가를 받았음에도 불구하고 부정적 측면이 강조되면서 주목받고 있는 이유이다.

18)

18) Goodfellow et al., 2014

딥페이크 기술은 2017년 미국의 소셜 플랫폼 레딧(Reddit) 이용자가 유명인의 얼굴을 합성한 가짜 콘텐츠를 딥페이크로 칭하면서 대중에게 알려지기 시작했고, 2022년 11월 생성형 인공지능 챗GPT 등장 이후 폭발적 기술 성장이 가시화되면서 원하는 영상을 쉽게 제작할 수 있는 환경이 조성되어 기술 악용 사례가 빠르게 증가했다. 가장 대표적인 부정적 사례가 ‘딥페이크 허위정보’이다. 예컨대, 나쁜 의도를 가진 행위자가 잘 알려진 정치인이나 연예인이 하지 않은 발언이나 행동을 딥페이크 이미지 또는 영상으로 제작해 마치 실제 콘텐츠인 것처럼 소셜미디어 플랫폼에 확산하는 방식으로 여론조작과 사회적 불안감을 가중한다. 실제로 2024년 1월, 세계적인 팝가수 테일러 스위프트의 얼굴을 음란 사진과 합성한 딥페이크가 소셜미디어 엑스(X)에 유포되는 사건이 발생하면서 CNN과 BBC 등 주요 외신들이 생성형 인공지능 기술로 초래될 수 있는 해악의 심각성을 강조한 바 있다. 전문가들은 테일러 스위프트의 가짜 이미지가 소셜미디어 플랫폼에서 삭제되기까지 수천만 회 조회되었고 타 채널로 확산하면서 계속 공유될 것이라는 위기감과 우려를 나타냈다. 딥페이크 허위정보 이슈는 지난 2023년에도 사회적·경제적 혼란을 몰고 온 바 있다. 2023년 3월에는 트럼프 전 미국 대통령이 경찰에 연행되는 이미지가 담긴 허위 사진이 인터넷에 확산했고, 5월에는 조 바이든 미국 대통령이 취침 중 세상을 떠났다는 백악관 발표 관련 허위 자료가 이어졌으며, 10월에는 미국 펜타곤 인근의 폭파 장면을 묘사한 허위 자료가 소셜미디어를 통해 급속하게 확산하면서 일시적인 주가 급락 등 금융 시장의 혼란이 발생하기도 했다. 전문가들은 선거를 치르는 과정에서 딥페이크 기술이 접목된 허위정보가 활성화된다면 민주주의를 위협하는 전 세계적인 혼란과 분열이 나타날 것이라고 우려한다. 고도화된 초거대 인공지능 기술을 활용해 조작된 이미지, 영상, 목소리가 ‘진짜보다 더 진짜 같은’ 형태로 생성되어 소셜미디어 플랫폼을 통해 퍼져나갈 경우, 엄청난 혼란을 불러올 수 있다는 것이다. 그렇다면 인공지능 기술 진화에 따라 새로운 형태의 위험을 내포한 허위정보에 대한 대응은 어떻게 진행되고 있는지 기술 선진국을 중심으로 세계적 규제 현황을 살펴볼 필요가 있다.

19)

19) BBC, 2024; CNN, 2024

딥페이크 허위정보 관련 글로벌 규제 동향

전 세계적으로 인공지능 기술을 활용한 딥페이크 관련 폐해가 급증하면서 규제 방안 마련에 대한 목소리가 커지고 있다. 유럽연합(EU)이 2023년 8월부터 발효한 디지털서비스법(DSA, Digital Services Act)은 허위정보 규제와 관련해 최근 가장 주목받는 법안이다. 해당 법안은 구글, 메타, 애플, 아마존 등 유럽 내에서 이용자 4,500만 명 이상을 지닌 19개 플랫폼을 ‘대형 온라인 플랫폼’으로 지정해 엄격한 의무를 부과하는 내용을 골자로 출발했으며, 2024년 2월 17일부터는 직원 수 50명 미만, 연간 매출 1천만 유로 미만의 중소기업을 제외한 모든 온라인 플랫폼에서 시행 의무화되었다. EU 국가 소비자를 대상으로 하는 온라인 플랫폼들은 불법 상품이나 서비스, 유해 콘텐츠가 포함된 내용이 게시되는 것을 방지하고 제거하는 동시에, 사용자에게 이러한 유형의 콘텐츠에 대한 신고 수단을 제공해야 한다. 만약 빅테크 기업들이 디지털서비스법을 위반하게 되면 글로벌 매출의 최대 7%에 달하는 과징금이 부과되며, 반복 위반한다면 유럽 시장에서 퇴출될 수 있다. 이는 불법·유해 콘텐츠 확산에 대한 책임을 플랫폼 사업자들에게 묻겠다는 의미이다.

그림 8 | 유럽연합(EU)의 디지털서비스법(DSA, Digital Services Act)은 허위정보 규제와 관련해 최근 가장 주목받고 있는 법안이다.

디지털서비스법은 우리나라에서 ‘가짜뉴스 규제법’으로 언급되고 있지만, 앞서 살펴본 바와 같이 이 법안은 언론 보도를 규제 대상으로 삼는 것이 아니라, 플랫폼 책무에 대한 포괄적 규제 내용을 담고 있다. 규제 내용을 좀 더 구체적으로 살펴보면, 규제 대상 기업이 유해 콘텐츠를 인지하면

곧바로 제거하는 시스템을 갖추어야 함은 물론, 어린이를 대상으로 한 광고를 금지해야 하며 주기적으로 콘텐츠의 위험 요인 분석 및 완화 조치를 해야 한다. 또한 정치적·종교적 신념이나 성적 취향 등 민감한 데이터를 기반으로 한 광고를 금지하고 콘텐츠 게시와 검토 결정에 대한 설명을 투명하게 제공해야 하며 인공지능이 만든 영상이나 이미지의 출처를 명확하게 표기해야 한다. 주목할 만한 점은, 국가나 행정기구가 정보의 허위 여부를 판단하는 것이 아니라 자의적이고 불투명한 기업의 집행에 대한 문제 제기 및 보고 장치 강화 등 절차적 책무를 이행한다는 것이다. 한국언론진흥재단이 2023년 5월 발간한 유럽의 가짜뉴스 대응 정책에 따르면, 유럽의 경우 2015년부터 인종 혐오와 국수주의 확산, 영국 브렉시트 전후 위험 콘텐츠가 SNS에 빠르게 확산하는 사회 문제에 대응하기 위해 허위정보 해결 방안을 마련하기 시작했다. 프랑스의 경우에는 2018년 정보조작대처법을 마련했는데, 이 법안은 선거 전 3개월 동안 법원이 온라인 플랫폼에 허위정보를 게시할 수 없도록 명령할 수 있다는 내용을 골자로 한다. 독일 또한 2018년부터 허위정보뿐만 아니라, 모든 종류의 불법 콘텐츠에 대해 네트워크 집행법을 적용하고 있다. 이 법안은 페이스북, 유튜브 등 디지털 플랫폼이 불법 컨텐츠나 댓글에 대한 신고 기능을 시스템화하고, 신고 접수 후 신속하게 위법성을 판단한 뒤 24시간 이내 삭제해야 한다는 내용 등을 강제 규정으로 적용하고 있다. 스페인의 경우 2020년 11월 허위정보 확산에 대응하기 위해 장관령의 초법적 상설 기구를 설립했고, 헝가리는 2020년 3월 가짜뉴스 대응법을 통과시켰는데, 팬데믹 대응을 방해하는 허위정보를 퍼뜨리면 최대 5년의 징역형을 선고할 수 있도록 한다는 내용이다. 초기에는 COVID-19 대응 조치의 일환이었지만 이후 공식 규제로 전환되었다. 미국 바이든 행정부에서도 2023년 10월, 인공지능의 안전성 관련 규제를 담은 첫 행정명령을 발표했다. 이 내용에도 딥페이크 기술과 관련한 위험성 제거 방안이 포함되어 있다. 명령의 핵심은 기업이 인공지능을 공개하기 전에 안전성 검사를 진행하고, 그 결과를 정부에 보고하라는 것이다. 특히 국가 안보, 경제, 공공 보건 분야와 유관한 인공지능 기술을 개발하는 기업은 개발 초기 단계부터 위험성을 정부에 알리고 객관적인 안전성 검사 결과를 정부와 공유해야 한다. 이에 따라 미국 정부는 인공지능이 생성한 콘텐츠에 워터마크를 부착하고 출처를 확인할 수 있는 기술 표준을 마련할 예정이다. 국내에서는 지난 2022년 치러진 20대 대선 과정에서 대통령 후보자들의 딥페이크 영상이 공식적으로 공개된 바 있다. 하지만 선거에 영향을 미칠 목적으로 생성형 인공지능을 활용해 만든 딥페이크 영상 유포 행위는 2023월 12월 통과된

20)

20) https://www.kpf.or.kr/front/research/policyDetail.do?miv_pageNo=&miv_pageSize=&total_cnt=&L ISTOP=&mode=W&seq=595630&link_g_topmenu_id=676f2f0

공직선거법 개정안에 따라 금지되었다. 국내의 규제 수립과 관련한 최신 정책으로는 2024년 5월 21일 공개된 ‘새로운 디지털 질서 정립 추진계획’을 꼽을 수 있다. 해당 계획에는 ‘딥페이크를 활용한 가짜뉴스 대응’이 8대 핵심과제 중 하나로 포함되어 있다. 정부는 인공지능 생성물의 워터마크 표시 의무화, 딥페이크 탐지·식별 기술 개발 추진, AI 학습 이용 저작물에 대한 적정 이용 대가 산정 방안 등 세부 연구 결과를 종합해 2024년 말까지 저작권법 등 저작권 제도 정비 방안을 마련할 예정이라고 설명했다. 아직 구체성은 미흡한 상황이지만 생성형 인공지능 활용에 대한 윤리적 지침 마련과 법적 규제 필요성이 지속적으로 제기됨에 따라 국회의 관련 상임위원회에서도 딥페이크 가짜뉴스 관련 법안 발의와 심의를 통해 다양하게 제기되는 사회 문제에 대한 합리적 해결 방안을 찾아나갈 것이라고 밝히고 있어 법안의 최신 동향을 주기적으로 확인할 필요가 있다.

새로운 디지털 질서 정립 추진계획 8대 핵심과제

핵심과제

내용

• AI 기본법 제정, AI 서울 정상회의 개최 • AI 안정성 검증 〮 연구 전담조직 설치

AI 기술의 안정성, 신뢰〮윤리 확보

딥페이크 활용 가짜뉴스 대응

AI 개발 〮 활용 관련 저작권 제도 정비

디지털 재난 및 사이버 위협 〮 범죄 대응

디지털 접근성 제고 〮 대체 수단 확보

• 디지털 포용법 제정

비대면 진료 안정적 시행

연결되지 않을 권리 보호

잊힐 권리 보장

• AI 생성물에 워터마크 표시 의무화 위한 법령 제 〮 개정 • 딥페이크 가짜뉴스 확산 방지를 위한 민〮관 협업 강황

• 저작권법 등 생성형 AI 관련 저작권 제도 정비

• 디지털 안전 통합법 제정 • 데이터 〮 AI 등 사이버 보안 4대 기술 개발 투자 확대

• 의료법 개정 통해 비대면 진료 법적 근거 마련 • 규제 특례 활용 혁신기술 〮 서비스의 비대면 진료 연계 강화

• 스마트쉼센터 연계, 업무 휴식권 교육〮상담 실시

• 아동 청소녀의 잊힐 권리 제도화 추진 및 지원 대상 확대

자료: 과학기술정보통신부

규제를 위한 사회적 합의와 분석적 사고 역량 중요

최근 정치권을 중심으로 가짜뉴스라는 용어가 빈번하게 사용되면서 뉴스의 진실 담보 개념을 퇴색시켜 진실과 거짓의 경계가 모호해지고, 여기에 딥페이크 등 생성형 인공지능 기술까지 가세해 새로운 형태의 허위정보가 생산되고 퍼져나가면서 사회적 혼란이 가중되는 상황이다. 잘못된 정보가 대량으로 빠르게 확산하고 있는데도 권력에 대한 비판 보도, 자신에게 불리한 보도, 단순 오보 등을 모두 가짜뉴스로 통합 규정하고 오남용하는 행위는 결국 언론에 대한 불신과 민주적 소통 위협 등 사회 분열 심화를 불러올 수밖에 없다. 이러한 사회 분위기 속에서 허위정보와 가짜뉴스는 무엇을 의미하는지에 대한 근본 개념부터, 허위정보에 쉽게 속아 넘어가는 이유는 무엇인지, 이로 인한 피해 규모는 얼마나 되는지, 규제책은 어떻게 마련해야 할지 등과 관련한 논의와 사회적 합의 노력이 비중 있게 진행되어야 할 시점이다. 허위정보가 불러일으킬 다양한 문제에 관한 해결 방안을 체계적으로 정리하기 위해서는, 가짜뉴스와 허위정보에 대한 개념 정립을 비롯하여 사회적 용인을 거친 올바른 사용이 전제되어야 한다. 국내외 언론과 학계 전문가들이 가짜뉴스라는 용어의 오남용 금지 또는 대체 용어 사용, 더 나아가 가짜뉴스 용어 폐기까지 주장하는 이유이다. 앞선 논의에서 살펴본 바와 같이, 가짜뉴스는 역사적으로도 뉴스 풍자, 뉴스 패러디, 루머 등 다양한 의미와 유형으로 출현해 왔다. 이에 따라 허위정보 및 가짜뉴스 개념과 활용에 대한 긍정적 효과를 명확하게 인지하지 못하고 남용할 경우, 단순 오보 또는 정치권력 비판 보도를 가짜뉴스로 규정하는 악용 행위가 지속될 수 있고 뉴스 풍자나 패러디가 갖는 표현의 자유와 정치권력 비판 등의 순기능을 저해할 수 있다. 진실과 거짓을 구분할 수 없는 방대한 정보들이 다양한 방식으로 퍼져나갈 것이며, 피해자나 피해 규모를 명확하게 산출할 수 없어 규제나 처벌 수위를 판단하기도 쉽지 않다. 또한, 사회적으로 뉴스를 표방하거나 형식을 갖춘 미디어 플랫폼이 증가하고 있고 인공지능 기술 발전에 따라 언론 보도와 일반 정보 간의 경계도 점차 모호해지는 환경이 조성되고 있어 허위정보에 대한 검증조차 어려운 실정이다. 특히 명확한 정답이 없는 분야에서는 허위성과 고의성을 입증하기 어렵다는 문제, 표현의 자유나 공익의 가치를 고려한다면 허위정보에 대한 규제 방안을 어느 정도까지 규정지어야 할 것인지 등 사회적 합의가 필요한 부분이 상당하다. 글로벌 동향을 살펴보면, 유럽연합의 디지털서비스법, 프랑스의 정보조작대처법, 독일의 네트워크 집행법, 미국의 인공지능 안전성 규제 행정명령에 이르기까지 플랫폼 규제 방안 마련에 대한 목소리도 더욱 커지고 있다. 인공지능 기술이 진화할수록 무분별한 허위정보 공방이 더욱 가열될 수 있어 허위정보와 유해 콘텐츠 폭증에 대한 규제 마련이 절실하지만 규제 방안만으로

안정적인 해결책을 기대하긴 어렵다. 섣부른 규제는 글로벌 기술 경쟁력을 도태시키는 국가적 손실과 부정적 결과를 불러올 수 있기 때문이다. 허위정보의 확산이 불러올 사회적 위험과 폐해를 최소화하기 위해 개개인 스스로 분석적 사고 역량을 키우고 확증편향과 기존 신념의 무비판적 수용을 지양하기 위한 노력이 더욱 중요한 이유이다.

References

최민재·진민정·이현우 (2023). 유럽의 가짜뉴스 대응 정책. 미디어정책리포트, 1-22. 한국언론진흥재단 (2019). 일반 시민들이 생각하는 뉴스와 가짜뉴스. 미디어이슈. 제5권 1호. 황용석·권오성 (2017). 가짜뉴스의 개념화와 규제 수단에 관한 연구: 인터넷서비스사업자의 자율 규제를 중심으로. 언론과 법, 제16권 1호, 53-101. Allcott, H., & Gentzkow, M. (2017). Social media and fake news in the 2016 election. Journal of economic perspectives, 31(2), 211-236. BBC (2024). Taylor Swift deepfakes spark calls in Congress for new legislation. Retrieved 28/01/24 from https://www.bbc.com/news/technology-68110476. Brewer, P. R., Young, D. G., & Morreale, M. (2013). The impact of real news about “fake news”: Intertextual processes and political satire. International Journal of Public Opinion Research, 25(3), 323-343. CNN (2024). Explicit, AI-generated Taylor Swift images spread quickly on social media. Retrieved 25/01/24 from https://edition.cnn.com/2024/01/25/tech/tay­ lor-swift-ai-generated-images/index.html Ditto, P. H., Scepansky, J. A., Munro, G. D., Apanovitch, A. M., & Lockhart, L. K. (1998). Mo­ tivated sensitivity to preference-inconsistent information. Journal of personality and social psychology, 75(1), 53. Garrett, R. K., Nisbet, E. C., & Lynch, E. K. (2013). Undermining the corrective effects of media-based political fact checking? The role of contextual cues and naïve theory. Journal of Communication, 63(4), 617-637. Garrett, R. K., & Weeks, B. E. (2013). The promise and peril of real-time corrections to po­ litical misperceptions. Proceedings of the 2013 conference on Computer supported cooperative work. Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., & Bengio, Y. (2014). Generative adversarial nets. Advances in neural information processing systems, 27. Ireton, C., & Posetti, J. (2018). Journalism, fake news & disinformation: handbook for journalism education and training. Unesco Publishing. Kunda, Z. (1990). The case for motivated reasoning. Psychological Bulletin, 108(3), 480. Lewandowsky, S., Ecker, U. K., Seifert, C. M., Schwarz, N., & Cook, J. (2012). Misinforma­ tion and its correction: Continued influence and successful debiasing. Psychological science in the public interest, 13(3), 106-131. Nyhan B. and Reifler J. (2010). Political Behavior Vol. 32 Issue 2 Pages 303-330. Nyhan, B., Reifler, J., & Ubel, P. A. (2013). The hazards of correcting myths about health care reform. Medical care, 127-132. Silverman, C. (2016). This analysis shows how viral fake election news stories outper­ formed real news on Facebook. BuzzFeed news, 16, 24. Spohr, D. (2017). Fake news and ideological polarization: Filter bubbles and selective exposure on social media. Business information review, 34(3), 150-160. Taber, C. S., & Lodge, M. (2006). Motivated skepticism in the evaluation of political be­ liefs. American journal of political science, 50(3), 755-769.

Tandoc Jr, E. C., Lim, Z. W., & Ling, R. (2018). Defining “fake news” A typology of scholarly definitions. Digital journalism, 6(2), 137-153. Thorson, K., & Wells, C. (2016). Curated flows: A framework for mapping media expo­ sure in the digital age. Communication Theory, 26(3), 309-328. Wardle, C., & Derakhshan, H. (2017). Information disorder: Toward an interdisciplinary framework for research and policymaking, Strasbourg: Council of Europe, 27, 1-107.

KOSAC

KOSAC ISSUE PAPER는 과학기술, 과학문화, 과학융합인재, 과학·수학교육, SW/AI 분야의 주요 이슈를 심층 분석하고 정책 제언을 함으로써, 미래 이슈에 선제적으로 대응하고자 발행하고 있습니다.

※ 본 보고서의 내용은 저자 개인의 의견을 정리한 것으로 한국과학창의재단의 공식 견해와 다를 수 있음을 밝힙니다.

정책기획실 (06130)서울특별시 강남구 테헤란로7길 22, 4~5층(역삼동, 과학기술회관 2관) 기타 추가의견, 정책 제언 등 관련 문의 접수 ㅣe-mail sns@kosac.re.kr