기자가 입력하자 10초 만에 가짜 생성… 1분짜리 녹음 파일로 음성 복제도 가능

“미국 남성 팝스타가 서울 광화문광장에서 공연하고 있다.”

기자가 6월 13일 오픈AI의 이미지 생성형 인공지능(AI) ‘달리2(DALL·E 2)’에 이 문장을 입력하자 10초 만에 가짜 이미지들이 만들어졌다. 그중 한 사진에는 팝스타 저스틴 비버와 비슷해 보이는 가수가 마이크를 들고 있고, 무대 맞은편으로는 언젠가 광화문 사거리에서 본 듯한 북한산 능선이 보였다. 자세히 들여다보면 이미 철거된 세월호 천막이나 광화문에 존재하지 않는 건물이 포함돼 있는 등 어설픈 부분도 적잖았다. 하지만 이미지를 더 정교하게 보정하고 ‘[속보] 저스틴 비버, 서울 광화문광장에서 깜짝 무료 공연 선보여…’ 같은 뉴스 자막까지 단다면 더 그럴듯한 가짜뉴스가 될 것 같았다.

또 다른 가짜 이미지도 어렵지 않게 생성할 수 있었다. 달리2에 “서울 경복궁에 화재가 발생해 소방대원들이 진압에 나섰다”는 문장을 넣으니 이번에도 수 초 만에 요구사항에 부합하는 이미지를 내놓았다. 이들 사진에는 소방대원이 기와지붕에 올라가 있거나 소방차가 경복궁 쪽으로 물을 뿌리는 등 그럴 듯한 장면들이 포함됐다. 경복궁이 불타는 모습은 2008년 남대문(숭례문) 화재 당시 보도 사진과 비슷한 느낌이었다.

생성형 AI가 일상으로 들어오면서 이를 활용해 만든 가짜뉴스가 국가 안전과 사회적 신뢰, 민주주의에 큰 도전이 되고 있다. 거짓에 기반한 이미지, 음성, 영상 등을 AI로 손쉽게 조작할 수 있게 되면서다. 현재 달리2는 유명인이나 정치·사회적으로 첨예한 사안에 관해서는 이미지를 생성해주지 않는다. 하지만 달리2로 ‘미국 남성 팝스타’ 같은 이미지를 만들어 소셜네트워크서비스(SNS)에 업로드하면 그것을 사실로 믿는 사람들이 광화문광장으로 몰릴 개연성이 커 보인다. 경찰력이 배치되지 않은 상황에서 안전사고가 발생할 가능성도 배제할 수 없다. 전문가들은 “아직 초기 수준에 불과한 생성형 AI 기술이 발전함에 따라 가짜뉴스가 기하급수적으로 늘어날 것이고 국가 전체를 위기에 빠뜨릴 수 있다”고 경고한다.

미국에서는 5월 22일(현지 시간) 트위터를 통해 미국 국방부(펜타곤) 옆 건물이 불타고 있는 가짜 이미지가 급속도로 퍼져 증시가 출렁였다. AI가 만든 이 이미지 속 건물은 펜타곤과 생김새부터 다르지만 전체적인 분위기가 9·11 테러를 연상케 하며 많은 사람을 공포에 휩싸이게 했다. 그 결과 이날 오전 9시 30분쯤 미국 S&P500 지수가 0.3%가량 급락했다. 미국 국방부가 “조작된 사진”이라고 공식 확인하면서 사태가 일단락되긴 했지만 AI의 역기능을 상징적으로 보여준 사건이었다.

AI로 조작한 허위·날조 정보는 선거판을 뒤흔들 조짐도 보이고 있다. 내년 11월 대선을 앞둔 미국에서는 최근 AI로 만든 정치 관련 가짜뉴스가 다수 유포되고 있다. 도널드 트럼프 전 대통령과 앤서니 파우치 전 국립 알레르기·전염병연구소장이 친밀하게 스킨십하는 조작 이미지가 6월 6일(현지 시간) 온라인상에 퍼진 게 그중 하나다. 그보다 앞선 5월에는 앤더슨 쿠퍼 CNN 앵커가 조 바이든 대통령을 비난하는 내용의 음성 복제 영상이 등장했다. 3월에는 트럼프 전 대통령이 경찰에 쫓기다 수갑을 차고 연행되는 가짜 이미지가 트위터에 번져 혼란을 야기했다.


AI가 생성한 가짜뉴스가 유통되는 웹사이트 수도 크게 늘고 있다. 미국 비영리단체 ‘뉴스가드(NewsGuard)’에 따르면 6월 12일(현지 시간) 기준 미국에 ‘신뢰할 수 없는 AI 생성 뉴스’ 웹사이트가 166개 존재했다. 5월 1일 첫 조사에서 49개로 나타났으나 약 한 달 보름 만에 238% 증가한 것이다. 영향력도 컸다. 그중에는 10만 명 넘는 SNS 계정 팔로어를 보유한 웹사이트도 여러 곳이었다. 스티븐 브릴 뉴스가드 공동 최고경영자(CEO)는 6월 8일 “AI 발달로 이런 웹사이트를 제작하는 데 드는 비용이 훨씬 적고 (가짜뉴스를) 더 많이 생산할 수 있게 됐다”고 말했다.

AI 등장으로 가짜뉴스를 만들 수 있는 기술에 대한 진입장벽이 낮아졌다는 점이 가장 큰 문제로 꼽힌다. 정교함이 생명인 음성, 영상 생성형 AI도 시중에서 어렵지 않게 찾아볼 수 있는데, 음성 생성형 AI 일레븐랩스(Elevenlabs)가 그중 하나다. 6월 14일 기자의 목소리를 1분가량 녹음한 파일을 업로드하자 일레븐랩스는 곧바로 복제 음성을 만들었다. 지인과 전화통화 중 “여보세요” “오늘 저녁에 뭐 해?” 같은 문장을 기자가 아닌 이 복제 음성이 읽도록 했는데, 지인들은 별다른 의심을 하지 않았다.

이 같은 AI 기술의 진화는 현재진행형이다. 올해 초 마이크로소프트(MS)는 3초 분량의 녹음 파일로 목소리를 복제할 수 있는 AI ‘발리(VALL-E)’를 출시했다.

세계 각국 및 국제사회는 최근 AI 규제에 시동을 걸었다. 안토니우 구테흐스 유엔 사무총장은 6월 12일(현지 시간) 기자회견에서 “허위 정보와 증오의 확산, AI 발전에 따른 위협이 통제할 수 없는 ‘괴물’이 될 수 있다”며 “국제원자력기구(IAEA) 같은 새로운 AI 기구를 우리가 보유할 수 있다는 생각에 동의한다”고 밝혔다. 1957년 설립된 IAEA는 핵확산금지조약(NPT)에 근거, 세계 각국의 원자력 사용을 규제할 권한을 지닌 유엔 산하 기구다. 6월 초에는 미국과 유럽연합(EU)이 AI 악용 행위를 막기 위한 가이드라인인 ‘자발적 AI 행동강령’ 마련에 공동으로 착수했다. 챗GPT를 만든 샘 올트먼 오픈AI CEO도 5월 16일(현지 시간) 미국 상원 AI 관련 청문회에 참석해 “AI를 통한 가짜뉴스 확산은 가장 경계해야 할 부분”이라며 “내년 미국 대선 전까지 이에 대한 규제가 마련돼야 한다”고 우려했다.


국내도 안전지대는 아니다. 이미 생성형 AI가 활발하게 사용되고 있는 데다, 내년 4월 예정된 총선 전후로 AI를 만든 가짜뉴스가 폭발적으로 늘 수 있기 때문이다. 현재 국회 및 정부 기관은 관련 규제를 논의하고 있다. 더불어민주당 이상헌 의원은 5월 22일 AI을 이용해 제작한 콘텐츠는 그 표시를 의무화하자는 내용의 ‘콘텐츠산업 진흥법 개정안’을 대표 발의했다. 국민의힘 송석준 의원은 AI를 이용한 프로그램으로 여론조사를 조작해 선거운동 등에 활용하는 행위를 금지하는 ‘공직선거법 개정안’을 6월 12일 대표 발의했다. 국가정보원도 6월 11일 “생성형 AI 활용 과정에서 발생할 수 있는 가짜뉴스 생성 등 보안 문제를 사전에 예방할 가이드라인을 수립 중”이라며 “이달 말 공공기관과 지방자치단체에 배포할 것”이라고 밝혔다.

전문가들은 AI 악용 규제가 시행착오를 거듭할 수밖에 없다고 전망한다. 이성엽 고려대 기술경영대학원 교수는 “기존 가짜뉴스도 팩트체크 등의 대책으로 완전히 해결되지 않은 상황에 AI가 기름을 붓고 있는 격”이라며 “AI로 가짜뉴스를 생성하는 행위를 처벌할 법적 근거를 마련하는 게 급선무지만, 그것으로 모든 게 해결될 것이라고 얘기하기도 어렵다”고 말했다. 권태경 연세대 정보대학원 교수는 “AI로 만든 콘텐츠라고 워터마크를 삽입한다 해도 그것을 제거하는 AI가 또 존재하는 현실”이라며 “AI 악용에 대응할 수 있는 선제적인 시스템을 구축해야 하지만, PC가 등장한 지 수십 년이 됐는데도 여전히 해킹 범죄가 일어나는 것처럼 AI 규제도 피하려는 자와 막는 자 간 시소게임이 불가피해 보인다”고 설명했다.


*유튜브와 포털에서 각각 ‘매거진동아’와 ‘투벤저스’를 검색해 팔로잉하시면 기사 외에도 동영상 등 다채로운 투자 정보를 만나보실 수 있습니다.


〈이 기사는 주간동아 1394호에 실렸습니다〉



이슬아 기자 island@donga.com