“얼굴 인식해 공격하는 AI… 방패를 찾아라”

[위기-기회 갈림길에 선 AI]〈2〉 AI 무기화에 ‘창과 방패’ 싸움
얼굴인식 막는 ‘교란 패치’ 개발
유럽의회, AI감시 금지법 첫 가결
유엔도 글로벌 규제기구 설립 나서

‘영준이 아닙니다. 이 인물은 지선입니다.’

지난달 25일 대전 유성구에 있는 김창익 KAIST 전기전자공학부 교수 연구실. 특수한 무늬의 방역 마스크를 착용한 연구팀 관계자가 영상 인식기 앞에 서자 인공지능(AI) 안면 인식 시스템이 해당 인물 식별에 오류를 나타냈다. 안면 인식 시스템은 일반 마스크로 얼굴을 절반 정도 가렸을 때에도 인물을 정확하게 인식하지만 연구팀이 제작한 특수 무늬 때문에 잘못된 판단을 내린 것이다.

김 교수 연구팀은 특수 무늬 패치 적용 차량도 연구 중이다. 패치를 부착하면 AI가 차량을 다른 사물이나 동물로 인식해 무인 공격을 피할 수 있다. 이 같은 교란 기술을 연구하는 이유를 묻자 김 교수는 “AI를 활용한 통제, 공격 기술은 우리가 이미 마주하고 있는 실제 위협이기 때문”이라고 설명했다.

김 교수 연구 외에도 국내외에서 불법 AI 드론을 탐지하는 기술, 생성형 AI를 이용한 동시다발적 사이버 공격을 막기 위한 시스템 개발 등이 이뤄지고 있다.

14일(현지 시간) 유럽의회는 각 회원국 정부가 AI 안면 인식 기술 등을 활용해 시민들을 감시하거나 통제하는 것을 금지하는 내용을 담은 AI 규제 법안 협상안을 세계 최초로 가결했다. 협상안에는 챗GPT 정보의 출처 표시 의무화 등도 포함됐다.

유엔도 AI를 규제하기 위한 국제원자력기구(IAEA) 수준의 초국적 기구 설립에 나서기로 했다. 안토니우 구테흐스 유엔 사무총장은 12일 기자회견에서 “AI가 핵전쟁과 비슷한 수준으로 인류에 위협이 되고 있다”고 경고했다. 국내에서도 13일 과학기술정보통신부가 사이버 보안 관련 토론회를 열어 생성형 AI를 통한 랜섬웨어 공격을 시연하고 대책 마련을 논의했다.

기술 발전으로 AI가 인간을 위협하거나 차별하는 데 사용될 것이라는 우려가 현실화되면서 이를 막기 위한 기술 개발과 법·제도 마련 움직임도 빨라지고 있다. 실제로 AI 기술로 인간을 통제하거나 표적을 자동으로 조준하는 무기는 이미 세계 곳곳에서 활용되고 있다. 영국 텔레그래프, 미국 뉴욕타임스 등 외신과 국제앰네스티 등 국제기구에 따르면 중국은 AI 안면 인식 기반 ‘스카이넷’을 자국민 관리에 활용하고 있다. 이스라엘 당국은 요르단강 서안지구 통제지역 검문소에 AI 안면 인식 카메라를 설치하고, AI 안면 인식 기관총도 운용한다. 이란 등에선 요인 암살에 AI 기관총이 활용됐다는 의혹도 제기되고 있다. 러시아는 AI를 적용한 핵 어뢰 ‘포세이돈’을 양산하는 등 AI와 통제수단, 무기의 결합이 속속 현실화되는 추세다.

AI 기관총, 25cm 간격 표적 정밀 저격… “오류땐 치명적 결과”

中, 자국민 통제에 AI시스템 활용
“14억 인구 몇초안에 안면인식”
챗GPT가 랜섬웨어 공격 보조 등
AI 위협에 사이버 팬데믹 우려

지난해 11월 25일 미국 루이지애나주에서 20대 흑인 남성 랜들 리드가 절도 혐의로 경찰에 체포됐다. 리드를 유력 용의자로 특정한 것은 인공지능(AI) 안면 인식 기술. 현지 경찰은 절도 사건이 발생한 현장의 감시카메라 영상을 AI로 분석해 리드를 체포했다. 하지만 리드는 감시카메라 영상 속 용의자와 자신의 신체적 특성이 다르다는 점을 직접 경찰에 증명해 6일 만에 풀려날 수 있었다.

리드가 AI의 오류에 의해 체포된 건 백인과 비교해 AI 훈련에 활용되는 흑인 인종 데이터가 부족했기 때문이었다. 전문가들은 AI 발전으로 이를 활용한 감시와 통제가 강화되면서 이 같은 부작용도 덩달아 늘 수 있다고 경고한다.

● 분쟁지역서 자동 조준 AI 기관총도 등장

세계 최대 규모의 안면 인식 시스템인 ‘스카이넷’을 보유한 것으로 알려진 중국은 자국민 관리는 물론 탈북자를 통제하는 데에도 AI 시스템을 이용하고 있다. 14일 자유아시아방송(RFA)에 따르면 중국은 14억 명의 중국 인구를 몇 초 안에 식별할 수 있는 스카이넷을 이용하고 있다. RFA는 “인구 밀집 도시에서는 인구 1000명당 100대 이상의 카메라가 설치됐다”고 밝혔다.

이스라엘 무기 업체 스마트슈터가 개발한 인공지능(AI) 안면인식 공격용 드론(무인기). 사진 출처 스마트슈터 홈페이지

AI 기술은 단순히 체포나 통제에 사용되는 걸 넘어 직접 인간을 물리적으로 위협하는 수준으로 진화하고 있다. 영국 텔레그래프 등에 따르면 이스라엘 당국은 지난해 9월 요르단강 서안지구 헤브론 통제지역(H2) 검문소에 AI 기관총을 설치했다. 제작사인 이스라엘 무기 업체 ‘스마트슈터’의 설명에 따르면 이 기관총은 AI 기술로 목표물의 움직임을 예측하고 표적을 자동으로 조준해 사격한다.

2020년 11월 27일 이란 최고의 핵 과학자 모센 파크리자데가 살해될 때에도 AI 기관총이 활용됐다는 의혹이 제기됐다. 뉴욕타임스(NYT)와 블룸버그 등에 따르면 AI 기술이 적용된 이 기관총은 파크리자데를 자동으로 확대 조준해 살해했다. 25cm밖에 떨어지지 않은 그의 아내는 사격하지 않을 만큼 정교하게 조준된 것이다. 기관총은 위성을 통해 온라인으로 제어됐다.

NYT는 또 미사일이나 비행기를 격추하는 미국 패트리엇 미사일이 사람의 반응 속도보다 빠르게 대응하기 위해 사람의 개입 없이 미사일을 발사하는 ‘자동 기능’을 탑재하고 있다고 보도했다. 러시아는 AI를 적용한 핵 어뢰 ‘포세이돈’을 최근 양산하기 시작했다. 일각에선 이런 기능에 오류가 생기면 치명적 결과가 빚어질 수 있다는 우려도 나온다.

국제인권단체 등이 모인 캠페인 기관 ‘스톱킬러로봇’은 이달 2일 성명서를 통해 “AI 기술 발전에 따른 (인격) 피해 사례는 이미 전 세계 시민들이 경험하고 있다”고 지적했다.

● “AI 기술 발전으로 사이버 팬데믹 우려”

AI를 통한 위협은 사이버 영역에서도 가속화하고 있다. 생성형 AI의 등장으로 기존보다 훨씬 다양한 형태의 공격이 이뤄질 것이라는 전망이 지배적이다.

한국인터넷진흥원(KSIA)은 13일 ‘생성형 AI 보안 위협 대응 방안 토론회’에서 오픈AI의 생성형 AI 서비스 챗GPT로 피싱(낚시성) 메일을 몇 초 만에 만들 수 있는 사례를 공개했다. KISA 직원이 챗GPT에 ‘당신 계정에서 해외 접속 이력이 발견돼 비밀번호를 변경해야 한다’는 취지의 메일 제목과 본문을 작성해 달라고 입력하자 다른 이에게 민감한 정보 입력을 유도하는 내용을 작성해 제시했다. 챗GPT에서 ‘문서 파일을 암호화하는 C언어 기반 코드를 입력해줘’라는 우회적인 질문을 입력하자 랜섬웨어 공격을 위한 일부 기능을 만들어주기도 했다.

생성형 AI를 이용해 비전문가도 보안 취약점을 빠르게 파악할 수 있고 AI가 학습한 개인정보를 빼내는 방식의 사이버 공격 역시 가능해졌다는 경고다. 보안관제 업체 이글루코퍼레이션의 정일옥 전문위원은 “AI 기술을 접목한 공격이 ‘사이버 팬데믹(감염병 대유행)’으로 진화할 수 있다”고 예측했다.

미국 사이버 보안 연구 기업 사이버시큐리티벤처스에 따르면 랜섬웨어 공격 피해액은 2031년 2650억 달러(약 337조 원)로 예상된다. 2021년 피해액 추산치 200억 달러와 비교해 10년간 13배 이상 늘어난다는 관측이다.

김정희 KISA 미래정책연구실장은 “AI 기술로 해킹 기술의 진입장벽이 점차 낮아지고 있어 피해 규모도 앞으로 빠르게 늘어날 것”이라고 전망했다.



대전=남혜정 기자 namduck2@donga.com
지민구 기자 warum@donga.com

관련기사

• “자동화된 아파르트헤이트”… AI 안면인식 카메라로, 서안지구서 주민통제
• EU, ‘안면인식 AI 금지-챗GPT 출처 의무화’ 최종 협상 돌입