사람이 본 장면, AI가 그대로 그려준다

동아일보

입력 2018-01-12 03:00 수정 2018-01-12 03:00

|
폰트
|
뉴스듣기
|
기사공유 | 
  • 페이스북
  • 트위터
日 ATR-교토대 공동 연구진 ‘딥 이미지 리컨스트럭션’ 공개
AI가 기능성자기공명영상에 나타난 뇌 활동 패턴 분석
25개 장면 찍은 사진으로 반복 학습 시켰더니 70% 일치


4일 가미타니 유키야스 일본 교토대 교수가 트위터에 올린 동영상이 화제가 되고 있다. 화면 왼쪽에는 실제 자연을 촬영한 사진이, 오른쪽에는 컴퓨터가 생성한 그림이 나란히 있다. 동영상이 재생되는 동안 오른쪽 그림은 10여 차례 바뀌었고, 뒤로 갈수록 왼쪽 사진과 장면이 점점 비슷해졌다. 가미타니 교수는 “사람이 본 장면을 그려 주는 인공지능”이라고 소개했다.

앞서 지난해 12월 가미타니 교수를 비롯한 일본 국제응용통신연구소(ATR)와 교토대 공동 연구진은 뇌 활동을 읽어 사람이 어떤 장면을 봤는지 그림으로 그려 주는 인공지능 기술을 생명과학 분야 논문초고 등록사이트인 ‘바이오아카이브(bioRxiv)’에 공개했다. 인간의 학습 방식과 유사한 딥러닝(심층 기계학습)을 이용해 사람이 눈으로 봤던 이미지를 복원해 준다는 데서 ‘딥 이미지 리컨스트럭션(reconstruction·복원)’으로 불린다. 인공지능으로 기능성자기공명영상(fMRI)에 나타난 뇌 활동을 분석하는 기술과 딥러닝을 바탕으로 새로운 이미지를 생성하는 기술을 접목한 결과다.

원리는 이렇다. 연구진은 먼저 피험자 3명에게 사진이나 그림, 글자 등 장면을 보여 주고 이때 나타나는 뇌 활동 패턴을 fMRI로 측정했다. fMRI는 뇌를 여러 단면에 걸쳐 촬영하는데 연구진은 각 단면을 구성하는 픽셀(화소) 값들을 디지털 신호로 변환한 뒤 이를 인공지능 심층신경망(DNN)에 입력했다. 그리고 사람이 봤던 장면 사진을 출력 데이터로 했다. 정답을 미리 알려주고 학습하게 한 것이다. 그 결과, 인공지능은 입력 값(뇌 활동 패턴)과 출력 값(사진) 사이의 상관관계를 스스로 학습해 결과적으로 사람이 봤던 것과 유사한 이미지를 생성해 내게 됐다.

연구진은 물 위에 떠 있는 오리, 풀숲의 치타, 도로 옆 전봇대, 하늘에 떠 있는 비행기 등 25개 장면을 찍은 사진을 이용해 인공지능을 학습시켜 정확도를 높였다. 학습 초반에 인공지능이 오리 사진을 본 사람의 뇌 활동 패턴을 읽어 생성한 이미지는 화면상의 색상 구성 정도만 원래 사진과 유사했다. 그러나 반복적인 학습을 거친 뒤에는 생성된 이미지에서 오리의 머리와 부리, 몸, 다리 등이 나타났다.

원래 사진과 생성된 이미지는 공간상의 픽셀 값 분포를 기준으로 평균 70% 일치했다. 인공지능이 생성한 이미지를 보고 사람이 어떤 사물인지 알아맞히도록 했을 때의 정답률은 90% 이상이었다. 이전에도 이와 유사한 인공지능이 개발된 적은 있지만, 대부분 저화질이어서 형체를 알아보기가 어려웠다.

실물 사진을 이용해 학습하긴 했지만 훈련 뒤에는 사람이 본 그림이나 글자 등도 복원할 수 있었다. ‘ATR’ 같은 알파벳으로 테스트했을 때는 인공지능이 생성한 이미지를 보고 정확하게 무슨 글자인지 알아낼 확률이 최대 99.1%까지 높아졌다. 논문의 제1저자인 선궈화 ATR 신경정보학과 연구원은 “데이터베이스(DB)가 있고 그 안에서 컴퓨터가 비슷한 이미지를 찾는 것과는 차원이 다르다”며 “인공지능이 이미지를 직접 생성하는 것이니 어떤 장면이든 복원이 가능한 셈”이라고 설명했다.

다만 사람이 어떤 사진을 본 뒤에 시간이 지나 그 장면을 기억해 떠올릴 때는 인공지능도 사진 속 이미지를 정확하게 복원해 내지 못했다. 선 연구원은 “사람이 무언가를 연상할 때는 주관적으로 이미지를 재해석하게 되는데, 이런 특징이 인공지능에서도 나타난 것”이라고 설명했다.

아직은 초기 단계지만 이처럼 인공지능이 사람의 생각을 읽어 이미지로 표현해 줄 수 있게 되면 말로 설명하기 어려운 장면을 이미지로 표현하거나 신체마비 환자들이 쉽게 의사표현을 할 수 있도록 돕는 데 활용할 수 있다. 먼 미래에는 장면 기억을 메모리 칩에 저장해 뒀다가 언제든 꺼내 보는 영화 같은 일이 현실이 될 수도 있다. 가미타니 교수는 “인공지능으로 뇌파를 읽어 알파벳을 쓸 수 있도록 해 주는 기술이나 신체마비 환자가 팔다리를 움직일 수 있게 해 주는 ‘뇌-컴퓨터 인터페이스(BCI)’ 기술과 함께 딥 이미지 리컨스트럭션은 우리의 대리인 역할을 수행하게 될 것”이라고 말했다.
 
송경은 동아사이언스 기자 kyungeun@donga.com

라이프



모바일 버전 보기