전체 맥락 풀이에는 구글이 우세, 최신 유행어 번역엔 네이버 정확

네이버-구글 인공지능 번역 비교해보니… 최악 수능 영어문제 둘 다 고전

19일 정식으로 출시된 네이버의 인공지능(AI) 번역 서비스 ‘파파고’가 글로벌 AI번역 시장을 장악한 구글을 뛰어넘을 수 있을까.

동아일보가 구글과 네이버의 AI 번역 기능을 비교하기 위해 대학수학능력시험과 토익 시험 지문, 유행어 번역을 맡긴 결과 양사 간 차이가 뚜렷하게 나타났다. TV 예능 프로그램을 보면서 언어를 학습한 파파고는 연예인들의 유행어를 꿰고 있었지만 수능 문제 풀이에선 다소 고전했다.

첫 대결은 수능. 역대급 ‘불수능 문제’로 꼽히는 2014학년도 외국어영역 B형 35번 지문에 대한 번역을 비교했다. 당시 정답률이 14%에 불과한 이 문제에서 구글과 파파고 모두 고전했다. ‘But those fruits are ambivalent’(그러나 성과는 양면성을 갖습니다)라는 문장을 파파고(‘그러나 그 과일들은 양면성이 있다’)와 구글(‘그러나 그 과일들은 모호하다’) 모두 제대로 번역하지 못했다.

앞 문장과 이어지는 문장을 생각하면 ‘과일(fruits)’은 상징적인 의미로 쓰였지만 둘 다 이를 간파하지 못했다. 노량진 대성학원의 윤종인 영어강사는 “학점으로 치면 C, D학점에 불과하다”고 말했다. 그러나 맥락 풀이는 구글이 낫다는 게 윤 강사의 설명이다. 그는 “파파고가 문장 하나하나에 집중한다면, 구글은 전체적인 맥락을 풀이했다”고 설명했다.

두 번째는 토익. 스마트시계의 주의사항 풀이를 보고 토익강사 김대균 김대균어학원 원장은 “두 서비스 모두 95% 이상 의미가 전달됐다”고 평가했다. 파파고가 ‘It may be difficult for some users to do’를 ‘일부 사용자는 어려울 수 있다’라고 풀이한 것을 두고 ‘깔끔한 번역’이라고 말했다. 구글은 ‘일부 사용자가 하기가 어려울 수 있습니다’라고 번역했다. 김 원장은 “구글 해석엔 다소 어색한 부분도 있으나 글의 전체 취지는 알고 있는 것”이라고 설명했다. 토익 문항은 정형화된 문법을 쓰고 비유가 없는 지문이 많기 때문에 두 서비스 모두 일정 수준의 번역 품질을 나타낸 것으로 풀이된다.

마지막 대결은 유행어 대결. ‘아주 칭찬해’처럼 어색한 결합이지만 한국인이라면 직관적으로 이해할 수 있는 유행어를 파파고는 ‘Great job’이라고 정확하게 전달했다. ‘그 친구는 훈남이야’라는 문장도 파파고(He is handsome)가 구글(He is a man)보다 매끄럽게 번역했다. 이는 네이버 파파고가 글로벌 예능방송 애플리케이션 V앱과 웹툰, 댓글 등도 학습자료로 활용하고 있기 때문이다. 네이버는 한류 콘텐츠와 연계할 경우 파파고의 파급력이 더 커질 것으로 보고 한류가 확산된 아시아에서 보급을 확대할 계획이다.

한편 현재 음성인식 기술을 바탕으로 음성과 문자 간 순차 통역서비스를 제공하는 파파고는 음성 학습데이터를 많이 축적하고 인식도를 높이는 작업을 진행 중이라고 네이버 측은 밝혔다.

임현석 기자 lhs@donga.com