말 하자마자 번역… 동시통역 AI 등장

메타, 고성능 AI 번역모델 공개
101개 언어 인식해 96개 언어로
텍스트 변환 없이 실시간 번역

게티이미지뱅크

101개 언어 음성을 곧바로 음성으로 정확하게 번역하는 인공지능(AI) 모델이 개발됐다.

미국 기업 메타의 심리스(SEAMLESS) 커뮤니케이션팀은 새로운 고성능 AI 번역모델 ‘심리스M4T’를 개발하고 연구 결과를 15일(현지 시간) 국제학술지 ‘네이처’에 공개했다.

현재 AI 번역 시스템은 대부분 텍스트 중심이다. 음성을 음성으로 번역할 때도 보통 음성-텍스트 변환, 텍스트 번역, 텍스트-음성 변환 단계를 거치도록 설계됐다. 중간 단계가 많은 기존 번역 모델들은 없는 내용을 지어내거나 사실을 왜곡하는 ‘AI 환각’이 일어날 가능성이 있다. 의료 분야 등 정확한 소통이 필요한 영역에서는 오역이 큰 피해를 유발한다.

텍스트를 거치지 않고 음성을 바로 음성으로 번역하는 기존 번역 모델은 텍스트 기반 모델보다 변환할 수 있는 언어의 범위가 훨씬 좁았다. 대부분 다른 언어를 영어로 번역하는 데 성능이 집중됐다.

연구팀은 47만 시간 이상의 음성 데이터를 학습시킨 AI 번역 모델 심리스M4T를 개발했다. 음성-음성 번역은 101개 언어를 인식해 36개 언어로, 음성-텍스트 번역은 101개 언어를 인식해 96개 언어로 변환할 수 있다. 텍스트-음성 번역과 텍스트-텍스트 번역도 96개 언어를 인식해 지원한다.

번역 성능 평가 기준인 BLEU 테스트 결과 심리스M4T는 기존 다단계 번역 시스템보다 음성-텍스트 번역은 8%, 음성-음성 번역은 23% 높은 정확도로 언어를 번역했다.

이번 연구 결과는 누구나 비상업적 용도로 활용할 수 있도록 공개됐다. 연구팀은 “심리스M4T는 아직 최적화가 더 필요하지만 언어 장벽을 넘은 소통에 한 걸음 더 나아갈 방법을 제시했다”고 밝혔다.


이병구 동아사이언스 기자 2bottle9@donga.com