말 하자마자 번역… 동시통역 AI 등장
이병구 동아사이언스 기자
입력 2025-01-17 03:00 수정 2025-01-17 17:22
메타, 고성능 AI 번역모델 공개
101개 언어 인식해 96개 언어로
텍스트 변환 없이 실시간 번역
게티이미지뱅크
101개 언어 음성을 곧바로 음성으로 정확하게 번역하는 인공지능(AI) 모델이 개발됐다.
미국 기업 메타의 심리스(SEAMLESS) 커뮤니케이션팀은 새로운 고성능 AI 번역모델 ‘심리스M4T’를 개발하고 연구 결과를 15일(현지 시간) 국제학술지 ‘네이처’에 공개했다.
현재 AI 번역 시스템은 대부분 텍스트 중심이다. 음성을 음성으로 번역할 때도 보통 음성-텍스트 변환, 텍스트 번역, 텍스트-음성 변환 단계를 거치도록 설계됐다. 중간 단계가 많은 기존 번역 모델들은 없는 내용을 지어내거나 사실을 왜곡하는 ‘AI 환각’이 일어날 가능성이 있다. 의료 분야 등 정확한 소통이 필요한 영역에서는 오역이 큰 피해를 유발한다.
텍스트를 거치지 않고 음성을 바로 음성으로 번역하는 기존 번역 모델은 텍스트 기반 모델보다 변환할 수 있는 언어의 범위가 훨씬 좁았다. 대부분 다른 언어를 영어로 번역하는 데 성능이 집중됐다.
연구팀은 47만 시간 이상의 음성 데이터를 학습시킨 AI 번역 모델 심리스M4T를 개발했다. 음성-음성 번역은 101개 언어를 인식해 36개 언어로, 음성-텍스트 번역은 101개 언어를 인식해 96개 언어로 변환할 수 있다. 텍스트-음성 번역과 텍스트-텍스트 번역도 96개 언어를 인식해 지원한다.
번역 성능 평가 기준인 BLEU 테스트 결과 심리스M4T는 기존 다단계 번역 시스템보다 음성-텍스트 번역은 8%, 음성-음성 번역은 23% 높은 정확도로 언어를 번역했다.
이번 연구 결과는 누구나 비상업적 용도로 활용할 수 있도록 공개됐다. 연구팀은 “심리스M4T는 아직 최적화가 더 필요하지만 언어 장벽을 넘은 소통에 한 걸음 더 나아갈 방법을 제시했다”고 밝혔다.
이병구 동아사이언스 기자 2bottle9@donga.com
101개 언어 인식해 96개 언어로
텍스트 변환 없이 실시간 번역

101개 언어 음성을 곧바로 음성으로 정확하게 번역하는 인공지능(AI) 모델이 개발됐다.
미국 기업 메타의 심리스(SEAMLESS) 커뮤니케이션팀은 새로운 고성능 AI 번역모델 ‘심리스M4T’를 개발하고 연구 결과를 15일(현지 시간) 국제학술지 ‘네이처’에 공개했다.
현재 AI 번역 시스템은 대부분 텍스트 중심이다. 음성을 음성으로 번역할 때도 보통 음성-텍스트 변환, 텍스트 번역, 텍스트-음성 변환 단계를 거치도록 설계됐다. 중간 단계가 많은 기존 번역 모델들은 없는 내용을 지어내거나 사실을 왜곡하는 ‘AI 환각’이 일어날 가능성이 있다. 의료 분야 등 정확한 소통이 필요한 영역에서는 오역이 큰 피해를 유발한다.
텍스트를 거치지 않고 음성을 바로 음성으로 번역하는 기존 번역 모델은 텍스트 기반 모델보다 변환할 수 있는 언어의 범위가 훨씬 좁았다. 대부분 다른 언어를 영어로 번역하는 데 성능이 집중됐다.
연구팀은 47만 시간 이상의 음성 데이터를 학습시킨 AI 번역 모델 심리스M4T를 개발했다. 음성-음성 번역은 101개 언어를 인식해 36개 언어로, 음성-텍스트 번역은 101개 언어를 인식해 96개 언어로 변환할 수 있다. 텍스트-음성 번역과 텍스트-텍스트 번역도 96개 언어를 인식해 지원한다.
번역 성능 평가 기준인 BLEU 테스트 결과 심리스M4T는 기존 다단계 번역 시스템보다 음성-텍스트 번역은 8%, 음성-음성 번역은 23% 높은 정확도로 언어를 번역했다.
이번 연구 결과는 누구나 비상업적 용도로 활용할 수 있도록 공개됐다. 연구팀은 “심리스M4T는 아직 최적화가 더 필요하지만 언어 장벽을 넘은 소통에 한 걸음 더 나아갈 방법을 제시했다”고 밝혔다.
이병구 동아사이언스 기자 2bottle9@donga.com
비즈N 탑기사
- 한양, 평택고덕 패키지형 공모사업 P-2구역 우선협상대상자 선정
- 9000건→3000건→1000건…서울 아파트 ‘거래 가뭄’ 덮쳤다
- 줄지어 놓인 새 학기 교과서들
- 양재웅, 한남 ‘100억대 고급빌라’ 분양…이승기는 105억 전세살이
- 서울 vs 지방 부동산시장 양극화…풍부한 개발호재 갖춘 ‘서울원 아이파크’ 주목
- 구직난 가중…취준생 과반 “어디든 취업만 되면 OK”
- 대우건설, 임직원 자녀 초청 영어캠프 개최
- “올해 소비시장, 생존이 먼저”…불황형 소비 확산
- 서울 빌라·오피스텔 월세↑…새학기 앞둔 대학가 ‘어쩌나’
- 반도건설, 2025년 동절기 현장 임직원 대상 직무교육