―대표님의 유년 시절이 궁금합니다.

강화군 아차도라는 작은 섬에서 유년 시절을 보냈어요. 그때 집에 있는 라디오를 정말 많이 들었어요. 라디오에서 흘러나오는 빌리지 피플의 ‘YMCA’같은 팝송 가사를 한글로 적어 따라 부르곤 했죠. 중학생 때 아버지가 전축, 왬!(Wham!)과 마돈나의 카세트테이프를 사주셨어요. 그때부터 본격적으로 팝에 빠져서 고등학교, 재수, 대학교 시절 밴드 활동도 했습니다. 하지만 음악을 업으로 삼을 생각은 못 했어요. 공학자적 기질도 다분했거든요. 집에 있는 전자제품을 모조리 분해한 뒤 재조립하길 즐겼고, 트랜지스터 라디오를 만드는 경진대회에서 상도 받았어요. 공학이 좋아서 대학 전공으로 전기전자공학을 택했죠.


―‘음악을 좋아하는 공학도’셨네요. 음악과 공학, 두 관심사는 어떻게 융합됐나요?

저는 록 음악을 가장 좋아해요. 백두산, 부활 등 한국의 메탈 밴드들이 나오기 시작하면서 그들의 음악을 들어봤는데 영미권 밴드 음악과 소리 자체가 굉장히 다른 겁니다. 가창이나 연주 실력의 문제는 아니었어요. 소리 자체가 빈 느낌이었죠. 실력은 비슷한데 결과물에서 차이가 나는 건 과정의 문제잖아요. 레코딩과 마스터링, 믹싱을 얼마나 정교하게 잘하느냐가 중요하다는 걸 깨달은 뒤 음악에 접목할 수 있는 기술을 제대로 배워보기로 했습니다.

빠르게 돌아가는 팽이는 누가 툭 쳐도 무너지지 않아요

―2009년 서울대 교수를 맡으면서 본격적으로 ‘가창 합성 기술’에 뛰어드셨네요.

당시에는 입력된 텍스트를 컴퓨터가 읽어주는 기술인 TTS가 가장 인기 있었습니다. 시각장애인 정보 전달, 오디오북 등 접목할 수 있는 분야가 많아 빠르게 개발이 이뤄지고 있었죠. 하지만 전 말하는 기술엔 관심이 가질 않았습니다. 워낙 많은 사람이 뛰어든 분야라 그 시장에 들어가면 저도 ‘고인물’이 될 것 같았어요. 아예 새로운 영역을 탐구하고 싶었습니다.
음성은 음악을 구성하는 중요한 요소이기에 자연스럽게 목소리에 관심이 갔습니다. 당시 한국 음성 합성 기술은 일본, 미국에 비해 현저히 뒤처져 있었어요. 컴퓨터로 트럼펫, 베이스, 피아노 등 모든 악기를 연주를 할 수 있는 1인 창작 시대는 진즉 왔는데, 노래하는 목소리는 제대로 구현하지 못했죠. 일본 야마하가 선보인 음성 합성 프로그램 ‘보컬로이드’가 주목받던 시점이라 ‘한국에선 우리가 나서보자’ 싶었습니다. 경쟁 기업이랄 것도 없었습니다.


―주목받지 못하던 기술에 일찌감치 뛰어들어 한 우물만 파셨는데요. 그 원동력은 뭔가요?

‘내가 원하는 걸 계속한다’는 내면의 관성이 강하게 있어요. 돌아가는 팽이를 누가 옆에서 툭 치면 금방 풀어지고 빙글빙글 돌잖아요. 그런데 아주 빠르게 돌아가고 있는 팽이는 구심점이 있기 때문에 잘 풀어지지 않아요. 제겐 확고한 구심점이 있었고, 그걸 중심으로 빠르게 돌고 있었기에 주변의 유혹에 흔들리지 않을 수 있었어요. 내가 재밌는 걸 열심히 하면 일정 수준에는 도달할 것이라는 생각으로 한 우물만 판 게 지금의 저를 만들었다고 생각해요. 가만히 있는 것도 관성이지만 계속 움직이려는 것도 관성이니까요.

어느 기업이 진짜 사람 목소리와 더 비슷하게 만드느냐가 성패를 가를 겁니다.

―그렇게 2020년 수퍼톤을 창업하신 거군요.

2009년 서울대 교수 부임 이래 음악오디오연구실을 이끌면서 음성과 음악을 만드는 AI 기술을 연구하기 시작했습니다. 이 분야가 시장성이 있겠다고 판단해 연구실 사람들 3명, CTO와 COO를 영입해 총 6명이 함께 창업을 했습니다. 교수 생활 11년 만이었네요.
저희의 핵심 기술은 파운데이션 모델 ‘낸시’(NANSY, Neural Analysis And Synthesis)입니다. 음색, 발음, 음높이, 강세 등 4가지 음성 요소들을 분리하고 재합성해 높은 품질의 음성을 만들 수 있습니다. 파운데이션 모델은 말 그대로 모든 것의 ‘토대’가 되는 모델입니다. 챗GPT의 기반인 GPT(Generative Pre-trained Transformer)도 파운데이션 모델입니다. 광범위한 데이터에 대해 훈련된 딥 러닝 모델이라 수많은 사례에 사용이 가능합니다. 파운데이션 모델을 직접 개발하는 기업은 많지 않습니다. 엄청난 기술력을 요하거든요. 저희는 초기부터 음성 파운데이션 모델을 개발했고, 정교하게 버전을 업그레이드해 왔습니다. 야마하를 비롯해 많은 관련 기업들보다 1년 이상 기술력이 앞서 있다고 봅니다. 2019년 가장 크고 권위 있는 음성국제학회에서 야마하를 제치고 저희가 최우수논문상을 받았습니다.


―4월에는 말하는 즉시 사용자가 선택한 캐릭터의 목소리로 실시간 송출하는 서비스 ‘시프트’를 선보였습니다.

가창 합성에서 시작했지만 음성에 대한 시장의 요구도 커져서 음성 합성 기술도 개발하고 있습니다. 기술 개발에 앞서 포커스 그룹 인터뷰와 시장 조사를 하면서 수요를 봤습니다. 버추얼 유튜버, 스트리머 시장이 급성장하고 있거든요. 실시간으로 팬들, 구독자들과 소통할 때 자아를 다양한 방법으로 표현하고 싶거나, 익명으로 활동하고 싶은 니즈가 굉장히 커요. 가창 합성은 음역대가 넓고 섬세한 표현이 중요해 음성 합성에 있어 중요한 토대가 됐습니다. 목소리를 변조하는 수준으로 바꿔주는 기술은 있었지만, 다른 자아가 말하는 듯한 높은 품질의 음성 변환 기술은 없었거든요.

―시프트 개발에 있어 어려웠던 부분은 뭔가요?

시프트는 빠르게 변환된다는 뜻입니다. 서비스 이름대로 가장 신경 쓴 부분은 지연시간을 줄이는 것이었습니다. 화상회의를 할 때 지연시간이 길면 소통이 아예 안 되듯, 팬과 실시간으로 소통하는데 사용되는 서비스이기 때문에 지연시간이 길어지는 걸 허용할 수 없었습니다. 기존에 있는 툴은 지연시간이 1초에 가깝습니다. 저흰 이걸 47밀리 세컨드(0.047초, 밀리세컨드는 1000분의 1초)까지 줄였어요. 그렇다고 변환되는 목소리의 퀄리티를 떨어뜨릴 순 없어요. 지연시간은 줄이면서 품질은 유지할 수 있는, 최적화된 지점을 찾기 위해 8개월을 매달려 개발했어요.


―챗GPT를 만든 미국 기업 오픈AI도 보이스 엔진이라는 유사한 기술을 선보였는데요(악용 우려로 공개하지는 않고 있다). 경쟁 기업과의 차별점은 무엇이라고 보시나요?

굉장히 섬세하고 디테일한 음성표현이 가능하다는 게 저희 차별점입니다. 음성 합성도 가창 합성만큼이나 까다롭고 어렵습니다. 노래에는 작곡가의 기본적인 의도가 있지만 말하는 것에는 따를 수 있는 틀이 없거든요. 화날 때 목소리가 커질 수도, 더듬거나 가라앉을 수도 있어요. 말하는 방식에 있어서 개개인이 각자 목소리의 마스터죠. 단순히 빠르고 큰 목소리 데이터로만 학습시킨 알고리즘으로 화난 연기를 하게 하면 굉장히 어색하고 지루하게 느껴져요. 어느 기업이 더 진짜 사람 목소리같이 만드느냐, 즉 사용자가 자연스럽게 받아들이고, 더 나아가 감동도 할 수 있는 수준의 음성을 구현하는 게 핵심적인 차별점이 될 겁니다.

귀가 어마어마하게 예민한 오디오 엔지니어를 만족시키는 소프트웨어를 만들었다는 것에 보람을 느낍니다

―음성과 가창 합성 AI 기술이 앞으로 어떻게 활용되길 바라세요?

음성 합성 기술도 딥 페이크의 우려에서 벗어나기 어렵기 때문에 기술을 선하게 활용할 수 있는 방안을 늘 고민합니다. 장애가 있는 뮤지션이 노래할 수 있게 돕고, 세상을 떠난 가수의 목소리로 신곡을 녹음할 수도 있습니다. 이건 결국 창작자의 한계를 허물어주는 일입니다. 회사에 음악을 사랑하는 직원들이 많습니다. 앨범을 냈거나 밴드를 하는 분도 있어요. 창작자가 돼 봤기에, 창작자를 누구보다 잘 이해합니다. 창작자가 기술적 한계로 표현하지 못했던 것을 표현할 수 있도록 하고, 창작의 벽을 넘어서는 데 도움을 줄 수 있는 방법을 끊임없이 생각합니다. 아티스트와 상호작용하면서 기술도 더 좋은 방향으로 나아갈 수 있다고 생각해요.


―수퍼톤을 어떤 기업으로 키우고 싶으신가요?

헤드폰 종류가 5만 가지가 넘는다는 건 그만큼 귀가 예민하고 섬세하다는 뜻이에요. 수퍼톤이 지난해 12월 B2C(기업과 소비자 간 거래)용으로는 처음 선보인 음향 장비용 플러그인은 벌써 200여 개국에서 매달 3만 명이 사용하고 있어요. 귀가 어마어마하게 예민한 오디오 엔지니어들을 만족시키는 국산 소프트웨어를 만들었다는 것에 보람을 느낍니다. 예민하고 까다로운 소비자들을 만족시키는 제품을 만들고 싶어요. 궁극적으로는 오디오 분야를 대표하는 기업이 되고 싶습니다. ‘퍼스널 PC=애플 컴퓨터’, ‘전기차=테슬라’처럼 ‘오디오=수퍼톤’이라는 등식이 성립되게 만들 겁니다.


―사업가가 아닌 ‘연구자 이교구’를 매료시키는 주제는 뭔가요?

궁극적으론 난청을 해결하는 기술을 만들고 싶습니다. 귀는 소리라는 외부의 신호를 받아들이는 기관이에요. 그 신호를 해석하는 것은 뇌입니다. 잘못된 해석이 난청으로 이어지기도 하죠. 난청은 노화의 일종이기에 누구도 피해 갈 수 없습니다. 심한 난청을 앓는 이는 타인과의 소통에 어려움을 겪고, 사회적으로 점점 고립됩니다. 노인성 치매가 난청과 관련이 깊다는 사실은 연구로 검증됐어요. ‘청각적 뇌’의 원리를 규명해서 난청 환자들이 제대로 듣고, 편하게 소통할 수 있는 기술을 개발하고 싶습니다.




김재희 기자 jetti@donga.com