소품만 놓인 무대에 태블릿 비췄더니 ‘AR 뮤지컬’이 활짝

과학으로 진화하는 문화예술

지난달 28일부터 이달 1일까지 미국 캘리포니아주에서 열린 컴퓨터 그래픽 분야 최고 학회인 ‘시그래프’에 참여한 관람객들이 증강현실(AR) 뮤지컬을 감상하고 있다. ETRI 제공

태블릿 PC에 달린 카메라가 텅 빈 무대를 향하자 화면 속에 고양이 여섯 마리가 등장한다. 화면 속 고양이들은 의자 위를 마음껏 뛰어다니다가도 한 치의 어긋남 없이 군무를 추고 노래를 부른다. 평생 강아지와 함께 살던 주인공 고양이 ‘티미드’에게 길고양이 다섯 마리가 음악과 춤을 통해 고양이의 세계를 알려준다는 내용의 이 영상은 실제 영상과 가상의 입체(3D) 이미지를 결합한 증강현실(AR) 기술 뮤지컬이다. 한국전자통신연구원(ETRI)은 지난달 28일부터 이달 1일까지 미국 캘리포니아주에서 열린 컴퓨터 그래픽 분야 최고 학회인 ‘시그래프’에서 이 뮤지컬을 처음 공개했다.

이번에 세계무대에 공개된 AR 뮤지컬은 ETRI와 소프트웨어 개발업체 토즈가 함께 제작했다. 일반 뮤지컬이라면 배우, 무대, 관객, 노래와 춤이 함께 어울리겠지만 이 뮤지컬에는 배우가 없다. 그 대신 특수 제작된 무대를 태블릿PC로 비추면 AR 배우들이 나와 노래와 춤을 선보인다. 태블릿PC와 무대만 있으면 상상 속 캐릭터들이 마치 눈앞에서 살아있는 것처럼 춤을 추고 노래를 한다. 연구팀은 AR 뮤지컬에 생동감을 주는 핵심 기술을 이번에 함께 개발했다. 이 기술의 핵심은 AR 뮤지컬 속 배우가 텅 빈 무대 가상 입체 공간에서 정확하게 위치를 잡도록 하는 것이다. 배우들 사이에 정교하고 자연스러운 움직임을 연출하는 데 꼭 필요한 기술이다. 일반 뮤지컬처럼 여러 명이 동시에 관람할 수 있는 인터랙션 기술도 개발했다. 연구팀은 이 두 기술이 AR 뮤지컬을 앞으로 상업화하는 데 꼭 필요한 기술로 보고 있다.

AR 뮤지컬 외에도 예술에 과학을 접목하려는 시도가 국내외에서 잦아지고 있다. 오일권 KAIST 기계공학과 교수 연구팀은 ‘키네틱 아트(움직이는 예술)’에 차세대 로봇에 활용하는 인공근육을 접목하고 있다. 19세기 말에 등장한 키네틱 아트는 간단한 기계 장치의 움직임에서 아름다움을 포착해 전달하는 장르다. 동적 아름다움을 나타내기 위해 다양한 기계 장치가 사용되는데 여기에 첨단 로봇 연구가 결합한 것이다.

연구팀은 금속처럼 전기가 잘 흐르고 표면 기능을 제어하는 나노 신물질인 ‘맥신’과 전기가 잘 통하는 고분자 물질을 결합해 부드럽고 잘 휘는 전극을 제작했다. 전극은 1볼트(V) 이하의 낮은 전압에서 1초 만에 반응을 하며 문어 다리처럼 180도 구부러진다. 연구팀은 이 전극을 이용해 인공근육을 만들었다. 1만8000번 이상 구부렸다 펴도 성능의 변화가 거의 없다는 게 연구팀의 설명이다. 연구팀은 이 인공근육을 이용해 나비의 날갯짓이나 수선화가 시간에 따라 피고 지는 모습, 나뭇잎이 바람에 흔들리는 모습을 구현했다. 나무에 앉아 우아하게 날갯짓을 하는 가짜나비를 자세히 보지 않으면 실제 나비로 착각할 정도다. 오 교수는 “기존 인공 근육은 잘 구부러지지 않고 수명이 짧았다”며 “부드러운 움직임이 요구되는 소프트 로봇이나 웨어러블 플랫폼, 몸속에 들어가는 능동형 생체의료 디바이스, 키네틱 아트 분야의 발전에 기여할 수 있을 것”이라고 밝혔다

한국생산기술연구원 김진영, 권오흥, 이상원, 김주혜 수석연구원은 지난해 키네틱 아트에 활용할 수 있는 입체 디스플레이 기술을 개발했다. ‘동적 실물 영상 투사 카멜레온형 서페이스 기술’이라는 다소 긴 이름의 이 기술은 쉽게 말하면 변형 가능한 디스플레이다. 디스플레이 화면 뒤에 설치된 구동장치(액추에이터) 400개가 화면을 잡아당겼다 펴면서 입체감을 주는 원리다. 살아있는 카멜레온의 몸만큼은 아니지만 화면 그 자체를 입체적으로 만드는 것을 목표로 하고 있다.

연구팀은 이 기술을 개발하기 위해 잡아당겨도 잘 부서지지 않고 다시 제 위치로 오는 스킨 소재를 개발했다. 이 소재는 화면이 잘 변형됐다가 원위치로 돌아가는 데 꼭 필요한 물질이다. 화면을 변형하는 액추에이터의 속도와 변이를 조절하는 모듈과 400개에 이르는 액추에이터를 한꺼번에 제어하는 기술도 개발했다. 이렇게 개발된 입체 디스플레이는 이미 광고 분야와 공공예술 쪽에서 러브콜을 받고 있다. 지난해 10월에는 기술을 시연하는 전시회를 열었고 올해 10월에는 대구국제오페라축제 무대에도 오를 예정이다. 김진영 수석연구원은 “3D 입체 디스플레이는 예술과 기술의 융합을 통해 탄생한 분야”라며 “앞으로 광고, 전시, 콘서트 등 다양한 문화예술 영역에서 활용될 것”이라고 밝혔다.

2012년 카틱 라마니 미국 퍼듀대 교수 연구팀도 키네틱 아트에 쓰일 새로운 모핑 기술을 개발했다. 모핑은 하나의 이미지를 다른 이미지로 연속적으로 변형시키는 디지털 시각효과로 수학적인 과정을 프로그래밍한 소프트웨어를 통해 만들어진다. ‘칼레이드오가미’라 이름 붙인 이 기술은 종이 한 장으로도 정확하게 접힘 구조를 만들 수 있어 다양한 디지털 시각효과를 낼 수 있다. 라마니 교수는 “이번에 개발된 기술은 키네틱 아트 작품을 만드는 새로운 기하학적 알고리즘과 방법이 될 것”이라며 “우리의 목표 중 하나는 성장하고 있는 키네틱 아트 분야를 위해 새로운 영감을 줄 예술 형태를 제공하는 것”이라고 밝혔다.

고재원 동아사이언스 기자 jawon1212@donga.com