답 달라고 애원하던 시대는 지났다…“지금은 AI 통제할 때” [더긱스]

김영호 기자

입력 2026-11-14 13:58 수정 2026-11-16 09:56

|
폰트
|
기사공유 | 
  • 페이스북
  • 트위터
한선호 베스핀글로벌 CAIO 인터뷰
“시간 줄이는 데 동의했지, 통찰 없는 결과물에 동의한 건 아니다”
답 만드는 시대에서 답 가려내는 시대로


사진=김영호 기자 rladudgh2349@donga.com
인공지능(AI)이 “잘 모르겠습니다”를 입에 달고 살던 시절이 있었다. 10년이 지난 지금 AI는 말 그대로 ‘무엇이든’ 답한다. 오히려 답이 넘친다. 모르는 것도 지어내 답하는 생성형 AI의 고질병, 환각 탓이다.

기업들은 앞다퉈 AI 에이전트를 만들지만 성과를 내는 일은 여전히 어렵다. 미국 시장조사업체 가트너는 지난해 6월 AI 에이전트 프로젝트의 40% 이상이 비용 증가와 불분명한 사업 가치, 위험 통제 미흡으로 2027년 말까지 취소될 것으로 내다봤다.

한선호 베스핀글로벌 최고AI책임자(CAIO)는 대규모언어모델(LLM)이 본격화되기도 전인 2015년부터 AI를 다뤄온 전문가다. 당시 IBM에서 AI ‘왓슨’ 사업을 갑자기 맡게 되면서 이 일을 시작했다. 정해진 절차도 없던 때 그의 슬로건은 ‘잃을 게 없다(Nothing to lose)’였다.

클라우드 관리서비스(MSP) 기업이었던 베스핀글로벌은 지난해 1월 ‘Helping You Adopt AI’로 슬로건을 바꾸고 AI 사업을 확대했다. 올해 1월에는 AI·데이터 조직을 새로 만들어 한 CAIO에게 총괄을 맡겼다. 그는 한국수력원자력(한수원)과 KB라이프, 우리금융지주, 삼성증권 등 공공·금융 분야 고객사의 AI 구축 사업을 이끌었다.

지난달 28일 동아닷컴은 베스핀글로벌 사무실에서 한 CAIO를 만나 AI의 변화를 물었다.


● 답을 못하던 AI에서 답이 넘치는 AI로

베스핀글로벌 제공
2015년 왓슨 시절 AI는 질문을 알아듣게 만드는 것부터 일이었다. 다양한 표현으로 들어오는 질문을 같은 의미로 인식하도록 학습시키고, 그에 맞는 답을 사람이 일일이 붙였다. 모든 경우의 수를 정할 수는 없으니 AI의 단골 답변은 “잘 모르겠습니다”였다.

그러나 2022년 11월, 챗GPT가 등장하면서 상황은 뒤집혔다. AI는 거짓말이든 아니든 답을 내놓기 시작했다.

기술의 과제는 달라졌다. LLM 등장 초기에는 검색 결과에서 필요한 정보를 추리는 ‘톱K(Top-K)’와 순위를 다시 매기는 ‘리랭커(re-ranker)’가 화두였다. 최근에는 AI 에이전트가 검색한 답을 확인하고 다시 추론하는 리액트(ReAct) 방식이 등장했다.

한 CAIO는 “지금은 ‘어텐션(Attention)’의 시대인 것 같아요”라고 말했다. 과거에는 AI가 답하도록 만드는 데 많은 수작업이 필요했다면, 이제는 AI가 만들어 낸 답을 검증하고 통제하는 일이 중요해진 것이다.

그는 “과거에는 제발 답을 달라고 많은 수작업을 해야 했다. 농업적 근면성이 필요했던 시기”라며 “지금은 오히려 AI가 하는 일을 통제하는 것이 중요하다”고 말했다.

AI가 답을 쏟아 낼수록 그가 눈여겨보는 건 AI를 쓰는 사람의 역량이다. 그는 “AI가 들어오면서 피부로 느끼는 게 있다. ‘AI를 맹목적으로 쓰면 점점 바보가 된다’는 것“이라며 ”장표 하나, 자기 제안 하나도 제대로 만들지 못하게 돼요”라고 강조했다.


● “너희는 해봤어?” 에이전트도 돌봄이 필요하다

베스핀글로벌 제공
한 CAIO는 회사 내부의 AI 전환과 고객사의 AI 전환을 함께 이끈다. 고객이 가장 많이 묻는 질문이 “너희는 해봤어?”이기 때문이다. 베스핀글로벌이 자사를 첫 번째 고객으로 삼는 ‘커스터머 제로(Customer Zero)’를 실천하는 이유다. 

한 CAIO는 에이전트를 신입사원에 빗댔다. 처음에 일을 잘하던 사람도 돌봄과 코칭을 받지 못하면 3~4년 뒤 구석으로 밀려나듯, 에이전트도 만든 뒤 계속 관리해야 한다고 했다. 그는 “우리는 시간을 줄이자는 데 동의한 것이지, 통찰이 없는 결과물에 동의한 것은 아니잖아요”라고 설명했다.

그가 권하는 활용법은 교육학자 조벽 교수의 ‘살사(SALSA)’다. 하고 싶은 일을 공유하고(Share), 질문하고(Ask), AI의 답을 들은 뒤(Listen) 다시 공유하고(Share) 질문하는(Ask) 방식이다. 한 번의 프롬프트로 결과를 얻는 대신 대화를 반복하며 맥락을 쌓는 것이다.


● 3개월 걸릴 작업을 보름 만에…세계 최초 ‘원전 AI’는 어떻게 구현했나

사진=김영호 기자 rladudgh2349@donga.com
한 CAIO가 가장 도전적이었다고 꼽은 사업은 한수원 생성형 AI 구축 프로젝트다.

2024년 말, 그는 원전 설비의 엔지니어링 매뉴얼 2만5000건을 엔지니어들이 AI로 찾아 쓰도록 만드는 일을 맡게 됐다.

원전 문서는 보안상 외부로 내보낼 수 없다. 이 때문에 외부와 단절된 폐쇄망 안에 직접 설치할 수 있는 모델이 필요했고, 여기에 네이버 하이퍼클로바X가 쓰였다.

고객이 기대한 결과물은 챗봇이었지만, 그 뒤에서는 방대한 문서를 표준화하고 정제해야 했다. 한 CAIO는 데이터를 제대로 정리하려면 그 작업만 1년은 걸렸을 것이라고 봤다.

모델에도 문제가 있었다. 긴 문서의 가운데 내용을 제대로 활용하지 못하는 ‘중간 손실(Lost in the Middle)’ 현상이었다. 관련 없는 정보를 걸러내거나 정보가 최신인지 판단하는 능력도 부족했다.

팀의 요청으로 현장에 들어간 그는 프롬프트를 처음부터 다시 설계하고 모델도 교체해 테스트했다. 폐쇄망 안에서 계획상 3개월쯤 걸릴 개선 작업을 보름 만에 밤을 새워 마쳤다. 한수원은 이 AI를 ‘하이누리’라는 이름으로 사용하고 있다.


● “해본 사람이 전문가로 가는 것”…AI 전문가가 연필을 놓지 않는 이유

CAIO로 자리 잡은 지금도 그는 ‘학생’의 자세로 일한다.

직접 만든 에이전트가 산업별 시장 동향과 기술 동향을 매일 모아 오면 둘을 맞춰 보고 괜찮은 기술을 손수 돌려 본다. 코드도 직접 짠다. 요즘은 완성된 제품을 거꾸로 뜯어 작동 원리를 알아내는 ‘리버스 엔지니어링’을 공부한다.

그가 이렇게까지 하는 것은 불안감 때문이다. 새로운 기술을 따라가지 못하면 전문가 집단이라는 정체성을 잃을 수 있다는 것이다. 한 CAIO는 “고객에게 해결책을 설명하려면 이미 써보고 무엇이 되고 안 되는지 알아야 한다”고 했다.

AI 시대에 인간이 길러야 할 역량으로는 기술보다 ‘인성’을 꼽았다. 다섯 아이의 아버지인 그는 AI를 연구하며 자녀 교육 철학이 생겼다고 했다. 그가 꼽은 것은 자신을 돌아보고 통제하는 능력, 타인과 협업하는 능력, 세상에 조금이라도 기여하려는 태도다.

마지막은 개발자적 사고다. 문제를 논리적으로 해결하고, 경험을 공유하며, 주도적으로 성장하는 태도다. 성공한 방법뿐 아니라 실패한 경험도 공유해야 더 나은 방법을 찾을 수 있기 때문이다.

11년 가까이 AI를 다뤘지만 그는 스스로를 ‘전문가가 되고 싶은 사람’이라고 표현했다.


“해본 사람이 전문가로 가고 있는 거죠. 무엇이 되고 무엇이 안 되는지 아니까요.”

베스핀글로벌 제공



긱(Geek·괴짜)은 한 분야에 깊이 빠져드는 사람을 뜻합니다. ‘더긱스’는 기술을 통해 자신만의 길을 개척하는 사람들을 만나, 그들의 도전과 생각을 듣습니다.
김영호 기자 rladudgh2349@donga.com

라이프



EV라운지
모바일 버전 보기