신한은행, 국제 AI 학술대회서 ‘금융 AI 안전·신뢰성’ 연구성과 발표
정봉오 기자
입력 2026-11-16 14:51
신한은행, ‘은행 특화 LLM 평가’ ‘AI 에이전트 안전성 연구’ 논문 2편 발표
“금융 AI 활용, 성능뿐 아니라 업무 적합도 등도 검증해야”
뉴시스
신한은행이 국제 인공지능(AI) 학술대회인 ‘ICAIF 2026’에서 금융 AI의 안전성과 신뢰성을 높이기 위한 연구 논문을 발표했다고 16일 밝혔다. ICAIF는 금융과 AI 기술의 융합을 주제로 최신 연구 성과, 산업 적용 사례를 참가자들이 공유하는 국제 학술대회다.
신한은행 관계자는 “금융 분야에서 AI를 활용하기 위해서는 높은 성능뿐 아니라 실제 업무에 적합한지, 업무 수행 과정이 기준에 맞게 이뤄지는지를 함께 검증하는 것이 중요하다”며 “금융 환경에 특화된 AI 평가·검증 기술을 고도화해 고객과 직원이 안심하고 활용할 수 있는 금융 AI 환경을 만들어 가겠다”고 했다.
신한은행이 학술대회에서 발표한 논문은 2개다. 하나는 은행 업무에 적합한 대규모 언어 모델(LLM)을 평가하는 벤치마크 프레임워크 ‘K-BankEval’다. 다른 하나는 내부 AI 에이전트 평가·검증 플랫폼 ‘Agent Foundry’을 기반으로 설계한 AI 에이전트 업무 수행 검증 기술에 대한 연구 성과다.
먼저 K-BankEval은 은행 업무 전반의 특성을 반영해 총 5000개 문항, 6개 평가 영역으로 구축됐다. 신한은행이 6개 LLM을 비교 평가한 결과, 범용 AI 성능이 우수한 모델이라도 실제 은행 업무별 수행 능력에는 차이가 있는 것으로 파악됐다. 신한은행은 K-BankEval을 통해 업무 특성에 적합한 LLM을 선정하고 각 모델의 취약 영역을 진단할 수 있는 평가 기반을 마련했다고 밝혔다.
신한은행은 다른 논문에서 Agent Foundry를 기반으로 은행 업무에 활용되는 AI 에이전트의 최종 답변뿐 아니라 업무를 수행하는 과정까지 함께 검증하는 평가 체계를 구축했다고 밝혔다. 이러한 평가 체계를 통해 AI 에이전트를 실제 은행 업무에 적용하기 전 기준을 충족한 부분과 추가 보완이 필요한 영역을 체계적으로 확인할 수 있다는 게 신한은행의 설명이다.
신한은행 관계자는 “이번 연구에서 업무별 필수 확인 사항과 실제 실행 기록을 연계해 검증하고 판단 근거가 충분하지 않은 사례를 정상적인 통과 사례와 구분하는 방법 등 평가 체계의 개선 방향도 제시했다”며 “향후 AI를 활용한 업무 처리의 정확성과 안정성을 높이기 위한 검증 기반으로 활용할 계획”이라고 했다.
정봉오 기자 bong087@donga.com
“금융 AI 활용, 성능뿐 아니라 업무 적합도 등도 검증해야”
뉴시스신한은행이 국제 인공지능(AI) 학술대회인 ‘ICAIF 2026’에서 금융 AI의 안전성과 신뢰성을 높이기 위한 연구 논문을 발표했다고 16일 밝혔다. ICAIF는 금융과 AI 기술의 융합을 주제로 최신 연구 성과, 산업 적용 사례를 참가자들이 공유하는 국제 학술대회다.
신한은행 관계자는 “금융 분야에서 AI를 활용하기 위해서는 높은 성능뿐 아니라 실제 업무에 적합한지, 업무 수행 과정이 기준에 맞게 이뤄지는지를 함께 검증하는 것이 중요하다”며 “금융 환경에 특화된 AI 평가·검증 기술을 고도화해 고객과 직원이 안심하고 활용할 수 있는 금융 AI 환경을 만들어 가겠다”고 했다.

먼저 K-BankEval은 은행 업무 전반의 특성을 반영해 총 5000개 문항, 6개 평가 영역으로 구축됐다. 신한은행이 6개 LLM을 비교 평가한 결과, 범용 AI 성능이 우수한 모델이라도 실제 은행 업무별 수행 능력에는 차이가 있는 것으로 파악됐다. 신한은행은 K-BankEval을 통해 업무 특성에 적합한 LLM을 선정하고 각 모델의 취약 영역을 진단할 수 있는 평가 기반을 마련했다고 밝혔다.
신한은행은 다른 논문에서 Agent Foundry를 기반으로 은행 업무에 활용되는 AI 에이전트의 최종 답변뿐 아니라 업무를 수행하는 과정까지 함께 검증하는 평가 체계를 구축했다고 밝혔다. 이러한 평가 체계를 통해 AI 에이전트를 실제 은행 업무에 적용하기 전 기준을 충족한 부분과 추가 보완이 필요한 영역을 체계적으로 확인할 수 있다는 게 신한은행의 설명이다.
신한은행 관계자는 “이번 연구에서 업무별 필수 확인 사항과 실제 실행 기록을 연계해 검증하고 판단 근거가 충분하지 않은 사례를 정상적인 통과 사례와 구분하는 방법 등 평가 체계의 개선 방향도 제시했다”며 “향후 AI를 활용한 업무 처리의 정확성과 안정성을 높이기 위한 검증 기반으로 활용할 계획”이라고 했다.
정봉오 기자 bong087@donga.com













