신한은행, AI 6종에 '은행 업무시험'…5000문항으로 실무 적합성 검증

경제·금융 / 김연수 기자 / 2026-11-16 23:33:38
▲ 신한은행.[토요경제DB]

 

신한은행이 은행 업무에 적합한 인공지능(AI) 모델을 선별하고 실제 업무 수행 과정까지 검증하는 기술을 국제학술대회에서 공개했다. 범용 AI의 높은 성능이 금융 실무 능력과 반드시 일치하지 않는다는 자체 평가 결과도 제시했다.

16일 금융권과 국제 금융인공지능학술대회(International Conference on AI in Finance·ICAIF) 공식 자료에 따르면 신한은행은 지난 15일 이탈리아 밀라노에서 열린 'ICAIF 2026' 워크숍에서 금융 AI 평가·검증에 관한 연구 논문 2편을 발표했다.

학회 공식 홈페이지에는 두 논문이 금융 AI 보안·개인정보보호·안전성 분야의 포스터 발표 논문으로 등재돼 있다. 모두 신한은행 소속 연구진이 작성했다.

첫 번째 논문은 '한국 은행 업무의 모델 선정을 위한 요구사항 기반 LLM 평가체계(K-BankEval - A Requirements-Driven LLM Benchmark Suite for Model Selection in Korean Banking)'다.

이강희(Kanghee Lee) 등 신한은행 연구진 8명이 참여한 이 연구는 일반적인 AI 성능 평가와 별도로 실제 은행 업무에 필요한 능력을 측정하는 데 초점을 맞췄다.

신한은행이 개발한 K-BankEval은 여신·수신·외환 등 은행 업무를 반영한 5000개 문항으로 구성됐다. 평가 영역은 6개다.

구체적으로 은행 업무 전문지식, 금융 문서 검색과 근거 기반 답변(RAG), 업무에 필요한 도구 호출, 금융 계산 및 추론, 금융소비자 보호 관점의 응답 안전성, AI 에이전트의 업무 수행 계획을 평가한다.

단순히 금융 지식을 정확히 답하는 능력만 측정하는 것이 아니라 필요한 자료를 찾아 근거를 제시하고 계산과 업무 수행 계획을 적절히 처리할 수 있는지도 평가하는 구조다.

신한은행은 이 평가체계로 대규모 언어모델(LLM) 6종을 비교했다. 그 결과 일반적인 AI 성능 평가에서 우수한 모델도 실제 은행 업무에서는 수행 능력에 차이가 있는 것으로 나타났다.

범용 AI의 성능만으로 금융 업무 적합성을 판단하기 어렵다는 점을 자체 평가를 통해 확인한 것이다.

두 번째 논문은 '금융 AI 에이전트 관리를 위한 근거 기반 평가(Evidence-Grounded Evaluation for Financial Agent Governance)'다. 문세화(Sehwa Moon) 등 신한은행 소속 연구진 8명이 저자로 참여했다.

이 연구는 신한은행의 내부 AI 에이전트 평가·검증 플랫폼인 '에이전트 파운드리(Agent Foundry)'를 기반으로 진행됐다.

핵심은 AI가 내놓은 최종 답변뿐 아니라 그 답변을 도출하기까지의 업무 수행 과정도 검증한다는 점이다.

신한은행은 업무별 요구사항을 검증 사례와 평가 기준으로 구체화하고 AI 에이전트의 답변과 도구 실행 기록을 분석하는 방식을 제시했다.

이를 통해 AI가 정해진 업무 기준을 충족했는지, 필요한 도구를 적절히 사용했는지, 업무를 효율적으로 수행했는지 등을 점검한다.

특히 업무 수행 과정에서 필수 확인 사항을 누락하거나 판단 근거가 충분하지 않은 사례를 정상적인 통과 사례와 구분하는 방법도 연구했다.

두 연구는 검증 대상을 달리한다. K-BankEval이 은행 업무에 적합한 AI 모델을 선정하기 위한 평가체계라면, 에이전트 파운드리는 선정된 모델 등을 활용하는 AI 시스템이 정해진 절차에 따라 업무를 수행하는지 점검하는 기술이다.

모델 자체의 성능과 실제 업무 수행의 신뢰성을 각각 검증하는 방식으로 금융 AI의 적용 범위를 넓힐 수 있는 기반을 마련한 셈이다.

다만 이번에 비교한 AI 모델 6종의 명칭과 모델별 정확도, 평가 영역별 세부 점수는 공개되지 않았다. 어떤 모델이 여신이나 외환 업무에서 상대적으로 우수했는지는 현재 공개된 자료만으로 확인할 수 없다.

학회 공식 홈페이지에는 두 논문의 제목과 저자, 소속이 등재돼 있지만 논문 전문은 게시되지 않았다. 해당 워크숍은 별도의 공식 논문집을 발행하지 않는 방식으로 운영됐다.

신한은행은 이번 연구를 바탕으로 금융 업무에 특화된 AI 평가기술을 고도화할 계획이다.

신한은행 관계자는 "금융 분야 AI 활용에는 높은 성능뿐 아니라 실제 업무 적합성과 수행 과정 검증이 중요하다"며 "특화된 평가·검증 기술을 고도화해 안심하고 활용할 수 있는 환경을 조성하겠다"고 말했다.

토요경제 / 김연수 기자 kys@sateconomy.co.kr

 

[ⓒ 토요경제. 무단전재-재배포 금지]

뉴스댓글 >

    많이 본 기사

    1
    정식품·삼양식품·해태제과·농심, 걷기부터 야구까지 스포츠 마케팅 확대

    정식품·삼양식품·해태제과·농심, 걷기부터 야구까지 스포츠 마케팅 확대

    식품업계가 걷기와 러닝 등 야외활동부터 프로야구 관람까지 스포츠를 활용한 마케팅을 확대하고 있다. 소비자가 직접 참여하는 체험 행사와 경기 관람에 연계한 이벤트 등 방식도 다양해지는 추세다.정식품은 세계 당뇨병의 날인 11월 14일을 맞아 헬스케어 플랫폼 ‘닥터다이어리’와 걷기 행사를 진행한다.오는 14일까지 운영하는 ‘그린비아 만보 걷기 챌린지’는 참가자

    2
    CJ그룹 이재현 회장, 한국판 머독 꿈꿀까…중앙일보 다음은 JTBC

    CJ그룹 이재현 회장, 한국판 머독 꿈꿀까…중앙일보 다음은 JTBC

    CJ그룹의 중앙일보 투자와 JTBC 매각이 맞물리면서 이재현 회장의 미디어 전략에 새로운 질문이 던져졌다. 콘텐츠와 방송, 온라인동영상서비스(OTT)에 신문까지 더하는 CJ가 미국의 루퍼트 머독처럼 뉴스와 엔터테인먼트를 아우르는 미디어 기업집단으로 진화할 수 있느냐는 것이다.13일 투자은행(IB) 업계와 관련 공시에 따르면 CJ그룹은 지난 5일 다우키움그

    3
    불닭 해외 수요 급증에…삼양식품, 베트남에 2186억 공장 짓는다

    불닭 해외 수요 급증에…삼양식품, 베트남에 2186억 공장 짓는다

    삼양식품이 해외 수요 증가에 대응하기 위해 베트남에 2186억원을 투자해 신규 생산공장을 건설한다.12일 업계에 따르면 삼양식품은 오는 2029년 1월 31일까지 베트남 현지에 생산공장을 설립할 계획이다. 이를 위해 현지 생산법인에 1311억원을 출자해 지분 100%를 확보한다.베트남 공장에는 총 8개 생산라인이 들어선다. 유탕면 생산라인 7개와 건면 생산

    4
    11번가, ‘그랜드십일절’ 마지막 날 특가 확대…G마켓·쿠팡도 할인 경쟁

    11번가, ‘그랜드십일절’ 마지막 날 특가 확대…G마켓·쿠팡도 할인 경쟁

    이커머스 업체들이 11월 쇼핑 수요를 겨냥해 가격 할인과 구독 혜택을 강화하고 있다.11번가는 오는 11일 ‘2026 그랜드십일절’ 피날레 행사를 진행한다고 10일 밝혔다. 지난 1일부터 이어온 행사의 마지막 날로, 시간대별 한정 특가 상품을 기존 행사 기간보다 4배 늘린다.11일 하루 선보이는 타임딜 상품은 약 500개로, 최대 할인율은 80%다. 삼성전

    5
    한화큐셀·OCI홀딩스, 美 태양광 관세 확정…현지 셀 생산이 수혜 가른다

    한화큐셀·OCI홀딩스, 美 태양광 관세 확정…현지 셀 생산이 수혜 가른다

    미국 정부가 인도·인도네시아·라오스산 태양광 제품에 대한 반덤핑·상계관세 부과를 확정했다.한화큐셀과 OCI홀딩스 계열 미션솔라가 참여한 무역구제 청원이 최종 관세명령으로 이어졌지만, 미국 내 생산체계에 따라 두 기업의 실질적인 수혜는 달라질 수 있다.10일 미국 연방관보에 따르면 상무부는 현지시간 9일 인도·인도네시아·라오스산 결정질 실리콘 태양광 셀과 모

    SNS