▲ 중국 인공지능 기업 문샷AI의 로고. 문샷AI는 신규 모델 '키미 K3.1 프로'에서 사이버 공격 관련 학습자료를 선별해 공격 수행능력을 제한하는 조치를 적용했다고 밝혔다. [연합뉴스]

인공지능(AI) 개발사들이 사이버 공격 능력을 제한하고 연구환경의 보안을 강화하고 있지만 실제 개선 효과를 외부에서 검증하는 과제는 남아 있다. 모델 성능이 높아질수록 개발사의 자체 평가와 별도로 안전성을 확인할 필요성도 커지고 있다.

24일 중국 AI 기업 문샷AI(Moonshot AI)의 공식 기술자료에 따르면 회사는 신규 모델 '키미 K3.1 프로(Kimi K3.1 Pro)'의 사이버 공격 수행능력을 낮추기 위해 학습자료 일부를 제거했다.

문샷AI는 중간 학습과 강화학습 과정에서 사이버 취약점 공격 관련 자료와 과제를 선별해 제외했다. 일반적인 소프트웨어 개발과 코딩에 필요한 학습은 유지했다.

회사가 자체 개발한 사이버 보안 평가 '엑스데브 벤치 하드(xdev-bench-hard)'에서는 위험 저감 조치를 적용하지 않은 비교 모델의 문제 해결률이 90.5%였지만 최종 모델은 81.0%를 기록했다.

공격 관련 학습을 제한하면서 평가점수가 9.5%포인트 낮아진 것이다. 다만 기존 모델인 키미 K3의 점수는 33.3%로, 공격 능력을 제한한 신모델도 이전 세대보다 높은 성능을 나타냈다.

문샷AI는 "오픈 가중치 모델이 사이버 공격 능력의 최첨단 수준을 확대하지 않도록 하겠다(We aim not to release open weights that would extend the absolute frontier of cyber capability)"고 밝혔다.

회사는 키미 K3.1 프로를 웹과 API로 제공하고 있으며 오는 11월 4일까지 전체 모델 가중치를 공개할 예정이다.

가중치가 공개되면 이용자가 자체 서버에서 모델을 실행하거나 추가 학습할 수 있다. 개발사가 운영하는 서비스와 달리 배포 이후 모델의 사용 범위와 수정 행위를 중앙에서 통제하기 어렵다.

문제는 위험 저감 효과를 보여주는 수치가 회사 자체 평가라는 점이다.

문샷AI의 시험은 제한된 환경에서 취약점을 찾아 해결하는 능력을 측정한 것으로, 실제 기업 시스템에 대한 공격 성공률을 의미하지 않는다. 24일 현재 키미 K3.1 프로에 대한 독립적인 사이버 위험 평가 결과도 확인되지 않았다.

앞서 미국 국립표준기술연구소(NIST)는 지난 7월 영국 인공지능안보연구소(AISI)와 미국 AI 표준혁신센터(CAISI)가 문샷AI의 이전 모델인 키미 K3를 공동 평가한 결과를 공개했다.

당시 두 기관은 키미 K3가 미국의 최상위 모델보다 사이버 공격 수행능력은 낮았지만, 일부 공격 관련 작업을 시도하는 것은 안전장치가 충분히 차단하지 못했다고 평가했다.

다만 당시 평가 대상은 키미 K3이며 시험 방법도 문샷AI의 이번 자체 평가와 달라 점수를 직접 비교할 수는 없다.

오픈AI(OpenAI) 역시 모델의 실행환경과 감시체계를 강화하고 있다.

오픈AI는 지난 23일 공개한 보안 보고서에서 9월 20일 내부 연구모델이 시스템 설정 오류를 이용해 제한적으로 외부 인터넷에 접근한 사실을 밝혔다.

회사는 이후 고성능 모델의 훈련과 평가를 일시 중단하고 격리환경과 이상행동 감시체계를 보강했다. 강화학습과 내부 모델 실행은 지난 1일 재개했다.

그러나 외부 검증기관은 기존 감시체계에서 취약점을 발견했다.

AI 안전성 평가기관 METR과 레드우드리서치(Redwood Research)는 지난 22일 공개한 보고서에서 오픈AI의 내부 감시체계에 일부 AI 작업 기록이 감시 대상에서 누락되거나 감시 기능이 우회될 수 있는 취약점이 있었다고 밝혔다.

두 기관은 지난 7월 21일부터 8월 11일까지 당시 운영되던 감시체계를 점검했다. 오픈AI는 상용 서비스의 안전장치에 영향을 미치는 취약점을 모두 수정했다고 설명했다.

다만 METR은 오픈AI의 후속 개선 조치에 대해 "해당 주장을 평가하지 않았다(We have not evaluated these claims)"고 밝혔다. 이번 외부 검증 결과가 현재의 보안체계에도 동일하게 적용된다는 의미는 아니다.

문샷AI와 오픈AI는 서로 다른 방식으로 위험을 관리하고 있다.

문샷AI는 모델 배포 전에 공격 관련 학습을 제한했고, 오픈AI는 연구모델이 접근할 수 있는 시스템과 네트워크를 통제하는 방식을 강화했다.

국내 AI 기업에도 관련 기술의 검증 범위가 중요해지고 있다.

LG AI연구원은 지난 4월 모델 가중치를 공개하는 방식으로 '엑사원 4.5(EXAONE 4.5)'를 출시했다. 네이버클라우드와 LG CNS는 정부의 사이버보안 특화 AI 파운데이션 모델 개발사업에 참여하고 있다.

다만 보안 분야에 활용할 AI를 개발하는 것과 해당 모델 자체의 악용 위험을 평가하는 것은 별개의 문제다. 이번 해외 사례가 국내 기업의 보안 취약점을 의미하는 것도 아니다.

AI 모델의 성능 개선과 공격 능력 제한 효과는 개발사의 자체 시험만으로 충분히 판단하기 어렵다. 모델 공개 전 독립적인 위험 평가와 실제 업무환경에서의 접근권한·감시체계 검증을 구분해 확인할 필요성이 제기된다.

토요경제 / 김지영 기자 jykim.media@gmail.com 

[ⓒ 토요경제. 무단전재-재배포 금지]