4종 모델 공개·학습 방식 개선으로 활용성 확대

[토요경제 = 황세림 기자] 카카오가 차세대 언어모델 ‘카나나-2’ 업데이트를 통해 에이전틱 AI(인공지능) 오픈소스 경쟁력 강화에 나섰다.

 

▲ 카카오가 자체 개발 언어모델 ‘카나나-2’를 업데이트하며 모델 4종을 오픈소스로 추가 공개했다/이미지=카카오

카카오는 자체 개발한 언어모델 ‘카나나-2’를 업데이트하고 4종의 모델을 오픈소스로 추가 공개했다고 20일 밝혔다.

카나나-2는 지난해 12월 공개한 카카오의 오픈소스 언어모델이다. 추가 공개된 모델은 ▲기본(Base) ▲지시 이행(Instruct) ▲추론 특화(Thinking) ▲미드 트레이닝(Mid-training) 등 4종이다.

이번 모델에는 전문가 혼합(MoE·Mixture of Experts) 구조가 적용됐다. 전체 매개변수 규모는 320억개지만 실제 추론 시에는 일부 파라미터만 활성화해 계산 부담을 줄였다. 이를 통해 고성능 인프라 없이도 엔비디아 A100 수준의 범용 GPU(그래픽처리장치) 환경에서 구동이 가능하도록 최적화했다는 설명이다.

학습 방식도 고도화됐다. 사전 학습과 사후 학습 사이에 ‘미드 트레이닝’ 단계를 도입하고 AI 모델이 새 정보를 배울 때 기존 지식을 잊는 현상을 줄이기 위한 ‘리플레이’ 기법을 적용했다. 이를 통해 새로운 추론 능력을 추가하면서도 기존 한국어 구사와 일반 상식 수준을 유지할 수 있었다.

김병학 카카오 카나나 성과리더는 “보편적인 인프라 환경에서도 고효율을 내는 모델을 공개함으로써 국내 AI 연구 개발 생태계 발전과 AI 활용의 새로운 대안이 되길 바란다”고 말했다.

 

토요경제 / 황세림 기자 hsr@sateconomy.co.kr 

[ⓒ 토요경제. 무단전재-재배포 금지]