한국어 처리 효율 30% 개선·메모리 사용 최대 72.7% 절감
카나나 기반 서비스 확대…반려동물 사진 활용 이벤트도 진행

▲ 카카오가 경량 언어모델 4종을 오픈소스로 공개했다 [카카오]

카카오가 스마트폰과 개인용 PC 등에서 구동할 수 있는 경량 언어모델 4종을 오픈소스로 공개했다. 대형 언어모델과 별도로 기기 안에서 직접 작동하는 온디바이스 AI 수요가 커지는 데 대응해 한국어 처리 효율과 메모리 사용량을 낮춘 모델을 내놓은 것이다.

28일 카카오에 따르면 공개 모델은 ▲Kanana-2-1.3B-base ▲Kanana-2-1.3B-instruct ▲Kanana-2-3B-base ▲Kanana-2-3B-instruct 등 4종이다. 개발자와 연구기관, 기업이 비용 부담 없이 활용할 수 있도록 허깅페이스에 공개했으며 상업적 이용도 허용하는 ‘카나나 오픈 라이선스’를 적용했다.

카카오는 자체 개발한 한국어 특화 토크나이저를 적용해 기존보다 한국어 처리 효율을 30% 이상 높였다고 밝혔다. 긴 대화에서 메모리 사용량이 늘어나는 문제를 줄이기 위해 슬라이딩 윈도우 어텐션 구조도 도입했다. 최대 3만2000토큰 길이의 대화에서 메모리 사용량을 최대 72.7% 줄일 수 있다는 게 회사 측 설명이다.

해당 모델은 한국어와 영어, 지식, 수학, 코드 등 주요 평가 항목에서 유사한 규모의 글로벌 오픈소스 모델과 경쟁 가능한 수준의 성능을 기록했다고 카카오는 밝혔다. 카카오는 현재 카카오톡 대화 요약과 통화 요약, ‘카나나 인 카카오톡’, AI 국민비서 등에 자체 경량 모델을 활용하고 있다.

한편 카카오는 다음 달 14일까지 반려동물 사진을 분석해 음성 편지를 만들어주는 ‘카나나 펫레터 만들기’ 행사를 진행한다. 사진 속 표정과 주변 맥락을 분석해 메시지를 생성하며, 유해 콘텐츠 탐지에는 자체 가드레일 모델을 적용했다.

 

토요경제 / 황세림 기자 hsr@sateconomy.co.kr 

[ⓒ 토요경제. 무단전재-재배포 금지]