30억·13억 파라미터 모델 허깅페이스 공개
7월 SLM·이달 비전 인코더 이어 공개 범위 넓혀

▲ 카카오가 자체 AI 모델 ‘카나나2’ 기반의 텍스트 임베딩 모델 2종을 오픈소스로 공개했다 [카카오]

카카오가 자체 인공지능(AI) 모델 ‘카나나2’ 기반의 텍스트 임베딩 모델 2종을 오픈소스로 공개했다.

29일 카카오에 따르면 이번에 공개한 모델은 30억 파라미터 규모의 ‘Kanana-2-3b-embedding’과 13억 파라미터 규모의 ‘Kanana-2-1.3b-embedding’이다. 두 모델은 AI 개발 플랫폼 허깅페이스에 공개됐다.

임베딩은 문장이나 단어의 의미를 수치로 변환하는 기술이다. 질문과 문서 사이의 의미적 유사성을 비교해 관련 정보를 찾는 검색이나 검색증강생성(RAG), 추천 서비스 등에 활용된다.

카카오가 공개한 모델카드에 따르면 두 모델은 텍스트 임베딩 평가 벤치마크인 MTEB 기반 한국어 검색 평가에서 비교 대상 모델인 ‘Qwen3-Embedding-4B’와 ‘llama-nemotron-embed-1b-v2’보다 높은 점수를 기록했다.

MTEB는 검색과 문장 유사도, 분류 등 여러 과제를 통해 임베딩 모델 성능을 비교하는 공개 벤치마크다. 모델별 결과는 평가 과제와 데이터셋에 따라 달라질 수 있다.

카카오는 자체 소형 언어모델 ‘Kanana-2-SLM’을 기반으로 30억 파라미터 모델을 개발했다. 이후 큰 모델의 학습 결과를 작은 모델에 전달하는 지식 증류 방식을 적용해 13억 파라미터 모델도 구축했다.

서비스 환경에 따라 임베딩 크기를 조절할 수 있는 MRL(Matryoshka Representation Learning) 기법도 적용했다. 저장 공간과 처리 속도에 맞춰 1024·512·256·128차원으로 줄여 사용할 수 있다.

카카오의 오픈소스 공개는 올해 들어 이어지고 있다. 지난 7월에는 13억·30억 파라미터 규모의 ‘Kanana-2 SLM’ 4종을 공개했다. 이달에는 이미지 정보를 처리하는 ‘Kanana-2-vision-encoder’ 2종도 허깅페이스에 공개했다.

카카오는 최근 개발자 콘퍼런스 ‘if(kakao)26’에서 개인화 AI 에이전트를 주요 기술 방향으로 제시했다. 이용자의 과거 정보와 현재 질문을 연결해 필요한 정보를 찾는 기술이 개인화 서비스의 기반으로 활용될 수 있다는 설명이다.

이번에 공개한 두 임베딩 모델에는 조건에 따라 상업적 활용이 가능한 ‘카나나 오픈 라이선스’가 적용됐다.

 

토요경제 / 황세림 기자 hsr@sateconomy.co.kr 

[ⓒ 토요경제. 무단전재-재배포 금지]