카카오, AI 안전성 지키는 ‘세이프가드’ 모델 오픈소스 공개

IT·플랫폼 / 최영준 / 2025-05-27 09:56:48
증오표현·프롬프트 공격·개인정보 탐지 기능 포함…“책임감 있는 AI 확산 선도”
▲ 카나나 세이프가드 모델 <사진=카카오>

 

[토요경제 = 최영준 기자] 카카오가 생성형 AI의 안전성과 윤리성을 강화하기 위한 자체 ‘AI 가드레일’ 모델을 개발해 공개했다. 카카오의 한국어 기반 언어 모델 ‘카나나(Kanana)’를 활용해 만든 이번 모델은 생성형 AI의 오작동 가능성과 윤리 리스크를 줄이기 위한 목적이다.

카카오는 27일, AI 가드레일 모델 ‘카나나 세이프가드(Kanana Safeguard)’를 글로벌 AI 플랫폼 허깅페이스(Hugging Face)에 오픈소스로 공개했다고 밝혔다. 이 모델은 사용자의 발화나 AI의 응답에서 유해 요소를 감지하고, 다양한 위험 요소에 대응하는 기능을 포함한다.

공개된 모델은 총 3종이다. ▲‘카나나 세이프가드’는 증오 표현, 괴롭힘, 성적 콘텐츠 등 사회적 유해 발화를 탐지하고, ▲‘세이프가드-사이렌’은 개인 정보, 지식재산권 등 법적 위험을 식별하며, ▲‘세이프가드-프롬프트’는 AI 시스템을 악용하려는 프롬프트 공격을 탐지한다.

카카오는 “카나나 세이프가드는 한국어와 한국 문화를 반영한 자체 구축 데이터셋을 활용해 개발했다”고 설명했다. 기존 글로벌 모델들이 영어권 중심으로 구축돼 국내 이용자 환경과 괴리감이 있다는 점에서, 보다 정교한 한국어 안전 대응을 목표로 한 것이 특징이다.

카카오는 향후 다양한 개발자들과 협업하며, 생성형 AI 안전성 강화를 위한 기술적 기여를 이어갈 계획이다.

김경훈 카카오 AI 세이프티 리더는 “생성형 AI의 등장 이래, 기술의 발전과 더불어 AI 윤리와 안전성에 대한 중요성이 국내외에서 점차 부각되고 있다”며 “책임감 있는 AI 구축에 대한 인식을 널리 확산시키고, 사회적 가치를 고려한 기술 개발이 이어질 수 있도록 선제적인 대응을 이어갈 계획”이라고 밝혔다.

 

토요경제 / 최영준 기자 cyj@sateconomy.co.kr 

[ⓒ 토요경제. 무단전재-재배포 금지]

최영준
최영준 안녕하세요. '토요경제' 최영준 입니다.
기자 페이지

기자의 인기기사

뉴스댓글 >

    많이 본 기사

    1
    신한·KB국민·하나 뚫은 해킹, 은행 '본체' 아닌 주변부 노려

    신한·KB국민·하나 뚫은 해킹, 은행 '본체' 아닌 주변부 노려

    최근 금융권에서 잇따른 해킹 사고는 인터넷뱅킹이나 계정계보다 대출모집인·임직원 등이 사용하는 외부 업무시스템에 집중됐다. 금융당국도 외부 웹페이지와 서버를 보안 사각지대로 지목하면서 금융권의 보안 점검 범위가 핵심 전산망에서 외부 접점으로 확대되고 있다.5일 금융당국과 금융권에 따르면 현재 정보유출이 확인된 곳은 신한·KB국민·하나·BNK부산은행과 현대캐피

    2
    SK에코플랜트, AI·반도체 82% 됐다…12월 합병 시험대는 '본체 이익'

    SK에코플랜트, AI·반도체 82% 됐다…12월 합병 시험대는 '본체 이익'

    SK에코플랜트의 사업 중심은 이미 건설에서 AI·반도체로 옮겨갔다. 12월 SK에코엔지니어링 합병을 앞두고 다음 과제는 커진 외형을 본체의 안정적인 이익으로 연결하는 데 있다.8일 SK에코플랜트의 재무자료와 회사 자료를 종합하면 올해 상반기 연결 매출은 10조504억원, 영업이익은 1조4650억원이다. 2분기에만 매출 5조1507억원, 영업이익 5336억원

    3
    두산건설, 도시정비 4조 돌파…수주 늘리고 원가율 낮춰

    두산건설, 도시정비 4조 돌파…수주 늘리고 원가율 낮춰

    두산건설이 도시정비사업 수주를 4조원대로 끌어올렸다. 상반기 이후 1조3000억원 넘는 시공권을 추가하면서도 기존 사업장의 원가율을 낮춰 수익성을 함께 개선했다.7일 건설업계에 따르면 두산건설은 올해 현재까지 13개 도시정비 사업장에서 총 4조110억원 규모의 시공권을 확보했다. 서울과 수도권의 민간 재개발·재건축뿐 아니라 공공재개발과 도심 공공주택 복합사

    4
    퍼스트솔라, JA Solar까지 제소…미 태양광 장벽 '관세서 특허로'

    퍼스트솔라, JA Solar까지 제소…미 태양광 장벽 '관세서 특허로'

    미국 태양광 시장의 진입장벽이 관세와 원산지 규제에서 핵심 제조기술 특허로 넓어지고 있다. 미국 퍼스트솔라(First Solar)가 중국 제이에이솔라(JA Solar)를 상대로 TOPCon 특허소송을 추가하면서 미국 시장에서는 생산기반과 공급망에 이어 지식재산권 관리가 새로운 경쟁요소로 부상하고 있다.5일 미국 법원 기록과 로이터 등에 따르면 First S

    5
    iM뱅크·SBI저축은행도 공격…금감원 8월부터 금융권에 경고

    iM뱅크·SBI저축은행도 공격…금감원 8월부터 금융권에 경고

    최근 금융권을 겨냥한 사이버 공격이 본격화하기 전부터 금융감독원이 국가배후 해킹조직의 공격 징후를 포착해 금융회사에 보안 강화를 요구했던 것으로 확인됐다. 이후 iM뱅크와 SBI저축은행 등에도 실제 공격이 이어지면서 금융당국의 사전 경고가 개별 금융회사의 보안체계에서 얼마나 제대로 작동했는지가 후속 점검 대상으로 떠올랐다.8일 국회 정무위원회 손명수 의원실

    SNS