알고보니 거짓점수였어? 카카오 AI 논란

- Advertisement -

(출처: KAKAO)

카카오 자회사인 카카오브레인이 지난해 11월 공개한 초거대 AI(인공지능) 언어 모델 ‘코지피티(KoGPT)’ 성능 점수를 거짓 기재했다는 의혹에 휩싸였다.

인공지능도 신기한데, 초거대 인공지능은 무엇일까. 인공지능의 성능을 측정하는 대표적인 기준은 파라미터(변수)다. 파라미터는 뇌에서 정보를 전달해 주는 ‘시냅스’와 비슷한 역할을 한다. 초거대 인공지능은 기존 인공지능보다 최소 수백 배 이상 많은 파라미터를 가지고 있기 때문에 대규모 데이터를 ‘스스로’ 학습할 수 있다.

(출처: NAVER)

코지피티는 초거대 언어 모델 ‘GPT-3’에 영감을 받아 개발됐다. GPT-3는 일론 머스크의 투자를 받은 ‘오픈 AI’가 2020년 공개해 뜨거운 관심을 모았던 인공지능이다. 파라미터 1750억 개를 가진 현존 최고 성능의 자연어 처리 능력을 구사한다.

반면 코지피티는 60억 개의 파라미터와 2000억 개의 한국어 데이터를 바탕으로 구축됐다. 발표 당시에는 네이버의 ‘하이퍼클로바’와 엘지의 ‘엑사원’에 비해 성능이 떨어진다는 평가를 받았다. 하이퍼클로바와 엑사원은 각각 2040억 개, 3000억 개로 파라미터 수에서 최대 5배가량 차이났기 때문이다.

(출처: unsplash)

그런데 카카오가 오픈소스 커뮤니티 깃허브(Githup)에 기재한 코지피티 성능 점수에 오류가 있다는 지적이 나왔다. 코드 초기화를 시키지 않은 채 테스트를 진행해 기존보다 높은 점수가 나왔는데, 이를 수정하지 않고 그대로 깃허브에 기재했다는 것이다.

AI 타임스가 16일 보도한 바에 따르면, AI 업계 관계자는 “제대로 된 평가를 했을 때 카카오 코지피티 점수는 리포트에 발표한 점수보다 약 5점 정도가 낮다”라며 “카카오는 자사 초거대 AI 모델이 네이버의 하이퍼클로바나 SKT의 코지피티 2보다 높은 성능을 보였다고 발표했지만 잘못된 사실”이라고 주장했다. 잘못된 코드명은 수정했지만 그로 인해 잘못 나온 점수는 그대로 기입해 고의성이 다분하다는 평가다.

(출처: unsplash)

또 다른 관계자는 “카카오는 네이버와 LG가 초거대 AI 모델을 공개하고 성능을 입증하자 급하게 코지피티를 공개한 감이 있다”면서 “성과에만 몰두한 결과라고 평가했다.

카카오브레인 측은 문제에 대해 “해당 사항에 대해 내부적으로 확인 중이며 문제가 있을 시 정정 조치하겠다”는 입장을 밝혔다. 인공지능 개발 대결에서 정정당당한 승부가 이뤄질 수 있을지 지켜봐야 할 것 같다.

테크플러스 에디터 이지은

tech-plus@naver.com​

[fv0012]

- Advertisement -

댓글

Please enter your comment!
Please enter your name here


Related Stories