구글, 농담까지 이해하는 AI 공개

- Advertisement -

구글이 사람의 농담까지 이해하는 대규모 언어 모델을 발표했다.

구글 리서치의 소프트웨어 엔지니어 샤란 나랑(Sharan Narang)과 아캉샤 초헤리(Aakanksha Chowdhery)는 4일(현지시간) 구글 AI 블로그를 통해 새로운 AI 언어 모델 ‘PaLM(Pathways Language Model)’을 소개했다.

구글은 4일 새로운 언어 모델 PaLM을 공개했다 (출처 : Google)

PaLM은 작년 10월 구글이 차세대 AI 아키텍처로 소개한 ‘패스웨이(Pathways)’ 시스템을 적용한 대규모 신경망이다. 패스웨이는 단일 모델을 학습시키는 데 특화된 시스템이다.

기존 AI 모델은 딥 러닝을 통해 학습하며, 학습한 내용 하나마다 한 가지 문제나 예시를 해결할 수 있다. 따라서 딥 러닝으로 학습한 모델을 제대로 활용하려면 수백만 개의 예제를 학습시켜야 했다.

패스웨이는 딥 러닝에서 한 단계 진보한 ‘퓨샷(Few-shot) 러닝’을 사용한다. 단일 모델을 학습시켜도 이를 다른 작업이나 문제를 해결할 때 활용할 수 있다. 새로운 작업이 필요한 경우 기존 딥 러닝은 이에 맞는 학습을 수행해야 적용 가능하지만 퓨샷 러닝은 기존 학습 내용을 응용하고 추론하는 게 가능하다.

예를 들어 항공 사진으로 어떤 지역의 지형을 파악했다면, 이 데이터는 해당 지역에 홍수가 발생했을 때 물이 어떻게 흐를지 예측하는 데에도 사용될 수 있다.

PaLM은 패스웨이로 훈련된 5400억 개의 매개변수가 포함돼 있다. 이를 통해 수백 가지의 언어를 이해하고 생성할 수 있으며 지금까지 개발된 다른 언어 모델보다 학습 효율이 높다.

구글은 PaLM을 학습시키는 데 고품질의 웹 문서와 도서, 위키피디아, 대화와 깃허브(GitHub) 코드가 포함된 다국어 데이터 세트 조합을 사용했다고 밝혔다. 발표 자료에 따르면 질의응답과 문장 완성, 문맥 이해, 상식 추론을 비롯한 29가지 영어 자연어 처리 작업 성능을 평가한 결과 28개 부문에서 기존 언어 모델보다 높은 성능을 보였다.

PaLM의 모델 규모가 커지면 사람보다 높은 성능을 내기도 한다 (출처 : Google)

자연어 추론과 번역, 질의응답 관련 성능을 측정하는 ‘BIG-bench(Beyond Imitation Game Benchmark)’라는 벤치마크 테스트도 진행했다. 그 결과 PaLM은 기존 언어 모델 고퍼(Gopher)보다 우수한 성능을 내는 것으로 나타났다. 심지어 모델의 규모가 일정 이상 커지면 동일한 작업을 수행하는 사람보다도 높은 성능을 보이는 것으로 밝혀졌다.

이모티콘으로 영화 제목 맞히기(왼쪽)와 구글 관련 농담 해석하기(오른쪽) (출처 : Google)

이러한 자연어 이해 성능을 통해 주어진 상황의 인과관계를 구별하고 단어의 개념을 이해할 수 있다. 심지어 이모티콘으로 묘사한 영화 제목을 맞히거나 온라인에 없는 새로운 유형의 농담도 해석하고 설명하는 능력까지 갖췄다.

PaLM은 수학 문제를 계산하는 과정도 자연어로 설명한다 (출처 : Google)

PaLM은 3개의 산술 데이터 세트와 2개의 상식 추론 데이터 세트를 통해 ‘사고’가 가능한 모습까지 보였다. 초등학교 수준 수학 문제를 푸는 벤치마크 ‘GSM8K’ 문제를 풀도록 한 결과 기존의 최고 점수였던 55%를 능가하는 58%의 정답률을 보였다. 이는 동일한 문제 세트를 9~12세 어린이가 풀었을 때 평균 정답률인 60%에 근접하는 수치다. 게다가 PaLM은 기존 언어 모델처럼 정답만 제시하는 게 아니라 풀이 과정까지 자연어로 설명했다.

오류가 있는 코드를 AI가 수정한 모습 (출처 : Google)

PaLM은 최근 프로그래밍 분야에서 주목하는 ‘자연어 코딩’에도 도움이 된다. 자연어로 어떤 코드를 짜고 싶은지 상세히 설명하면 그대로 코드를 만들어 준다. 이미 짠 코드를 다른 프로그래밍 언어로 변환하는 ‘트랜스코딩’ 작업, 오류가 있는 코드가 성공적으로 컴파일될 때까지 고치는 수정 작업도 가능하다.

소식을 보도한 해외 매체 ‘서치엔진 저널(Search Engine Journal)’은 PaLM을 차세대 검색 엔진에 도입할 만하다고 덧붙였다. 인터넷을 비롯해 다양한 출처로 얻은 지식을 활용하면 검색 엔진 사용자가 복잡한 검색어를 입력해도 검색 의도를 파악해 정확한 결과를 찾아낼 수 있다는 주장이다.

단, 본격적으로 PaLM을 활용하기 전에 해결해야 할 문제가 있다. AI가 편향된 사고를 갖지 못하게 예방해야 한다. 온라인으로 학습하는 이상 잘못된 정보나 차별·혐오 관념이 반영될 가능성이 있기 때문이다.

연구팀은 PaLM이 사회적으로 해로운 고정 관념을 스스로 걸러내기 어렵다며, 향후 언어 모델이 편향적인 결과를 내지 않도록 영향을 줄이는 방법을 연구해야 한다고 덧붙였다. 이를 위해 PaLM을 실제로 사용할 때에는 언어 모델의 잠재적인 피해를 완화할 수 있도록 상황에 맞는 공정성 평가가 추가로 진행돼야 한다고 밝혔다.

테크플러스 에디터 이병찬

tech-plus@naver.com​

[fv0012]

- Advertisement -

댓글

Please enter your comment!
Please enter your name here


Related Stories