기업 ‘메타’의 로고 (출처: Unsplash)
지난 2월 24일(현지 시간), 페이스북의 운영사인 메타(Meta)가 공식 블로그를 통해 ‘라마(LLaMA)’라는 새로운 대규모 AI 언어 모델의 출시 소식을 알렸다. 마크 주커버그(Mark Zuckerberg) 메타 최고경영자(CEO)의 공식 발표에 따르면, 라마는 텍스트 생성부터 대화와 요약 등 다양한 작업이 가능하다. 또한 복잡한 기능도 수행할 수 있다고 알려졌다.
메타의 라마를 비롯해 마이크로소프트의 챗GPT(ChatGPT)의 공통점이 있다. 대규모 언어 모델(LLM)이라는 점이다. 다만, 라마는 챗GPT와는 달리 대중들에게 열려있는 시스템이 아닌, 연구자들로 이용 대상이 한정된다. 해당 언어 모델은 연구자가 AI 언어 모델의 문제점을 파악하고 연구를 돕는 역할을 한다.
문제를 해결하고 답을 찾거나 자체적으로 구성된 답변을 생성할 만큼 정교한 AI 모델을 위해선 컴퓨터 코드, 유전 데이터를 비롯한 기타 언어의 방대한 데이터가 요구된다. 하지만 라마는 기존의 대규모 언어 모델들과는 달리, 상대적으로 작은 규모의 데이터를 필요로 한다.
메타의 대규모 언어 모델, ‘라마(LLaMA)’ 공식 발표 (출처: 마크 주커버그 메타 CEO 페이스북 계정)
이렇듯 상대적으로 작은 대규모 언어 모델의 학습을 위해 메타는 전체 단어가 아닌, 단어 조각 토큰을 사용했다. 실제 라마 65B 버전과 라마 33B 버전은 1조 4000억 개의 토큰으로 훈련됐다. 라마는 다른 AI 기반 챗봇과 마찬가지로 텍스트 입력 프롬프트에서 사람과 같은 대화를 생성할 수 있다. 메타는 매개변수 범위가 70억에서 650억에 이르는 라마의 4가지 모델을 소개했다. 이를 통해 메타는 보다 정확한 답변을 제시할 수 있는 AI 언어 모델의 연구를 지원할 예정이다.
대규모 언어 모델은 질문에 답하고, 예측하고, 문제를 푸는 작업을 수행해 왔다. 하지만 많은 이들이 챗GPT와 같은 대규모 언어 모델로부터 부정확한 답변을 받기도 했다. 특히 챗GPT의 경우, 2021년까지의 데이터를 기반으로 해 최신 정보로 답하지 못하는데 변경된 사항에 대해 대답하지 않고 이전의 정보를 사실처럼 제공하면서 혼란을 주기도 했다.
(출처: Giphy)
메타의 공식 홈페이지 보도에 따르면, 라마는 대규모 언어 모델의 문제점을 해결하려는 목적을 가진다. 라마는 사례 탐색에 기존의 언어 모델들보다 훨씬 적은 컴퓨팅 성능과 리소스를 필요로 하므로, 대규모 언어 모델에서 연구하기 좋은 효율적인 모델이다. 따라서 메타는 라마를 통해 대규모 언어 모델의 한계를 연구자들이 보다 쉽게 해결할 수 있을 것으로 전망했다.
메타는 라마를 연구원, 학계, 정부, 시민단체 등에 비상업적으로 라이선스를 제공할 예정이다. 이와 관련해 마크 주커버그는 “메타는 라마라는 AI 개방형 연구 모델에 전념하고 있으며, AI 연구 커뮤니티에서 이를 사용할 수 있도록 할 것”이라 언급했다. 주커버그는 해당 모델을 오픈 소스로 공개할 예정이라고 밝혔다. 메타의 새로운 언어 모델 라마를 통해 AI 분야의 연구가 이전보다 더욱 발전할 수 있기를 기대한다.
테크플러스 에디터 배세린
tech-plus@naver.com
댓글0