700억 매개변수로 무장한 LLaMA 3, Open Source LLM 판도를 바꾸다

오늘은 메타에서 새롭게 발표한 LLaMA 3에 대해 소개해드리려고 해요.

메타는 약 1년 전 최초로 LLaMA 모델을 공개하면서 오픈소스 로컬 운영 모델의 열풍을 불러일으켰죠. 그 뒤로 LLaMA 2를 발표했고, 이제는 LLaMA 3까지 선보이게 되었어요. 

LLaMA 3는 80억 개와 700억 개의 사전 학습 및 인스트럭션 튜닝 버전으로 제공되며, 다양한 애플리케이션을 지원할 수 있어요. 340억 개의 중간 크기 버전은 아직 출시 준비 중인 것으로 보입니다.

메타에서 제공하는 추론 프런트엔드는 ChatGPT UI와 비슷하면서도 독자적인 특징을 갖추고 있어요. LLaMA 3는 언어의 뉘앙스를 이해하고, 문맥을 파악하며, 번역과 대화 생성 등 복잡한 작업을 훌륭히 해내죠. 특히 다단계 작업도 손쉽게 처리할 수 있고, 오답률도 크게 낮췄어요. 

코드 생성 능력도 크게 향상되었어요. Snake 게임을 직접 테스트해봤는데, 첫 시도에 바로 완벽한 코드를 작성해냈죠. LLaMA 3는 15조 개가 넘는 데이터로 훈련되었고, 8K 컨텍스트 길이를 지원해요. 벤치마크 결과를 보면 작은 모델(80억)과 큰 모델(700억) 모두 경쟁 모델들을 압도하고 있어요.

메타는 LLaMA 3를 오픈소스로 공개하면서 책임감 있는 사용을 강조하고 있어요. 개발자들이 안전 도구에 쉽게 접근할 수 있도록 하고, 모델이 적절하게 활용되도록 다양한 가이드와 평가 시스템을 제공하죠.  

메타AI라는 새로운 챗봇도 공개되었는데, 현재 가장 지능적인 무료 AI 시스템이라고 할 수 있어요. 음성 대화, 이미지 생성 등 다양한 기능을 갖추고 있죠. 미국 외 여러 국가에서도 이용할 수 있습니다.

하지만 아쉽게도 meta.ai 홈페이지에 접속하면 아직 한국에서는 지원이 안되고 있습니다.

메타는 주요 플랫폼인 페이스북, 인스타그램, 왓츠앱, 메신저에도 LLaMA 3를 활용할 계획이에요. 

일상 속 여러 과제들을 손쉽게 해결해주는 AI 도우미가 되어줄 거라고 합니다.

개발자들은 메타의 GitHub 페이지를 통해 LLaMA 3의 코드와 모델을 다운로드 받을 수 있어요. 

https://github.com/meta-llama/llama3 

아직 원본 가중치는 공개되지 않은 것으로 보이지만, 충분히 활용도가 높을 거라고 생각해요.

벤치마크 결과만 봐도 LLaMA 3가 이전 버전에 비해 크게 성능이 향상되었음을 알 수 있어요. 저도 직접 테스트를 해볼 계획인데, 여러분도 한번 사용해보시는 건 어떨까요? 

이상으로 LLaMA 3 소개를 마칠게요. 앞으로 AI 분야에 또 어떤 혁신이 있을지 기대됩니다!