작지만 강한 언어모델 Phi-3, 휴대폰에서도 GPT-3급 성능!

마이크로소프트가 발표한 새로운 작은 언어 모델인 Phi-3에 대해 알아보도록 하겠습니다. 

Phi-3는 Phi-2에서 사용된 것과 같은 훈련 기술을 사용하여 매우 작지만 높은 성능을 발휘하는 모델 세트라고 할 수 있습니다.

Phi-3는 크기가 작음에도 불구하고 대규모 언어 모델 수준의 성능을 보여줍니다. 

최신 휴대폰에 탑재될 만큼 작은데 Mixtral이나 GPT-3.5와 필적하는 품질을 자랑하죠. Phi-3의 비결은 3조 3천억 개의 토큰으로 학습된 고품질 데이터셋에 있습니다. 데이터를 정교하게 필터링하고 합성 데이터를 더하는 등 데이터 정제에 공을 들였기에 가능한 결과입니다. 

Phi-3는 Mini, Small, Medium 등 다양한 크기로 제공됩니다. 

특히 Phi-3 Mini는 38억 개 파라미터만으로도 MML에서 69%를 달성했어요. 

Mixtral 7B나 GPT-3.5보다 뛰어난 성적이죠. 또한 Phi-3 Mini는 휴대폰에서도 초당 12개 이상의 토큰을 처리할 정도로 빠른 속도를 자랑합니다.

물론 Phi-3에게도 약점은 있습니다. 모델 크기가 작아 방대한 지식을 저장하기 어렵고, 언어도 영어에 한정되어 있습니다. 하지만 검색 엔진 등 외부 도구와 연계한다면 이런 한계를 극복할 수 있을 거예요. 작은 모델에 에이전트와 도구 사용 능력을 더하면 휴대폰에서도 대단한 AI 비서를 만들 수 있습니다.

간단한 테스트를 통해 Phi-3의 성능을 확인해 봤는데요, 수학이나 논리 추론 문제는 대부분 훌륭하게 해결했습니다. 다만 긴 코드를 작성하는 등 특정 작업에서는 한계를 보였습니다. Phi-3는 복잡한 논리보다는 지식 기반의 질의응답에 더 적합해 보입니다. 

Phi-3는 크기 대비 매우 인상적인 성능을 보여주는 모델입니다. 이렇게 작은 모델이 휴대폰에서 돌아가면서 GPT-3급 성능을 보여준다는 건 정말 대단한 일이죠. 앞으로 Phi-3가 어떻게 활용될지 정말 기대가 됩니다. 마이크로소프트가 이런 혁신적인 모델을 공개로 풀어준 것에 박수를 보냅니다!