GPT2-Chatbot, 알고보니 OpenAI의 비밀 병기 GPT-5?!

최근 온라인 상에서 LMSYS에서 운영하는 chat.lmsys.org에서 익명 AI 채팅봇 'GPT2-Chatbot'에 대한 열띤 토론이 있었습니다. 

샘 알트만이 이런 의미심장한 글을 X(구 Twitter)에 올리면서,

GPT2가 GPT-4나 GPT-4.5 일거라는 루머가 돌기 시작했는데요.

이 GPT2라는 채팅봇이 OpenAI가 비밀리에 출시한 차세대 대형 언어 모델인 GPT-5 또는 GPT-4.5일 것이라는 추측이 있었죠.

정말 그럴까요? 한번 살펴보도록 하겠습니다.

지난주에 먼저 GPT2이라는 이름이 LMSYS 리더보드에 상위 랭킹됐었습니다.

지금은 사라졌습니다.

실제 GPT-3 보다도 성능이 좋지 않을 것 같지만, 실제로는 기존 GPT-2 보다 훨씬 뛰어난 성능을 보이고 있습니다.

(사진 = 기존 GPT-2)

일반적인 GPT-4나 Claude Opus 수준의 완성도 높은 답변을 제공한다는 것이 여러 사용자들의 평가입니다. 

심지어 일부에서는 GPT-4를 넘어서는 수준이라고 말하기도 합니다.

이런 탁월한 성능 외에도 GPT2-Chatbot에서는 여러 가지 흥미로운 특징들이 발견되었습니다:

• OpenAI에서 사용하는 토크나이저와 동일한 토크나이저를 사용함
• "GPT-4 기반"이라고 스스로를 소개함
• OpenAI 특유의 프롬프트 인젝션 취약점 존재
• API 오류 메시지에서 OpenAI만의 오류 코드 발견

이 모든 정황들을 종합해 볼 때, GPT2-Chatbot이 OpenAI와 무관하지 않다는 추론이 가능해 보입니다.

그렇다면 OpenAI가 굳이 자사 모델을 익명으로 LMSYS에 공개한 이유는 무엇일까요? 추측컨대 새로운 GPT 모델을 벤치마킹하기 위한 "스텔스 모드" 테스트일 가능성이 있습니다.

사람들이 의도치 않게 GPT-4.5나 GPT-5라는 이름에 현혹되어 편향된 평가를 내리지 않도록 익명성을 유지하고, 다른 AI 기업들의 "대량 다운보팅" 공격에도 대비하기 위함일 수 있습니다. 

(출처 = https://rentry.co/GPT2)

LMSYS로부터 받은 사용자 피드백 데이터를 OpenAI가 강화학습에 활용할 수도 있겠네요.

한편으로는 LMSYS 자체 모델일 가능성도 완전히 배제할 순 없습니다. 최근 연구에 따르면 GPT-2 아키텍처도 충분한 학습을 거치면 놀라운 성능을 보일 수 있다고 합니다. GPT-4로 생성한 데이터를 활용해 학습한 GPT-2 기반 모델이 GPT-4스럽게 행동하는 것일 수도 있겠죠.

결론적으로 GPT2-Chatbot의 정체에 대해서는 아직 확실한 것은 없습니다. 하지만 여러 정황 증거들을 고려할 때 OpenAI의 차기작일 가능성이 상당히 높아 보입니다. GPT-4와 GPT-5의 중간 버전쯤 되는 "GPT-4.5"일 수 있겠네요. 구조화된 답변이나 few-shot 학습 능력 등 GPT-4 이후 개선된 기술들의 영향이 엿보입니다.

하지만 섣부른 판단은 금물입니다. 누구도 명확한 증거를 제시하지 못하는 상황이니까요. OpenAI가 공식 입장을 밝히기 전까지는 가능성의 문제일 뿐입니다. 앞으로도 GPT2-Chatbot의 행보를 주의 깊게 지켜볼 필요가 있겠네요.