국내 대표 AI 스타트업 업스테이지가 개발한 생성 AI 모델이 오픈AI의 챗GPT를 넘어 세계 최고 LLM 타이틀을 고수했다.
업스테이지는 자사가 개발한 생성 AI 모델이 세계 최대 머신러닝 플랫폼 허깅페이스에서 운영하는 '오픈 LLM 리더보드' 평가 점수에서 72.3점을 획득하여, 챗GPT의 기반인 GPT-3.5 성능을 뛰어넘고 1위를 차지했다고 1일 밝혔다.
이 리더보드는 전 세계 500여개의 오픈 모델들이 추론과 상식 능력, 언어 이해 종합능력 및 환각현상(할루시네이션) 방지 등 4가지 지표의 평균 점수로 경쟁하며 순위를 매긴다.
앞서 지난 달 업스테이지가 허깅페이스를 통해 공개한 30B(300억) 매개변수 모델은 평균 67점을 획득, 같은 날 발표된 메타의 '라마(LLaMA) 2' 70B 모델을 추월하고 국내 LLM 최초 1위 달성이라는 쾌거를 올린 바 있다. 이에 업스테이지는 더 많은 데이터로 최신 라마 2 70B(700억) 매개변수 기반으로 파인튜닝한 모델을 내놓으며 글로벌 1위 굳히기에 나섰다. 그 결과, 새롭게 공개된 업스테이지 70B 모델은 리더보드 평가에서 72.3점을 기록, 미국 스테빌리티(Stability) AI의 ‘스테이블 벨루가2’ 모델(71.4점)을 뛰어넘고 세계 1위를 재탈환하는 쾌거를 이뤄냈다.
특히, 업스테이지의 최신 모델은 챗GPT의 기반이 되는 GPT-3.5의 벤치마크 평가(71.9점) 점수를 넘어선 이변적인 성과를 보여줬다. 업스테이지 관계자는 "허깅페이스 리더보드 기준 GPT-3.5의 점수를 능가한 사례는 업스테이지가 최초"이라며 "토종 스타트업이 개발한 소형 LLM이 글로벌 빅테크 기업의 초거대 모델과 견주어도 충분한 경쟁력이 있다는 것을 증명했다"고 말했다.
앞으로 업스테이지는 자사의 AI 모델 상용화를 통해 본격적인 '프라이빗(Private) AI' 시장 개척에 나선다. 프라이빗 AI는 기업 내부데이터만 학습해 정보 유출을 막고 환각 현상을 방지하는데 특화된 솔루션으로, 보안 이슈 등으로 생성 AI 도입을 주저하는 기업들에게 매력적인 대체재로 각광받고 있다.
