초거대 언어모델(LLM)을 실제 서비스에 적용하려면 모델 성능뿐 아니라 이를 구동하는 데 필요한 그래픽처리장치(GPU)와 메모리 부담도 함께 해결해야 한다. 최근 확산하는 전문가 혼합(Mixture of Experts, MoE) 구조는 입력에 필요한 일부 ‘전문가’만 선택해 연산하지만, 모델 전체를 메모리에 올려야 한다는 부담은 남는다.
모델의 메모리 사용량을 줄이는 양자화 과정에서도 문제가 발생할 수 있다. 수치가 조금만 달라져도 MoE가 원래와 다른 전문가를 선택하면서 답변 품질이 낮아질 수 있기 때문이다. AI 모델 경량화·최적화 기업 노타가 이러한 전문가 선택 변화를 줄이는 연구로 자연어처리 분야 주요 국제 학술대회에 이름을 올렸다.
노타는 ‘EMNLP 2026’에서 초거대 AI 모델 최적화 연구 논문 2편이 각각 메인 컨퍼런스와 파인딩스(Findings)에 채택됐다고 25일 밝혔다. 노타에 따르면 올해 대회에는 약 1만8000편의 논문이 제출됐으며 메인 컨퍼런스 채택률은 15.4%였다.
양자화 뒤 달라지는 ‘전문가 선택’에 주목
이번 연구의 핵심은 양자화 전후에 MoE 모델이 선택하는 전문가가 달라지는 현상을 줄이는 것이다. MoE는 하나의 거대한 모델이 모든 연산을 처리하는 대신, 입력에 따라 필요한 전문가 일부를 골라 사용한다. GPT 계열을 비롯해 큐웬(Qwen), 키미(Kimi) 등 최신 대형 모델에 이 구조가 빠르게 도입되고 있다.
MoE는 실제 연산에 참여하는 전문가 수를 제한할 수 있지만 전체 전문가를 메모리에 저장해야 한다. 양자화를 적용하면 이 부담을 줄일 수 있지만, 모델 내부의 미세한 수치 변화가 전문가 선택 결과까지 바꾸면 기존 답변 성능을 유지하기 어려워진다.
메인 컨퍼런스에 채택된 연구는 이러한 변화가 다음 단계의 전문가 선택에 미치는 영향까지 고려한 ‘MENDS-MoE’ 방법론을 제시했다. 선택 여부가 갈릴 수 있는 경계에 놓인 전문가들의 순서를 양자화 이후에도 보존하도록 설계한 것이 특징이다.
노타는 3종의 MoE 모델에 4비트와 3비트 양자화를 적용해 실험한 결과, 대부분의 평가 환경에서 비교 기술보다 높은 평균 정확도와 언어모델 성능을 기록했다고 설명했다.
파인딩스에 채택된 논문은 양자화로 발생한 모든 전문가 선택 변화를 같은 방식으로 보정하지 않는 접근법을 택했다. ‘오페라(OPERA)’로 명명된 이 방법론은 최종 답변에 영향을 주는 변화에 최적화 역량을 우선 배분한다.
MENDS-MoE가 전문가의 선택 순서와 경계를 유지하는 데 초점을 맞췄다면, OPERA는 제한된 최적화 자원을 답변 품질과 직결되는 변화에 집중한다. 두 연구는 접근 방식은 다르지만 양자화 이후에도 중요한 전문가가 선택되도록 해 모델 품질 저하를 줄인다는 공통점을 갖는다.
노타는 지난달 열린 국제머신러닝학회(ICML) 2026의 ‘자원 적응형 파운데이션 모델 추론(AdaptFM)’ 워크숍에서도 관련 연구 성과를 공개했다. 당시 ‘Efficient Qwen Competition’에서 약 40개 참가팀 가운데 3위를 차지했으며, MoE 양자화 연구 논문 2편도 워크숍에 채택됐다.
경진대회에서는 오픈소스 LLM ‘Qwen3.5-4B’를 엔비디아 A10G GPU 한 장에서 구동했다. 노타는 모델 성능을 유지하면서 기존보다 평균 6.978배 빠른 추론 속도를 구현했다고 밝혔다. 이번 EMNLP 채택 논문은 ICML 워크숍에서 선보였던 연구를 추가 실험과 분석을 통해 발전시킨 결과다.
모바일·엣지 넘어 초대형 모델과 데이터센터로
노타는 그동안 프루닝과 양자화 원천기술을 비롯해 모바일 엣지 AI, 생성형 AI, 비전언어모델(VLM), LLM 분야에서 50여건의 연구 결과를 국내외 학회와 학술지에 발표했다.
최근에는 모델 최적화 기술의 적용 대상을 모바일과 엣지 기기에서 초대형 LLM과 데이터센터 AI 인프라로 넓히고 있다. 모델 규모가 수천억개에서 수조개의 매개변수로 커지면서 성능을 유지한 채 GPU와 메모리 사용량을 줄이는 기술이 서비스 운영 효율과 직결되고 있기 때문이다.
노타가 공개한 최적화 결과에 따르면 1조개가 넘는 매개변수를 보유한 ‘Qwen3.8-Max’는 구동에 필요한 엔비디아 B300 GPU 수가 24장에서 4장으로 줄었다. 문샷AI의 ‘Kimi K3’는 B300 GPU 8장에서 최대 4장으로, 업스테이지의 ‘Solar Open 2’는 H100 GPU 8장에서 2장으로 각각 축소했다.
채명수 노타 대표는 “AI 모델이 수천억, 수조개의 매개변수 규모로 커지면서 산업의 경쟁축이 모델 자체의 성능을 넘어 운영 효율로 이동하고 있다”며 “이번 성과는 그동안 축적한 최적화 연구를 기반으로 초거대 언어모델과 데이터센터 AI 인프라의 효율을 높일 기술적 기반을 확보했다는 의미가 있다”고 말했다.
이어 “최신 AI 모델의 구조 변화에 선제적으로 대응할 수 있도록 연구개발 투자와 지원을 이어갈 것”이라며 “AI 인프라 도입의 효율을 높이는 핵심 최적화 기술의 적용 범위도 지속해서 확대하겠다”고 덧붙였다.
