구글 리서치가 AI 모델의 메모리 사용량을 획기적으로 줄이는 압축 알고리즘 '터보퀀트(TurboQuant)'를 3월 24일 공개했다. 터보퀀트는 대형언어모델(LLM)과 벡터 검색 엔진을 위한 압축 알고리즘으로, 올해 열리는 AI 학술대회 ICLR 2026에서 발표될 예정이다.

핵심 원리는 두 단계로 나뉘는데, 먼저 '폴라퀀트(PolarQuant)'가 데이터를 회전시켜 고품질로 압축하고, 이어 'QJL' 알고리즘이 1비트만으로 남은 오류를 제거해 정확도를 유지한다.

실험 결과, 터보퀀트는 별도의 모델 재학습 없이 키-값(KV) 캐시를 3비트까지 압축하면서도 정확도 손실이 전혀 없었다. 엔비디아 H100 GPU에서 4비트 터보퀀트를 적용했을 때, 32비트 비압축 방식 대비 최대 8배 빠른 처리 속도를 기록했다.

메모리 사용량은 기존 대비 6배 이상 줄어들어, 롱컨텍스트 벤치마크 전 항목에서 완벽한 성능을 유지했다.

구글은 이 기술이 제미나이같은 자사 AI 모델의 병목 문제를 해결하고, 수십억 개 벡터를 다루는 시맨틱 검색의 속도와 효율도 크게 높일 것으로 기대하고 있다.