구글, AI 압축 알고리즘 '터보퀀트' 공개…메모리 6배 줄이고 속도는 8배 향상

구글 리서치가 AI 모델의 메모리 사용량을 획기적으로 줄이는 압축 알고리즘 '터보퀀트(TurboQuant)'를 3월 24일 공개했다. 터보퀀트는 대형언어모델(LLM)과 벡터 검색 엔진을 위한 압축 알고리즘으로, 올해 열리는 AI 학술대회 ICLR 2026에서 발표될 예정이다.

핵심 원리는 두 단계로 나뉘는데, 먼저 '폴라퀀트(PolarQuant)'가 데이터를 회전시켜 고품질로 압축하고, 이어 'QJL' 알고리즘이 1비트만으로 남은 오류를 제거해 정확도를 유지한다.

실험 결과, 터보퀀트는 별도의 모델 재학습 없이 키-값(KV) 캐시를 3비트까지 압축하면서도 정확도 손실이 전혀 없었다. 엔비디아 H100 GPU에서 4비트 터보퀀트를 적용했을 때, 32비트 비압축 방식 대비 최대 8배 빠른 처리 속도를 기록했다.

메모리 사용량은 기존 대비 6배 이상 줄어들어, 롱컨텍스트 벤치마크 전 항목에서 완벽한 성능을 유지했다.

구글은 이 기술이 제미나이같은 자사 AI 모델의 병목 문제를 해결하고, 수십억 개 벡터를 다루는 시맨틱 검색의 속도와 효율도 크게 높일 것으로 기대하고 있다.

버트

ai@tech42.co.kr
기자의 다른 기사보기
저작권자 © Tech42 - Tech Journalism by 테크42 무단전재 및 재배포 금지

관련 기사

구글 제미나이, 사용자 대신 '맥' 직접 제어… 에이전트 기능 본격화

미국 빅테크 기업 구글이 맥OS용 제미나이 데스크톱 애플리케이션에 인공지능이 사용자를 대신해 기기를 직접 조작하는 '컴퓨터 사용' 기능을 도입했다.

나스닥 입성 앤트로픽, '상업·정치 압박 불굴' 안전 우선 선언

사상 최대 규모의 기업공개(IPO)를 통해 미국 나스닥 시장에 공식 입성한 인공지능 기업 앤트로픽이 상업적 이해관계나 정치적 외압에 흔들리지 않고 인공지능 시스템의 개발 및 배포 속도를 철저히 조절하겠다는 원칙을 천명했다.

팔로알토, AI 스타트업 6조 3,000억 원에 전격 인수… 연간 매출 전망 상향

미국 사이버보안 기업 팔로알토 네트웍스(Palo Alto Networks)가 인공지능 활용 확대에 따른 보안 수요 급증에 힘입어 연간 매출 전망치를 상향 조정하고, 인공지능 스타트업 어플라이드 컴퓨트(Applied Compute)를 45억 달러(약 6조 3,000억 원)에 인수하기로 합의했다.

머스크, 젠슨 황 축출한 엔비디아 정면 비판… 시총 1,400조 원 증발 파장

미국 전기차·인공지능 기업 테슬라와 소셜미디어 엑스(X)를 이끄는 일론 머스크 최고경영자(CEO)가 혼외정사 및 중국 스파이 연루 의혹으로 창업자 젠슨 황을 퇴출시킨 엔비디아 이사회의 결정을 정면으로 비판했다.