Chinese AI startup DeepSeek has unveiled an experimental model, “V3.2-exp,” aimed at optimizing long-context processing. The model adopts a “Sparse Attention” mechanism that selectively processes only the most important parts of the context window and focuses on specific tokens, allowing it to reduce API call costs by up to 50 percent in initial testing. DeepSeek has released the model on Hugging Face and published a related research paper on GitHub. The researchers explained that this approach enables more efficient operation of the fundamental transformer architecture.

중국 AI 스타트업 딥시크(DeepSeek)가 장기 문맥 처리 최적화를 목표로 한 실험용 모델 ‘V3.2-exp’를 공개했다. 이번 모델은 ‘스파스 어텐션(Sparse Attention)’ 방식을 도입해 문맥 창에서 중요한 부분만 선별적으로 처리하고, 선택된 토큰만 집중 분석하는 구조다. 이를 통해 기존 대비 최대 50%까지 API 호출 비용을 줄일 수 있는 것으로 초기 테스트에서 확인됐다. 딥시크는 해당 모델을 허깅페이스(Hugging Face)에 공개했으며, 관련 논문도 깃허브에 게시했다. 연구진은 이를 통해 기본 트랜스포머 구조를 더 효율적으로 운용할 수 있다고 설명했다.