Microsoft has unveiled a new AI model that runs on standard CPUs instead of GPUs. Unlike conventional large language models (LLMs), this model adopts a “1-bit architecture,” using only three possible weight values—-1, 0, and 1—instead of 8- or 16-bit floating-point numbers. This approach enables efficient AI operation on CPU-based computers by relying solely on simple addition and subtraction, and in actual tests, the model outperformed comparable GPU-based models in its class. It also significantly reduced both memory and energy consumption. The researchers developed a dedicated runtime environment called ‘bitnet.cpp’ for this model. If commercialized, this technology could allow users to run AI services such as chatbots on PCs or smartphones without relying on large data centers. It is expected to bring benefits such as energy savings, enhanced privacy, and the ability to use AI offline.
마이크로소프트가 GPU가 아닌 일반 CPU에서 동작하는 새로운 AI 모델을 공개했다. 이번 모델은 기존 대규모 언어모델(LLM)과 달리, 가중치를 8비트 또는 16비트 부동소수점 대신 -1, 0, 1의 세 가지 값만 사용하는 ‘1비트 아키텍처’를 적용한 것이 특징이다. 이 방식은 덧셈과 뺄셈만으로 연산이 가능해 CPU 기반 컴퓨터에서도 효율적으로 AI를 구동할 수 있으며, 실제 테스트 결과 동급 GPU 기반 모델을 뛰어넘는 성능을 보이기도 했다. 메모리와 에너지 사용량도 대폭 줄었다. 연구진은 이 모델을 위한 전용 런타임 환경 ‘bitnet.cpp’도 개발했다. 이 기술이 상용화될 경우, 대형 데이터센터에 의존하지 않고도 PC나 스마트폰에서 챗봇 등 AI 서비스를 사용할 수 있을 전망이다. 에너지 절감과 개인정보 보호, 오프라인 AI 활용 등 다양한 효과가 기대된다.
