AI PC의 성능 경쟁이 개별 칩의 연산 능력을 넘어, GPU와 NPU 등 여러 연산 장치를 얼마나 효율적으로 조합하느냐의 문제로 확장되고 있다. 대규모언어모델(LLM)을 PC 내부에서 실행하는 온디바이스 AI 환경에서는 제한된 전력과 연산 자원을 활용해야 하는 만큼, 하드웨어 구성 전체를 고려한 최적화 역량이 사용자 경험을 좌우하는 핵심 요소로 떠오르고 있다.
AI 경량화 및 최적화 기술 기업 노타는 AI PC 환경에서 GPU와 NPU를 함께 활용하는 이기종 컴퓨팅 기반 LLM 추론 최적화 기술을 구현했다고 4일 밝혔다. 이기종 컴퓨팅은 CPU, GPU, NPU처럼 서로 다른 특성을 가진 프로세서가 각자 강점을 가진 연산을 나눠 처리하도록 구성하는 방식이다.
노타는 인텔 루나 레이크 기반 AI PC에서 LLM 실행 과정을 입력 처리 단계와 답변 생성 단계로 나눠 분석했다. 이후 입력 처리 연산은 GPU에서, 답변 생성 연산은 NPU에서 수행하도록 배치하는 ‘분리형 추론’ 방식을 적용했다. 단순히 여러 연산 장치를 동시에 사용하는 것이 아니라, AI 모델의 작업 흐름과 하드웨어 특성을 맞물리게 설계한 것이 특징이다.
성능 평가에서도 효율 개선이 확인됐다. 노타에 따르면 분리형 추론 적용 결과 단일 GPU 실행 방식과 비교해 토큰당 에너지 소비는 약 32% 줄었고, 생성 처리량은 약 12% 높아졌다. 단일 NPU 방식과 비교해서는 첫 응답 지연시간이 약 89% 단축됐다. 평가는 인텔 루나 레이크 기반 AI PC와 MoE LLM, 컨텍스트 윈도 크기 512 조건에서 진행됐다.
이번 결과는 같은 AI PC라도 연산 장치를 어떻게 배분하느냐에 따라 실제 응답 속도와 전력 효율이 달라질 수 있음을 보여준다. 특히 AI 에이전트용 PC처럼 로컬 환경에서 LLM을 반복적으로 실행해야 하는 경우, 모델 경량화뿐 아니라 런타임과 하드웨어 활용 방식까지 함께 최적화하는 접근이 중요해질 수 있다.
노타는 이번 성과가 AI PC 확산 흐름 속에서 자사의 온디바이스 AI 최적화 역량을 보여주는 사례라고 설명했다. 회사는 모델 경량화, 런타임 최적화, 하드웨어 최적화 기술을 결합해 AI PC 환경에서 LLM 실행 효율을 높여 나간다는 계획이다.
채명수 노타 대표는 “AI PC 시대에는 AI 모델을 기기 안에 올리는 것만으로는 충분하지 않다”며 “GPU, NPU 등 다양한 연산 장치를 모델 특성에 맞게 조합하는 최적화 역량이 실제 AI 경험을 좌우한다”고 말했다.
