Apple has revealed ambitious plans for artificial intelligence. The company recently published a paper, "LLM in a Flash," which describes a technique that "addresses a current computing bottleneck. "This technology will pave the way for effective inference of large-scale language models (LLMs) even on memory-constrained devices," the researchers wrote. Inference refers to how the LLM, the large data store that powers apps like ChatGPT, responds to user questions. Chatbots and LLMs typically run in huge data centers with far more computing power than an iPhone. The announcement marks Apple's second creative AI paper this month, and follows the company's development of techniques to run image generation models like Stable Diffusion on its own chips.
애플이 인공지능 분야에서 야심찬 계획을 밝혔다. 애플은 최근 논문 'LLM in a Flash'를 발표하며, '현재 컴퓨팅 병목 현상을 해결하는 기술'을 제시했다. 연구원들은 "이 기술이 제한된 메모리 장치에서도 대규모 언어 모델(LLM)의 효과적인 추론(inference)을 위한 길을 열어줄 것"이라고 밝혔다. 추론은 ChatGPT와 같은 앱을 구동하는 대규모 데이터 저장소인 LLM이 사용자 질문에 어떻게 반응하는지를 말한다. 대화형 로봇(chatbot) 및 LLM은 일반적으로 iPhone보다 훨씬 더 강력한 컴퓨팅 성능을 가진 거대한 데이터 센터에서 실행된다. 이번 발표는 애플이 이달 두 번째로 창작적 인공지능 분야 논문을 발표한 것이며, 스테이블 디퓨전(Stable Diffusion)과 같은 이미지 생성 모델을 자체 개발한 칩에서 실행하는 기술 개발에 이어지는 것이라는 평가다.
