거대 데이터 센터의 클라우드 서버를 거치지 않고 스마트폰 기기 자체에서 독립적으로 구동되는 '로컬 AI 챗봇' 기술이 아이폰 사용자들 사이에서 새로운 대안으로 부각되고 있다.

기존 챗GPT나 제미나이 등은 사용자가 질문을 입력하면 원격 서버 네트워크로 데이터를 전송해 처리하는 방식을 취한다. 반면 아이폰에서 구동되는 로컬 챗봇은 오픈 가중치(open-weight) 모델을 기반으로 설계되어 비행기 모드나 지하 등 인터넷 연결이 완전히 차단된 오프라인 환경에서도 단독으로 작동하는 것이 가장 큰 특징이다.

로컬 챗봇의 최대 강점은 비용 절감과 개인정보 보호다. 매달 20달러에서 최대 100달러에 이르는 대형 AI 기업들의 유료 구독료와 달리, 로컬 앱은 최대 5달러 안팎의 단발성 구매만으로 사용량 제한 없이 무제한 이용할 수 있다. 또한, 입력한 프롬프트나 공유한 데이터가 외부 서버로 전송되지 않고 기기 내부에서만 처리되므로 거대언어모델(LLM) 학습에 사용자의 사생활 정보가 무단으로 쓰이는 리스크를 원천 차단할 수 있다.

현재 앱스토어에서 활용 가능한 대표적인 로컬 AI 구동 앱으로는 '로컬리 AI(Locally AI)'와 '프라이빗 LLM(Private LLM)' 등이 있다. 이용자들은 앱을 통해 메타의 '라마 3.2(Llama 3.2)'나 구글의 '젬마 3(Gemma 3)' 등 검증된 오픈소스 모델을 직접 선택해 다운로드할 수 있다.

다만 기기 자체의 연산 능력과 저장 공간을 소모하는 특성상 한계점도 명확하다. 폐쇄형 클라우드 AI에 비해 문맥을 기억하는 창(Context Window)의 크기가 작아 장기 대화 시 정교함이 떨어지며, 인터넷 실시간 검색 기능이 제한되어 각 모델의 지식 컷오프(학습 데이터 기준일) 시점 이후의 최신 정보는 제공하지 못한다.

하드웨어 요구 사양도 높은 편이다. 30억 매개변수 규모의 라마 3.2 모델을 원활하게 구동하기 위해서는 약 1.81GB의 여유 공간과 함께 아이폰 15 프로 이상의 최신 칩셋 하드웨어가 권장된다. 695MB 수준의 10억 매개변수 이하 가벼운 모델들은 아이폰 12 등 구형 기기에서도 정상 작동이 가능하다. 이번 기술의 확산은 오는 6월로 예정된 미국 내 챗GPT 등 주요 서비스의 요금 인상 흐름과 맞물려, 과도한 구독료와 보안 유출에 피로감을 느낀 헤비 유저들을 중심으로 빠르게 영토를 넓혀갈 것으로 전망된다.