Meta's latest artificial intelligence (AI) model, Llama 4, has been unveiled through the Cloudflare Workers AI platform. Llama 4 is a multimodal open-source model built on the Mixture of Experts (MoE) architecture and early-fusion design, enabling it to understand both text and images simultaneously. Llama 4 consists of two models: Llama 4 Scout and Llama 4 Maverick. Llama 4 Scout features 109 billion total parameters with 17 billion active parameters and is supported by 16 experts. Meanwhile, Llama 4 Maverick has 400 billion total parameters with the same 17 billion active parameters but utilizes a larger system of 128 experts. Currently, only the Scout model is available on Workers AI. Notably, Llama 4 Scout supports a context window of up to 10 million tokens, allowing it to handle tasks such as long conversations, document summarization, and analyzing extensive codebases. At launch, Workers AI supports an initial context window of 131,000 tokens, with plans for further expansion in the future.
Meta의 최신 인공지능(AI) 모델인 Llama 4가 Cloudflare Workers AI 플랫폼을 통해 공개됐다. Llama 4는 전문가 혼합(Mixture of Experts, MoE) 아키텍처와 초기 융합(early-fusion) 설계를 기반으로 한 멀티모달 오픈소스 모델로, 텍스트와 이미지를 동시에 이해할 수 있는 기능을 갖추고 있다. Llama 4는 두 가지 모델로 구성된다. Llama 4 Scout는 총 1090억 개의 파라미터 중 170억 개를 활성화하며, 16명의 전문가로 구성된 반면, Llama 4 Maverick은 총 4000억 개의 파라미터 중 동일하게 170억 개를 활성화하며, 128명의 전문가를 포함한다. 현재 Workers AI에서는 Llama Scout 모델이 제공된다. 특히 Llama 4 Scout는 최대 1000만 토큰의 컨텍스트 창을 지원하며, 이는 긴 대화를 유지하거나 문서 요약, 대규모 코드베이스 분석 등 다양한 작업에 적합하다. 초기 단계에서는 최대 131,000 토큰을 지원하며 향후 확장될 예정이다.
