Meta представила Llama 4 — новую эру в развитии искусственного интеллекта

Презентация моделей Meta Llama 4

Компания Meta представила новое поколение моделей искусственного интеллекта Llama 4. В линейку вошли три модели: Scout, Maverick и Behemoth. Первые две доступны в открытом доступе, а Behemoth предназначена исключительно для внутреннего использования.

Особенности моделей Scout и Maverick

Scout построена на архитектуре Mixture of Experts (MoE) и содержит 109 миллиардов параметров. При активации двух из 16 экспертов она использует 17 миллиардов активных параметров. Главная особенность Scout — поддержка контекста длиной до 10 миллионов токенов. Модель работает на одном GPU H100 с квантованием Int4 и обучена на более чем 200 языках.

Maverick — более крупная модель с 400 миллиардами параметров. Из 128 экспертов активируется 17 миллиардов параметров. Она также использует MoE и может работать как на одном хосте с GPU H100 DGX, так и на нескольких GPU. В рейтинге LMSYS Chatbot Arena Maverick набрала 1417 ELO, превзойдя GPT-4o и Gemini 2.0 Flash.

Обе модели поддерживают мультимодальный ввод — текст и изображения. Они способны обрабатывать до восьми изображений за один запрос и сохраняют контекст длиной до 10 миллионов токенов.

Модель Behemoth и её возможности

Behemoth — самая мощная модель с примерно 2 триллионами параметров. При активации 16 из 16 экспертов она использует 288 миллиардов активных параметров. В области STEM Behemoth превосходит GPT-4.5, Claude Sonnet 3.7 и Gemini 2.0 Pro. Однако эта модель не доступна для широкой публики и используется только внутри Meta.

Применение Llama 4 в продуктах Meta

Meta интегрирует модели Llama 4 в популярные приложения — WhatsApp, Instagram, Messenger и Facebook. Точные детали о том, какая модель работает в каком сервисе, компания не раскрывает.

Новые возможности искусственного интеллекта

Высокая длина контекста и мультимодальная поддержка Scout и Maverick открывают пользователям более глубокие и сложные сценарии взаимодействия с ИИ. Это свидетельствует о том, что искусственный интеллект всё активнее проникает в повседневную жизнь.

Llama 4 от Meta знаменует новый этап в развитии ИИ, сочетая открытые и высокопроизводительные внутренние модели для создания технологий будущего.