DiffusionGemma ускоряет генерацию текста в искусственном интеллекте

DiffusionGemma открывает новую эру в генерации текста

В сфере искусственного интеллекта всегда стояла задача найти баланс между скоростью и качеством генерации текста. Новый экспериментальный открытый модель DiffusionGemma предлагает прорыв в скорости: она генерирует текст блоками параллельно, а не последовательно, что ускоряет процесс в четыре раза на GPU.

Рекордная скорость и эффективность на GPU

Разработанная в сотрудничестве с NVIDIA, DiffusionGemma оптимизирована для разных графических процессоров. На NVIDIA H100 модель способна создавать более 1000 токенов в секунду, а на GeForce RTX 5090 — свыше 700 токенов в секунду. При этом активируется лишь 3,8 миллиарда параметров из 26 миллиардов, что позволяет запускать модель на потребительских GPU с 18 ГБ видеопамяти.

Параллельное создание и итеративное исправление текста

DiffusionGemma генерирует сразу 256 токенов за один проход, при этом все токены взаимодействуют друг с другом через механизм внимания. Это обеспечивает более быструю и точную генерацию. Кроме того, модель самостоятельно корректирует свой вывод в реальном времени, устраняя ошибки и улучшая структуру текста — важное преимущество для сложных форматов и нелинейных текстов.

Широкие возможности настройки и применения

Модель можно тонко настраивать для решения сложных задач, таких как судоку. Двунаправленный механизм внимания помогает лучше понимать контекст текста. Весовые коэффициенты DiffusionGemma доступны на платформе Hugging Face, а проект поддерживают такие организации, как Red Hat, Unsloth и Gemini Enterprise Agent Platform.

Новый мост между людьми и технологиями

Благодаря высокой скорости и параллельной генерации текста DiffusionGemma способствует более эффективной интеграции ИИ в повседневную жизнь. Для исследователей и разработчиков это открывает новые возможности в интерактивных рабочих процессах с высокими требованиями к скорости и задаёт новые стандарты в области генерации текста.