DeepSeek представила Janus Pro 7B — прорыв в мультимодальном ИИ

Janus Pro 7B: новый уровень мультимодального искусственного интеллекта

Компания DeepSeek анонсировала модель Janus Pro 7B, которая выводит мультимодальные технологии ИИ на качественно новый уровень. Модель способна одновременно обрабатывать текст, изображения и видео, используя отдельные кодировщики для визуальных данных, что обеспечивает высокую точность результатов.

Технические особенности модели

Janus Pro 7B содержит 7 миллиардов параметров, что значительно больше, чем у предыдущей версии Janus. Основанная на архитектуре Transformer, модель работает с изображениями размером 384×384 пикселей и использует VQ-токенизатор. Обучение проходило на графических процессорах NVIDIA A100 в течение 14 дней. Для тренировки применялся сбалансированный набор данных в соотношении 5:1:4, включающий мультимодальные, текстовые и текстово-изобразительные данные.

Анализ изображений и генерация графики

Отдельные кодировщики для визуальной информации позволяют Janus Pro 7B не только анализировать изображения, но и создавать новые на основе текстовых описаний. Результаты распознавания текста отличаются высокой точностью и четкостью, что делает модель востребованной для практического применения.

Перспективы и ограничения

Мультимодальные возможности Janus Pro 7B открывают новые горизонты в образовании, медиа, творчестве и других сферах. Открытый исходный код модели предоставляет исследователям и разработчикам широкие возможности для дальнейшего развития. Однако ограничения по размеру изображений (384×384) и потери качества при использовании VQ-токенизатора остаются вызовами для совершенствования.

Инновация DeepSeek формирует будущее искусственного интеллекта, создавая более естественное и глубокое взаимодействие между человеком и машиной.