Прорыв в памяти LLM: модель PrismML Bonsai 2 меняет правила игры

Bonsai 2 27B: революция в памяти больших языковых моделей

Стартап PrismML, основанный исследователями из Caltech, представил модель Bonsai 2 27B, которая сокращает объем памяти, необходимый для работы больших языковых моделей (LLM), в 9–10 раз. Новинка сжимает открытый исходный код модели Alibaba Qwen3.8 27B до 5,9 ГБ, что позволяет запускать её на персональных компьютерах и мощных смартфонах.

Высокая производительность при минимальном объеме памяти

Bonsai 2 достигает 98% производительности оригинальной модели Qwen на тестах, превзойдя предыдущую версию Bonsai, которая показывала 95%. Первая версия модели скачали более 11 миллионов раз, а более компактные модели PrismML — ещё 2,6 миллиона раз. Эти цифры подтверждают эффективность и популярность разработки.

Трёхзначные веса и защита данных

В моделях PrismML используются ternary веса с тремя значениями: +1, −1 и 0. Такая технология обеспечивает компактность и высокую производительность. Айон Стоика, советник PrismML и сооснователь Databricks, отмечает, что это позволяет обрабатывать данные напрямую на устройстве без отправки в облако, что значительно повышает конфиденциальность и улучшает пользовательский опыт.

Финансирование и планы на будущее

PrismML привлёк 22,25 миллиона долларов на посевном этапе, поддерживаемый Khosla Ventures, Cerberus Capital и Caltech. Генеральный директор Бабак Хассиби и команда работают над моделями с сотнями миллиардов параметров. По словам Хассиби, в более крупных моделях сжатие будет проще, а потеря производительности — менее заметна.

Новые возможности для пользователей

Компактные и мощные модели, работающие на устройствах, избавляют пользователей от необходимости отправлять данные в облако. Это улучшает скорость работы и защищает личную информацию. Технологии PrismML открывают путь к более доступному искусственному интеллекту на мобильных и других устройствах.

Модель Bonsai 2 от PrismML переосмысливает баланс между памятью и производительностью LLM, создавая основу для глубокой интеграции искусственного интеллекта в повседневную жизнь.