LLM-lərdə yaddaş inqilabı: PrismML Bonsai 2 modeli nəyi dəyişir?

Bonsai 2 27B modeli yaddaşda inqilab edir

PrismML, yüksək performanslı və kiçik ölçülü böyük dil modelləri (LLM) hazırlayan Caltech tədqiqatçıları tərəfindən yaradılan startapdır. Son yenilikləri olan Bonsai 2 27B modeli, Alibaba-nın açıq mənbə Qwen3.8 27B modelini 5.9 GB ölçüsünə sıxaraq yaddaş sərfiyyatını 9-10 dəfə azaldır. Bu, modelin PC və yüksək səviyyəli smartfonlarda işləməsinə imkan verir.

Böyük performans, kiçik yaddaş

Bonsai 2 modeli Qwen-in benchmark nəticələrinin 98%-ni təmin edir. Bu, mart ayında təqdim olunan ilk Bonsai modelinin 95% performansından daha yüksəkdir. İlk Bonsai modeli artıq 11 milyondan çox dəfə yüklənib, PrismML-in daha kiçik modelləri isə əlavə 2.6 milyon dəfə istifadə olunub. Bu göstəricilər modelin həm effektiv, həm də populyar olduğunu göstərir.

Ternary ağırlıqlar və gizlilik

PrismML modellərində +1, −1 və 0 dəyərlərindən ibarət ternary ağırlıqlar tətbiq olunur. Bu texnologiya modellərin həm kiçik ölçüdə, həm də yüksək performansla işləməsinə imkan verir. Ion Stoica, PrismML-in müşaviri və Databricks-in həmtəsisçisi, bu yanaşmanın istifadəçi məlumatlarının buluda göndərilmədən cihazda işləməsini təmin etdiyini vurğulayır. Bu isə məlumatların gizliliyini artırır və istifadəçi təcrübəsini yaxşılaşdırır.

Maliyyələşmə və gələcək planlar

PrismML 22.25 milyon dollar (təxminən 37 milyon AZN) seed mərhələsi maliyyələşdirilməsi alıb. Khosla Ventures, Cerberus Capital və Caltech bu layihəni dəstəkləyir. CEO Babak Hassibi və komandası növbəti mərhələdə bir neçə yüz milyard parametrli modellər üzərində işləyir. Hassibi bildirir ki, daha böyük modellərdə sıxılma daha asan olacaq və performans itkisi daha az hiss olunacaq.

İstifadəçilər üçün yeni imkanlar

Kiçik ölçülü və yüksək performanslı modellər cihazlarda işləyə bildiyi üçün istifadəçilər məlumatlarını buluda göndərmək məcburiyyətində qalmır. Bu, həm gizlilik, həm də sürət baxımından böyük üstünlükdür. PrismML-in texnologiyası gələcəkdə mobil və digər cihazlarda süni intellektin daha əlçatan olmasını təmin edə bilər.

PrismML Bonsai 2 modeli ilə LLM-lərin yaddaş və performans balansını yenidən müəyyən edir. Bu, süni intellektin gündəlik həyatımıza daha dərin inteqrasiyasına zəmin yaradır.