Diqqətdən Retensiyaya: Yeni Modelin İnnovasiyası

2017-ci ildə Google tərəfindən təqdim edilən diqqət mexanizmi süni intellektin qızıl dövrünü başlatdı və GPT, Claude, Gemini kimi modellərin əsasını təşkil etdi. Lakin bu mexanizmin yüksək hesablama və yaddaş xərcləri onu uzun kontekstlərdə çətinləşdirir.

2025-ci ilin 28 oktyabrında Manifest AI yeni bir yanaşma ilə diqqət mərkəzinə gəldi. Şirkət, Brumby-14B-Base modelini təqdim etdi — bu, Qwen3-14B-Base modelinin diqqət mexanizmini tamamilə aradan qaldıran bir variantıdır. Onun əvəzinə Power Retention adlı yeni bir texnologiya istifadə olunur. Bu mexanizm məlumatları uzun müddət yadda saxlamaq üçün daha effektiv və sadə bir yol təqdim edir.

Power Retention Texnologiyasının Sirri

Power Retention mexanizmi, ənənəvi diqqət mexanizminin yerini tutaraq hər bir token üçün yaddaş matrisini yeniləyir. Bu, modelin uzun kontekstləri daha az hesablama xərcləri ilə emal etməsinə imkan verir. Model, əvvəlki məlumatları kiçik bir latent vəziyyətə sıxışdıraraq, uzunmüddətli asılılıqları effektiv şəkildə idarə edə bilir.

Manifest AI-nin qurucusu Jacob Buckman, bu texnologiyanın gələcək modellər üçün yol açacağını vurğuladı: 'Diqqətsiz sistemlər, transformerlərdən qat-qat az investisiya ilə eyni performansa nail ola bilər.'

Təlim Xərclərində İnqilab

Brumby-14B modeli yalnız 4000 dollarlıq bir büdcə ilə 60 saat ərzində təlim keçib. Bu, ənənəvi modellərin təlim xərclərinin cüzi bir hissəsidir. Buckman, bu yanaşmanın kiçik tədqiqat qrupları üçün süni intellekt sahəsində daha geniş imkanlar açacağını söylədi.

İnsanlar Üçün Nəyi Dəyişir?

Bu texnologiya, süni intellekt modellərinin daha az xərclə daha uzun kontekstləri emal etməsini təmin edəcək. Bu, tədqiqatçılar, startaplar və kiçik şirkətlər üçün süni intellekt sahəsində bərabər imkanlar yarada bilər. Manifest AI-nin yanaşması, modellərin daha sürətli və daha ucuz şəkildə təlim almasını mümkün edir.

Gələcəyin İşığı

Buckman, Brumby-14B modelinin yalnız başlanğıc olduğunu vurğuladı: 'Transformerlərin dövrü hələ bitməyib, amma bu texnologiya süni intellektdə yeni bir dövrün qapısını açır.' Model, süni intellekt sahəsində daha geniş tədqiqat və inkişaf üçün bir platforma təqdim edir.