Nvidia şirkəti süni intellekt sahəsində yeni bir dövr açacaq NVFP4 adlı texnologiyanı təqdim edib. Bu yenilik, böyük dil modellərinin (LLM) 4-bit formatında təlimini həyata keçirmək üçün hazırlanıb və 8-bit formatının performansını qoruyaraq yaddaş və hesablama ehtiyaclarını xeyli azaldır.

NVFP4: Süni intellektdə yeni dövr

Model kvantlaşdırma texnologiyası ilə süni intellekt modellərinin yaddaş və hesablama xərclərini azaltmaq mümkün olur. Bununla belə, əsas problem modellərin ölçüsünü kiçiltməklə dəqiqlik və biliklərini qoruyub-saxlamaqdır. 8-bit FP8 formatı bu sahədə standart sayılırdı, amma 4-bit FP4 formatına keçid yaddaşdan daha çox qənaət etməklə performansı artırma potensialını ortaya qoyur.

Nvidia-nın NVFP4 texnologiyası isə 4-bit dəqiqlikdə təlim zamanı stabillik və dəqiqlik problemlərini aradan qaldırır. NVFP4, çox səviyyəli miqyaslama metodundan istifadə edərək, yüksək dəqiqlikli formatlardan çevrilən məlumatların təhrif olunmasının qarşısını alır. Bu, tensor dəyərlərinin daha dəqiq və stabil təmsil olunmasını təmin edir.

Yeni təlim metodologiyası

Araşdırmaçılar NVFP4 ilə yalnız modelin çox hissəsini kvantlaşdırır, daha həssas təbəqələri isə yüksək dəqiqlik formatında saxlayırlar. Bu yanaşma, modelin təlim zamanı stabilliyini qoruyur. Həmçinin, təlim zamanı gradientlərin hesablanması üsulu təkmilləşdirilib, bu da aşağı dəqiqlikli arifmetikadan yığılan potensial xətaları azaldır.

Praktik nəticələr

Nvidia komandası NVFP4 texnologiyasını 12 milyard parametrli hibrid Mamba-Transformer modelində test edib. Model 10 trilyon token üzərində təlim edilib və 8-bit FP8 formatında təlim olunan bazadan fərqli olaraq eyni dəqiqliklə performans göstərib. NVFP4 modelləri bilik, riyazi tapşırıqlar və ümumi məntiq sahələrində yüksək göstəricilərə nail olub, yalnız kodlama sahəsində az miqdarda düşüş müşahidə edilib.

Nvidia-nın AI və data mərkəz GPU-lar üzrə məhsul direktoru Şar Narasimhan qeyd edib ki, NVFP4 texnologiyası tədqiqatçılara və bizneslərə daha az resurslarla daha böyük modellər hazırlamağa imkan verir. ‘Bu texnologiya süni intellekt modellərinin inkişafında yeni bir qapı açır. Gələcəkdə daha çox təşkilat öz ehtiyaclarına uyğun xüsusi modellər təlim edə biləcək’ deyə Narasimhan əlavə edib.

Gələcək perspektivlər

NVFP4 yalnız təlim prosesini deyil, həm də süni intellekt modellərinin istifadəsini dəyişə bilər. Bu texnologiya daha kiçik və effektiv modellər sayəsində real vaxtda mürəkkəb və yüksək keyfiyyətli cavablar təqdim etməyə imkan yaradır. Narasimhan gələcəkdə süni intellektin daha ağıllı və effektiv dizayn edilməsi üçün çoxlu tədqiqat imkanlarının olduğunu vurğulayıb.

Nvidia-nın təqdim etdiyi NVFP4 texnologiyası süni intellektin daha ucuz, sürətli və hər kəs üçün əlçatan olacağı yeni bir eraya qapı açır.