Son dövrlərdə mühəndislik sahəsində çalışan komandalar ortaq bir problem ilə üzləşirlər – modellər çox böyükdür. Bu problem müxtəlif formalarda ortaya çıxır, lakin ümumiyyətlə oxşar çətinliklər və əlaqədar mövzular ilə müşahidə olunur.

Layihələr yaddaş məhdudiyyətləri ilə üzləşir. Parametrlər milyardlarla, hətta trilyonlarla ölçüdə olduqda, məlumat mərkəzləri bu yükə uyğunlaşmalı olur. Təchizatçı xidmətlərindəki həddlər diqqət mərkəzində saxlanılmalıdır. Ümumiyyətlə, xərc məsələsi də mühüm bir faktordur.

Bununla belə, yaxın gələcəkdə yaddaş yükünü və hesablama yükünü azaltmağa kömək edəcək yeni texnologiyalar ortaya çıxır.

Bəs bugünkü innovatorlar bunu necə həyata keçirirlər?

Məlumatların və Girişlərin Kompressiyası

Əvvəlcə məlumatların sıxlaşdırılması metodlarına baxaq. Modeli sıxlaşdırmaq üçün itki alqoritmi tətbiq etmək və sıxlaşdırılmış model ilə tam model arasında müqayisə aparmaq mümkündür. Kompressiya metodları sinir şəbəkələrinin xüsusi funksiyalarında yer qənaət etməyə imkan verir.

Apple-ın Maşın Öyrənmə Araşdırma resursunda yayımlanan bir məqalədən bir nümunə: "Son dövrlərdə bir neçə işdə, təlimsiz və məlumat-sız kompressiya (budama və kvantlaşdırma) metodları ilə böyük dil modellərində 50-60% sıxlıq əldə edilib və çəkilərin bit eni 3-4 bitə qədər azaldılıb, bu isə sıxlaşdırılmamış baza modelinə nisbətən əhəmiyyətli fərqlilik yaratmadan həyata keçirilmişdir."

Diqqət Sahələrində Fərqləndirmə

Bəzi hallarda sistem dizaynının bir hissəsini çıxararaq resurslara qənaət etmək mümkündür. Modelin bütün diqqət sahələri eyni şəkildə işlədikdə, giriş sahəsinin bir hissəsi sadə məlumat, digər hissəsi isə kompleks və vacib məlumat ola bilər. Belə hallarda diqqət sahələrinin homojen olması və ya "hər şeyə uyğun" bir yanaşma tətbiq etmək, yüksək və aşağı diqqət sahələrinə eyni hesablama miqdarını sərf etməyi tələb edir.

Alternativ olaraq, mühəndislər sistemdə az diqqət çəkən tokenləri çıxara bilər, bu isə vacib və qeyri-vacib məlumatların fərqləndirilməsinə əsaslanır.

Bu yanaşmada hardware irəliləyişləri də nəzərə çarpır. Daha ixtisaslaşmış GPU və çoxnüvəli prosessorlar bu cür fərqləndirmə üçün üstünlük təklif edir, buna görə GPU avadanlığı sahəsindəki yeniliklərə diqqət yetirmək tövsiyə olunur.

Kontekst Pəncərələrinin Dəyişdirilməsi

Şəbəkə ölçüsü ilə bağlı başqa bir əsas problem, sistemlərin istifadə etdiyi kontekst pəncərələri ilə əlaqədardır. Əgər bunlar ardıcıllıq üzərində işləyən tipik böyük dil sistemləridirsə, ardıcıllığın uzunluğu vacibdir. Kontekst müəyyən funksionallıq növlərini artırır, lakin daha çox resurs tələb edir.

Konteksti dəyişdirməklə, sistemin "iştahını" dəyişmək mümkündür. Uzun kontekstlər əlavə funksionallıq təmin etsə də, daha çox resurs tələb edir və sistemdə müəyyən məhdudiyyətlər yaradır.

Dinamik Modellər və Güclü İstiqamət

Hazırda iki böyük tendensiya müşahidə olunur: biri güclü istiqamət sistemlərinin yaranmasıdır ki, burada maşın keçmiş təcrübəsinə əsaslanaraq özünü öyrədir; digəri isə dinamik sistemlərdir ki, burada giriş çəkiləri və digər parametrlər zamanla dəyişir, sabit qalmır.

Hər iki yanaşma sistem dizaynı və mühəndislik ehtiyaclarını qarşılamaq üçün perspektivli görünür. Diffuziya modeli də maraqlı bir yanaşmadır; burada sistemə səs-küy əlavə edilir, analiz edilir və bu səs-küy çıxarılaraq yeni yaradıcı nəticələr əldə edilir.

Son olaraq, rəqəmsal tvinninq kimi ənənəvi sistemləri nəzərdən keçirmək faydalı ola bilər. Tvinninq dəqiq simulyasiyalar üçün əladır, lakin çoxlu resurs tələb edir. Əgər daha yaxşı bir yanaşma mövcuddursa, bu üsul vasitəsilə çoxlu hesablama resurslarına qənaət etmək mümkündür.

Nəticə

Bu irəliləyişlər, mərkəzləşdirilmiş bulud sistemləri əvəzinə şəbəkənin kənarında yerləşən cihazlarda daha çox hesablama etmək üçün yeni yollar açır. Mikroprosesorlar və kiçik komponentlər bulud sistemlərindən daha az resursla məlumat emalını həyata keçirə bilər.

AI sahəsində mühəndislərin bu günlərdə gördüyü innovasiyalar haqqında düşünərkən, bu irəliləyişləri nəzərə almaq vacibdir.