Kiçik modellər (SLM) böyük nailiyyətlərə yol açır

Müasir dövr Süni İntellekt sahəsində böyük modellərin üstün olduğu düşüncəsi hakimdir. Daha çox məlumat, daha böyük modellər və daha çox hesablama gücü ilə daha ağıllı sistemlər yaratma arzusu texnologiya dünyasını irəli aparır. Lakin son araşdırmalar göstərir ki, bu yanaşma həmişə doğru deyil. Böyük modellər məntiqi tapşırıqların həllində çox zaman uğursuz olur, kiçik modellər isə təəccüblü nəticələr göstərə bilir.

Böyük Süni İntellekt modelləri (LLM) niyə yetərsizdir?

Qabaqcıl Süni İntellekt modelləri təbii dil anlayışı, mətnlərin xülasəsi və yaradıcı məzmunun yaradılmasında üstün olsalar da, məntiqi düşüncə tələb edən tapşırıqları yerinə yetirməkdə çətinlik çəkirlər. Sudoku kimi bulmacalarda bir səhv rəqəm bütün tablonun düzgünlüyünü pozur. Bu isə sübut edir ki, böyük modellərin ölçüsü onların düşüncə qabiliyyətini artırmır.

Daha böyük modellər daha çox hesablama gücü və data tələb edir. Bu da bir çox tədqiqatçılar üçün əlçatanlığı məhdudlaşdırır. Beləliklə, daha böyük modellərə olan maraq, bəzən effektivlikdən çox, sadəcə ölçüyə yönəlmiş olur.

Yeni yanaşma: Kiçik Rekursiv Modellər (TRM)

Kiçik Rekursiv Modellər (TRM) süni intellektdə daha az parametrlə daha dərin məntiqi təhlil qabiliyyəti təqdim edir. Bu modellər, daha böyük modellərdən fərqli olaraq, sadə və effektiv bir strukturda işləyir. TRM, HRM (Hierarchical Reasoning Models) modellərinin mürəkkəbliyini sadələşdirərək, tək bir kiçik şəbəkə ilə işləyir. Bu modelin cəmi 7 milyon parametri var və məntiqi tapşırıqlarda daha böyük modelləri geridə qoyur.

TRM iki əsas dəyişəni saxlayır: həll təklifi olan ‘𝑦’ və məntiqi düşüncə vəziyyəti olan ‘𝑧’. Bu dəyişənlər arasında iterativ proseslər həyata keçirilir, nəticədə model daha az parametrlə daha yüksək dəqiqlik əldə edir. TRM-nin üstünlükləri arasında daha az qat, sadə arxitektura və optimallaşdırılmış rekursiya dərinliyi qeyd olunur.

TRM ilə eksperimental nəticələr

Tədqiqatlar göstərir ki, TRM bir çox çətin məntiqi tapşırıqda HRM və böyük dillər modeli (LLM) üzərində üstünlük qazanır. Məsələn:

Sudoku-Extreme

Çox çətin Sudoku bulmacalarında HRM (27 milyon parametr) 55% dəqiqlik göstərdiyi halda, TRM (7 milyon parametr) 87.4% dəqiqlik əldə edir. Böyük dillər modelləri isə bu tapşırıqda ümumiyyətlə uğursuz olur.

ARC-AGI

ARC-AGI tapşırıqlarında TRM (7 milyon parametr) 44.6% dəqiqlik göstərir və HRM-dən daha yüksək performans nümayiş etdirir.

Maze-Hard

Uzun həlli olan labirint tapşırıqlarında TRM-nin dəqiqliyi 85.3%-ə çatır.

Məqalənin nəticəsi

Kiçik Süni İntellekt modelləri, xüsusilə Tiny Recursive Models (TRM), sübut edir ki, daha kiçik və sadə arxitekturalar daha yaxşı nəticələr əldə edə bilər. Bu yanaşma göstərir ki, bəzən daha az, daha çox ola bilər. TRM, böyük modellərə alternativ olaraq az resursla daha yüksək dəqiqlik əldə etməyə imkan yaradır. Bu, Süni İntellekt sahəsində yeni düşüncə tərzinə yol açmaq üçün möhtəşəm bir nümunədir.