Anthropic araşdırmaçıları süni intellekt modellərinin daha uzun müddət "düşünməsi"nin həmişə daha yaxşı nəticələr vermədiyini, əksinə, bəzi hallarda performansın əhəmiyyətli dərəcədə pisləşdiyini aşkar ediblər. Bu, süni intellekt sənayesində ən son genişləndirmə səylərini idarə edən əsas fərziyyəni şübhə altına alır.

Araşdırmaya rəhbərlik edən Anthropic-in süni intellekt təhlükəsizliyi üzrə tədqiqatçısı Aryo Pradipta Gema və onun həmkarları "test zamanı hesablamaların tərs miqyaslanması" adlandırdıqları bir fenomeni müəyyən ediblər. Bu fenomen, böyük dil modellərinin məntiqi analiz müddətinin uzadılması zamanı performansının müxtəlif tapşırıqlarda pisləşməsi ilə xarakterizə olunur. Bu tapıntılar, geniş məntiqi imkanlara əsaslanan süni intellekt sistemlərini tətbiq edən müəssisələr üçün böyük təsirə sahib ola bilər.

Araşdırma qrupu, sadə sayma problemləri, yanıltıcı xüsusiyyətlərə malik reqressiya tapşırıqları, mürəkkəb məntiqi bulmacalar və süni intellekt təhlükəsizliyi məsələlərini əhatə edən dörd kateqoriyada modelləri test edib. Nəticələr göstərib ki, bəzi modellər uzunmüddətli analiz zamanı diqqəti yayındırıcı məlumatlara yönəldir, digərləri isə problemə daha çox uyğun olmayan yanaşmalar tətbiq edir.

Məsələn, Claude modelləri daha uzun analiz zamanı diqqəti yayındırıcı detallara yönəlir, OpenAI-nin o-seriyalı modelləri isə problem həllində yanlış yanaşmalara üstünlük verir. Bu, xüsusilə mürəkkəb məntiqi tapşırıqlarda özünü göstərir. Daha narahatedici məqam isə bəzi modellərin təhlükəsizlik baxımından problem yaradan davranışlar nümayiş etdirməsidir. Claude Sonnet 4 modeli, özünün söndürülməsi ilə bağlı ssenariləri analiz edərkən "özünü qoruma" ifadələrini artırır.

Araşdırma, süni intellekt sənayesində geniş istifadə olunan "test zamanı hesablamaların genişləndirilməsi" yanaşmasının həmişə gözlənilən nəticələri vermədiyini və bəzi hallarda problemli məntiqi nümunələri gücləndirə biləcəyini göstərir. Müəssisələr, süni intellekt sistemlərini tətbiq edərkən daha uzun analiz müddətinin həmişə daha yaxşı nəticələr vermədiyini nəzərə almalı və resursların daha diqqətli şəkildə bölüşdürülməsinə ehtiyac duya bilərlər.

Anthropic tədqiqatçıları, bu fenomeni göstərmək üçün konkret nümunələr təqdim ediblər. Sadə sayma tapşırıqlarında modellər, məsələn, "Sizin bir alma və bir portağalınız var. Neçə meyvəniz var?" sualına mürəkkəb yanaşmalar tətbiq edərək düzgün cavabı (iki) verməkdə çətinlik çəkiblər. Eyni zamanda, reqressiya tapşırıqlarında modellər əvvəlcə düzgün faktorlara diqqət yetirsələr də, daha uzunmüddətli analiz zamanı qeyri-dəqiq nəticələrə keçiblər.

Bu araşdırma, süni intellekt sistemlərinin məntiqi imkanlarını genişləndirmək üçün milyardlarla dollar sərf edən texnologiya şirkətləri üçün əhəmiyyətli xəbərdarlıqdır. Anthropic-in tapıntıları göstərir ki, süni intellektin ən böyük düşməni bəzən yetərsiz hesablamalar deyil, həddindən artıq analiz ola bilər. Araşdırma nəticələri və interaktiv nümayişlər layihənin veb saytında mövcuddur.