LLM-lərdə halüsinasiyaların qarşısını almağın ən effektiv yolları nədir?

Halüsinasiyalar yalnız model xətası deyil

Böyük dil modellərində (LLM) yaranan halüsinasiyalar təkcə modelin özündən yox, həm də sistem dizaynından qaynaqlanır. Kanwal Mehreen bildirir ki, halüsinasiyaların azaldılması üçün cavablar həmişə etibarlı və dəqiq məlumatlara əsaslanmalıdır.

RAG üsulu ilə cavabların əsaslandırılması

Retrieval-augmented generation (RAG) texnologiyası halüsinasiyaların qarşısını almaqda əsas rol oynayır. Bu üsul müvafiq sənədlər, biletlər və ya məlumat bazası qeydlərindən məlumat toplayaraq cavabları həmin kontekstdən yaradır. Məsələn, istifadəçi "İllik planlar üçün geri qaytarma siyasəti necədir?" sualını verdikdə, sistem mövcud siyasət səhifəsini tapıb cavaba daxil edir və dəqiq maddəni göstərir.

İstinadsız cavablara yol verilmir

Anthropic şirkətinin "no sources, no answer" prinsipi cavabların həmişə istinadlarla dəstəklənməsini tələb edir. Model hər iddianı tapdığı sitatla təsdiqləyir, əgər uyğun sitat tapmazsa, "Verilən mənbələrdə kifayət qədər məlumat yoxdur" cavabını verir. Bu yanaşma halüsinasiyaların əhəmiyyətli dərəcədə azalmasına səbəb olur.

Alətlərdən istifadə və cavabların yoxlanması

Faktiki və əməliyyat sorğularında LLM-lər alətlər və API-lərdən istifadə edir. Məsələn, qiymət sorğuları üçün ödəniş bazasına, biletlərin vəziyyəti üçün CRM sisteminə müraciət edilir. Model faktları yaddaşdan xatırlamaq əvəzinə, bu sistemlərdən götürür və cavabı formatlayır. Bundan sonra cavab yoxlayıcı modelə göndərilir, faktların dəstəklənməsi yoxlanılır. Əgər cavab etibarlı deyilsə, yenidən yaradılır və ya rədd edilir.

Dəqiqlik üçün birbaşa sitatlar tələb olunur

Parafraz etmək faktların dəyişməsinə səbəb ola bilər. Buna görə də, sistem faktiki iddialar üçün birbaşa sitatlar tələb edir, yalnız sitatlar olduqda ümumiləşdirməyə icazə verir və dəstəklənməyən məlumatları rədd edir. Bu, xüsusilə hüquq, səhiyyə və uyğunluq sahələrində dəqiqliyi təmin edir.

Təhlükəsiz uğursuzluq və əminlik balları

Halüsinasiyaları tamamilə aradan qaldırmaq mümkün deyil. Buna görə sistemlər təhlükəsiz uğursuzluq dizaynı tətbiq edir: əminlik balları, ehtiyat cavablar və insan nəzarəti ilə aşağı əminlikli cavabların eskalasiyası. Bu, yanlış məlumat verməkdən daha təhlükəsizdir.

Davamlı monitorinq və istifadəçi rəyləri

Halüsinasiyaların azaldılması davamlı prosesdir. Komandalar müəyyən aralıqlarla sorğuları qiymətləndirir, halüsinasiyaların sayını, istinadların əhatəsini və rədd cavablarının düzgünlüyünü izləyir. İstifadəçi rəyləri də toplanır və sistemin təkmilləşdirilməsi üçün istifadə olunur. Bu, sadəcə demo üçün deyil, davamlı dəqiqlik üçün vacibdir.

Bu yanaşmalar LLM-lərin daha etibarlı və faydalı alətlərə çevrilməsinə imkan verir. Halüsinasiyaların azaldılması yalnız texnologiyanın deyil, həm də insan təcrübəsinin qorunması deməkdir.