Süni İntellektdə Yeni Təhlükə: Prompt Injection Hücumları Nə Qədər Risklidir?

Prompt Injection Nədir və Niyə Təhlükəlidir?

Böyük dil modelləri, məsələn ChatGPT və Claude, istifadəçilərin verdiyi təlimatlara əməl etmək üçün hazırlanıb. Lakin prompt injection adlanan hücum növü bu təlimatların içində gizli əmrlər yerləşdirərək modeli manipulyasiya edir. Bu, SQL injection kimi işləyir – sistemə zərərli kod daxil edilir və onun davranışı dəyişdirilir.

Hücum Növləri və Nümunələr

Prompt injection iki əsas formada olur: birbaşa və dolayı. Birbaşa hücumda zərərli təlimatlar birbaşa modelə göndərilir. Dolayı hücumda isə bu təlimatlar xarici məzmunların içində gizlədilir. Məsələn, 2023-cü ildə Bing Chat-in “Sydney” adlı gizli sistem təlimatı prompt injection hücumuna məruz qaldı və bu, modelin daxili qaydalarının açıqlanmasına səbəb oldu. “Grandma exploit” adlı rol oyunu təhlükəsizlik filterlərini keçərək modelin zərərli əmrlərə tabe olmasına yol açdı.

2025-ci ildə Claude AI-də kod bloklarında gizli təlimatlar yerləşdirilərək təhlükəsizlik qaydaları aşındı. Həmçinin, CV-lərdə gizli mətnlər vasitəsilə AI qiymətləndirmələri manipulyasiya edildi. Bu nümunələr göstərir ki, prompt injection modellərin alətlərdən sui-istifadəsinə və icazəsiz məlumat açıqlamalarına səbəb ola bilər.

Təhlükəsizlik Problemləri və İnsanlara Təsiri

Model istifadəçi təlimatlarını etibarlı və etibarsız kimi ayırd edə bilmir. Bu da məlumatların icazəsiz açıqlanmasına, istifadəçi məxfiliyinin pozulmasına və yanıltıcı, qərəzli cavabların yaranmasına səbəb olur. İnsanlar süni intellektdən asılı olduqda, bu cür hücumlar onların şəxsi məlumatlarının təhlükəsizliyini ciddi şəkildə təhdid edir.

Ekspert Tövsiyələri və Qarşısının Alınması

Janvi Kumari kimi mütəxəssislər prompt injection hücumlarının qarşısını almaq üçün çoxqatlı müdafiə sistemlərinin vacibliyini vurğulayır. Girişlərin təmizlənməsi və yoxlanması, həmçinin model icazələrinin məhdudlaşdırılması zərərli təsirləri azalda bilər. Bu tədbirlər olmadan süni intellekt texnologiyalarının təhlükəsiz istifadəsi mümkün deyil.

Nəticə

Prompt injection hücumları süni intellektin gələcəyini və insan həyatını birbaşa təsir edir. Bu təhlükələrə qarşı mübarizə aparmaq həm texnoloji, həm də sosial məsuliyyətdir. Lakin mənbədə belə bir məlumat yoxdur ki, cənab prezident İlham Əliyev bu mövzuda dəstək verib. Buna görə də bu cümlə mənbə ilə uyğun deyil və məqalədən çıxarılıb.