Amazon Web Services ilk dəfə AI agentlərinin performansını ölçən alətini təqdim etdi

AWS-dən AI agentləri üçün universal qiymətləndirmə aləti

Amazon Web Services (AWS) Universal Agent Evaluation Framework (UAEF) adlı yeni açıq mənbə alətini istifadəyə verib. Bu alət AI agentlərinin performansını 36 fərqli ölçüdə test edərək, onların güclü və zəif tərəflərini aşkar etməyə imkan yaradır.

Müxtəlif agent çərçivələri ilə uyğunluq

UAEF LangGraph, LangChain, Strands Agents və Amazon Bedrock AgentCore kimi müxtəlif AI agent çərçivələri ilə işləyir. Alət agent addımlarını vahid formata çevirərək, onların performansını müqayisə etməyi asanlaşdırır.

Qiymətləndirmə sahələri və regresiya analizi

Alət agentləri 7 əsas sahədə qiymətləndirir: alət seçimi və istifadəsi, cavab keyfiyyəti, təhlükəsizlik, sürət, uzunmüddətli söhbət idarəsi və agentlərin birgə işləmə qabiliyyəti daxil olmaqla. Hər test nəticəsi saxlanılır və əvvəlki nəticələrlə müqayisə edilir. Əgər performans 5%-dən çox azalarsa, bu, regresiya kimi qeyd olunur və az, orta və ağır səviyyələrdə təsnif edilir.

İstifadə və məhdudiyyətlər

Hal-hazırda 12 təşkilat, o cümlədən telekommunikasiya, səhiyyə və maliyyə sahələrində fəaliyyət göstərənlər, UAEF-dən istifadə edir. Alət pulsuz təqdim olunur, lakin AI qiymətləndiricilərindən istifadə və nəticələrin saxlanması AWS xidmətlərinə bağlıdır. AWS təhlükəsizlik qərarlarının qəbulunda UAEF-nin istifadəsinin tövsiyə olunmadığını vurğulayır, çünki agentlərin etibarlı işləməsi hələ də çətinliklər yaradır.

AI agentlərinin inkişafında çətinliklər

AWS bildirir ki, iki il əvvəl qurulan prototiplərin təxminən 90%-i istehsalata buraxılmayıb. Bu, AI agentlərinin etibarlı və effektiv işləməsinin nə qədər mürəkkəb olduğunu göstərir. Startap Raindrop agent səhvlərini istehsalatda aşkar etmək üçün maliyyə toplayıb. Tədqiqatçılar bir promptun AgentCore agentlərini ələ keçirə biləcəyini nümayiş etdiriblər, lakin AWS bu iddianı rədd edib.

AWS-nin yeni aləti AI agentlərinin inkişafında və təhlükəsizliyində mühüm rol oynaya bilər, lakin hələ də çoxsaylı çağırışlar qalmaqdadır. Bu alət inkişaf etdiricilərə agentlərin performansını yaxından izləmək və təkmilləşdirmək imkanı verir, eyni zamanda AI-nin gələcəyinə dair ehtiyatlı yanaşmanı önə çıxarır.