Amazon Web Services запустила инструмент для оценки AI-агентов

AWS представила универсальный инструмент для оценки AI-агентов

Amazon Web Services (AWS) выпустила новый открытый инструмент под названием Universal Agent Evaluation Framework (UAEF). Он позволяет тестировать производительность AI-агентов по 36 различным параметрам, выявляя их сильные и слабые стороны.

Совместимость с разными фреймворками

UAEF работает с популярными фреймворками для AI-агентов, такими как LangGraph, LangChain, Strands Agents и Amazon Bedrock AgentCore. Инструмент стандартизирует шаги агентов в едином формате, что упрощает сравнение их эффективности.

Области оценки и анализ регрессий

Оценка проводится по семи ключевым направлениям: выбор и использование инструментов, качество ответов, безопасность, скорость, управление длительными диалогами и способность агентов к совместной работе. Результаты тестов сохраняются и сравниваются с предыдущими. Если производительность падает более чем на 5%, это фиксируется как регрессия и классифицируется по степени тяжести — от лёгкой до серьёзной.

Использование и ограничения

На данный момент UAEF применяют 12 организаций из телекоммуникационной, медицинской и финансовой сфер. Инструмент предоставляется бесплатно, однако использование AI-оценщиков и хранение результатов зависят от сервисов AWS. В компании предупреждают, что UAEF не рекомендуется для принятия решений в области безопасности, поскольку надёжность работы агентов остаётся проблемой.

Сложности в развитии AI-агентов

AWS отмечает, что около 90% прототипов, созданных два года назад, так и не были внедрены в производство. Это подчёркивает сложность обеспечения надёжности и эффективности AI-агентов. Стартап Raindrop привлёк финансирование для выявления ошибок агентов в реальных условиях. Исследователи продемонстрировали возможность захвата управления агентами AgentCore с помощью одного промпта, но AWS опровергла эти утверждения.

Новый инструмент AWS может сыграть важную роль в развитии и безопасности AI-агентов, однако перед индустрией ещё стоят значительные вызовы. UAEF даёт разработчикам возможность тщательно отслеживать и улучшать производительность агентов, одновременно подчёркивая необходимость осторожного подхода к будущему искусственного интеллекта.