Как AI с 27 млрд параметров научился управлять роботами в симуляции
...
Искусственный интеллект
Чтение занимает время?
Вы можете слушать статьиОбучение робототехнике в виртуальной среде
Исследователи из PEAR разработали искусственный интеллект с 27 миллиардами параметров, который полностью обучался в симуляции. Этот ИИ успешно выполнил 18 из 30 тестов на физическом роботе с двумя манипуляторами YAM. При этом на этапе после обучения не использовались демонстрации.
Физические испытания и задачи
Тесты включали 20 задач по захвату объектов и 10 — по укладке блоков. Итоговый ИИ справился с 12 задачами по захвату и 6 по укладке. В симуляторе LIBERO он прошёл 7 успешных испытаний. Для сравнения, базовая модель не смогла добиться успеха ни в одном из 30 тестов.
Технические особенности модели
Модель анализирует изображения с камер и состояние робота, формулирует действия в текстовом виде и определяет положение захвата. Обратная кинематика переводит целевые позы в движения суставов. Все модели проходили тесты на высоком уровне когнитивных способностей. В тестах использовался лимит в 25 циклов и 32 000 токенов на цикл.
Производительность и скорость
Успешные попытки финальной модели длились от 7 до 24 циклов. При использовании низкоточных весов NVFP4 скорость достигала 747 токенов в секунду. Для физических испытаний применялись веса BF16.
Итоги и перспективы
Результаты являются экспериментальными и требуют независимой проверки. Отмечаются ограничения, связанные с зависимостью от подсказок и длительным временем обработки. Исследование открывает новые возможности для эффективного обучения роботов в симуляции, что в будущем позволит ускорить и повысить точность обучения физических роботов.