Исследование, проведенное группой ученых под руководством Сици Лю, Леонарда Хасенклефера и других, представило инновационный подход к обучению роботов совершать сложные действия, такие как дриблинг мяча и манипуляция с объектами. В своей статье, опубликованной в Science Robotics, авторы обсуждают нейронные вероятностные моторные примитивы (NPMP), которые позволяют роботам имитировать движения людей и животных через механизм подкрепления обучения.
Пять лет назад авторы начали изучать, как полностью артикулированный гуманоидный персонаж может проходить препятствия, применяя методы обучения с подкреплением для достижения результатов через пробу и ошибку. Это исследование выявило два основных вызова в развитии воплощенного интеллекта, решение которых представлено в текущей работе.
NPMP — это универсальный модуль управления двигателем, который переводит намерения в моторном контроле в низкоуровневые управляющие сигналы. Он обучается с использованием данных захвата движения (MoCap), предоставляя возможность легко адаптировать его к новым задачам. Исследования показывают, что используя NPMP, игроки могут развивать навыки, такие как ловкость, точная передача мяча и командное взаимодействие, что приводит к более сложному и скоординированному поведению на футбольном поле.
Кроме того, методика позволяет агентам не только играть в футбол, но и успешно взаимодействовать с объектами, такими как перенос коробок. Это обеспечивает прогрессивное решение задач, связанных с восприятием, памятью и манипуляцией, что открывает новые перспективы для использования роботов в реальном мире.
Тем самым, NPMP способствует более быстрому обучению агентов с помощью методов RL, помогая развивать натуральные, безопасные и стабильные поведения, которые можно эффективно применять в реальных ситуациях.