Штучний інтелект

Анотація: Розглянуто підхід до використання нейроеволюції для пошуку політик нейронної мережі для завдання позиціонування роботизованої руки. Робототехнічні задачі, як правило, мають відносно великі простори розв’язків, тому тут нейроеволюційні алгоритми виступають гарною альтернативою традиційним методам глибокого машинного навчання. Нейроеволюційний алгоритм автоматично розвиває нейронні мережі для конкретного завдання та середовища. Перевага полягає в тому, що необхідно лише абстрактно визначити бажану поведінку, а алгоритм максимально оптимізує штучну нейронну мережу для виконання вимог. Розглянутий алгоритм NEAT дозволяє обробляти багатовимірні простори стану та дії, забезпечуючи гнучкість для керування складними рухами руки робота. Він також здатний виявляти політики керування, які демонструють непередбачувану поведінку, явно не запрограмовану людьми – інженерами. Нейроеволюція дозволяє паралельно оцінювати кілька нейронних мереж, забезпечуючи ефективне дослідження простору пошуку. Роботу алгоритму досліджено у експерименті, проведеному у двовимірному середовищі з роботизованою рукою для задачі позиціонування.

Ключові слова: нейроеволюція, маніпулювання об'єктами, контролер роборуки

Посилання:

1. R. Mahjourian, R. Miikkulainen, Neuroevolutionary Planning for Robotic Control, Department of Computer Science The University of Texas at Austin Austin, 2018.
2. Stork, Jörg, Zaefferer et al., Behavior-based Neuroevolutionary Training in Reinforcement Learning, 2021. doi:10.48550/arXiv.2105.07960.
3. Kenneth O. Stanley and Risto Miikkulainen, Evolving Neural Networks Through Augmenting Topologies, Evolutionary Computation 10 (2): 99-127, 2002.
4. Застосування засобів нейроеволюції в технічних системах автоматизації керування / А.Ю. Дорошенко, І.З. Ашур // Проблеми програмування. — 2021. — № 1. — С. 16-25.
5. M. Wurtinger, Neuroevolution for Robot Control, Test Framework and Experimental Evaluation, Institut fur Informatik Lehrstuhl fur Programmierung und Softwaretechnik, 2011. URL:https://www.pst.ifi.lmu.de/Lehre/Abschlussarbeiten/vorlagen/thesis-wuertinger_2011-12-19.pdf.
6. OpenAI, et al. Asymmetric self-play for automatic goal discovery in robotic manipulation. arXiv preprint arXiv:2101.04882, 2021.
7. OpenAI Gym 2D Robot Arm Environment, URL: https://github.com/ekorudiawan/gym-robot-arm.
8. Huang, P.-C., Lehman et al., Grasping novel objects with a dexterous robotic hand through neuroevolution. 2014 IEEE Symposium on Computational Intelligence in Control and Automation (CICA). doi:10.1109/cica.2014.7013242.
9. Huang, Pei-Chi, Sentis et al., Tradeoffs in Neuroevolutionary Learning-Based Real-Time Robotic Task Design in the Imprecise Computation Framework. ACM Transactions on Cyber-Physical Systems. 3. 1-29. 10.1145/3178903, 2019.
10. Omelianenko, Hands-On Neuroevolution with Python: Build high-performing artificial neural network architectures using neuroevolution-based algorithms, Packt Publishing, 2019.