Thesis:
Adapting bipedal neuro-motor policies on planned footsteps

Simple item page

datacite.subject.fos	Engineering and technology
datacite.subject.fos	Engineering and technology::Electrical engineering, Electronic engineering, Information engineering
dc.contributor.correferente	Vásconez, Juan Pablo
dc.contributor.department	Departamento de Electrónica
dc.contributor.guia	Creixell Fuentes, Werner Uwe
dc.contributor.guia	Araya Lopez, Mauricio Alejandro
dc.coverage.spatial	Campus Casa Central Valparaíso
dc.creator	Rojas Sánchez, Miguel Yerón
dc.date.accessioned	2025-09-09T14:21:01Z
dc.date.available	2025-09-09T14:21:01Z
dc.date.issued	2024-04
dc.description.abstract	This study investigates a hierarchical reinforcement learning approach to achieve human-like walking in bipedal robots while following marked footsteps. Traditionally, state machines and model-based methods were used for this task, ensuring stability and safety but lacking natural human-like motion. Our approach utilizes a two-level architecture: a high-level policy trained specifically for following footsteps and a low level policy distilled from motion capture data to generate natural gaits. Experiments demonstrate that this hierarchical approach significantly outperforms training a single network, particularly for complex tasks on human-sized robots. The low-level network plays a crucial role, substantially reducing joint torques and speeds while achieving stable walking. However, a current limitation is the inability to follow footsteps on stairs. We observed that both general and locomotion motion capture datasets achieved similar results in following footsteps, but the locomotion dataset generated more visually natural human-like walking, especially for forward walking. Future work will aim to improve the robot’s walking robustness for navigating uneven terrains like stairs and slopes. Our findings suggest that low-level networks pre-trained on motion capture data are a viable approach for achieving human-like walking gaits in real-world, human-sized robots. This research paves the way for developing bipedal robots with efficient and natural walking capabilities. Accompanying videos1 and code2 are available online.	en_US
dc.description.abstract	Este estudio investiga un enfoque de aprendizaje por refuerzo jerárquico para lograr una marcha similar a la humana en robots bípedos mientras siguen pasos marcados. Tradicionalmente, se utilizaban máquinas de estados y métodos basados en modelos para esta tarea, lo que garantizaba estabilidad y seguridad, pero carecía de un movimiento natural similar al humano. Nuestro enfoque utiliza una arquitectura de dos niveles: una política de alto nivel entrenada específicamente para seguir pasos y una política de bajo nivel, derivada de datos de captura de movimiento, para generar marchas naturales. Los experimentos demuestran que este enfoque jerárquico supera significativamente el entrenamiento de una sola red, especialmente para tareas complejas en robots de tamaño humano. La red de bajo nivel desempeña un papel crucial, reduciendo sustancialmente los torques y velocidades articulares, a la vez que se logra una marcha estable. Sin embargo, una limitación actual es la incapacidad de seguir pasos en escaleras. Observamos que los conjuntos de datos de captura de movimiento, tanto generales como de locomoción, obtuvieron resultados similares en el seguimiento de pasos, pero el conjunto de datos de locomoción generó una marcha visualmente más natural, similar a la humana, especialmente al caminar hacia adelante. El trabajo futuro se centrará en mejorar la robustez de la marcha del robot para desplazarse por terrenos irregulares como escaleras y pendientes. Nuestros hallazgos sugieren que las redes de bajo nivel, preentrenadas con datos de captura de movimiento, son un enfoque viable para lograr una marcha similar a la humana en robots de tamaño humano. Esta investigación sienta las bases para el desarrollo de robots bípedos con capacidades de marcha eficientes y naturales. Los videos y el código complementarios están disponibles en línea.	es
dc.description.degree	Magíster en Ciencias de la Ingeniería Electrónica
dc.driver	info:eu-repo/semantics/masterThesis
dc.format.extent	41 páginas.
dc.identifier.barcode	3560900285573
dc.identifier.doi	10.71959/ebyf-5e10
dc.identifier.uri	https://cris.usm.cl/handle/123456789/4091
dc.identifier.uri	https://doi.org/10.71959/ebyf-5e10
dc.language.iso	en
dc.rights	Attribution-NonCommercial-NoDerivatives 4.0 International	en
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/4.0/
dc.subject	Bipedal locomotion
dc.subject	Deep reinforcement learning
dc.subject	Hierarchical networks
dc.subject	Human-like motion
dc.subject	Motion capture
dc.subject.ods	7 Energía asequible y no contaminante
dc.title	Adapting bipedal neuro-motor policies on planned footsteps
dspace.entity.type	Tesis

Files

Original bundle

Now showing 1 - 1 of 1

Name:: MC_MR_2024.pdf
Size:: 6.71 MB
Format:: Adobe Portable Document Format

Collections

Tesis de Postgrado