Hugging Face presenta ToyBlocks, un entorno controlado para el aprendizaje robótico

Hugging Face presentó ToyBlocks, el primer FoundationWorld, un marco para crear entornos simulados controlados destinados a la investigación en robótica. El escenario utiliza un brazo robótico y bloques sobre una mesa para estudiar cómo los modelos aprenden, generalizan y combinan el razonamiento de alto nivel con un control físico preciso.

El sistema genera automáticamente tareas y demostraciones de entrenamiento sin requerir teleoperación, y permite variar las experiencias de entrenamiento antes de evaluar el desempeño en tareas no vistas. Las imágenes y letras en las caras de los bloques permiten tareas de búsqueda, clasificación y organización, mientras que variar propiedades como el tamaño de los bloques y la altura de la mesa pone a prueba la generalización. ToyBlocks usa aprendizaje por refuerzo y planificación de movimiento para generar habilidades de horizonte corto, combinando modelos de razonamiento con modelos que controlan los movimientos del robot.