加州大学伯克利分校（UC Berkeley），蒙特利尔大学和米拉大学的研究人员最近开发了一种分层强化学习框架，以提高四足机器人在足球射击中的精度。这个框架在arXiv上预先发表的一篇论文中引入，被部署在Unitree A1上，Unitree A1是由UnitreeRobotics开发的四足机器人。
“人类的腿不仅用于运动，还可以用于踢足球等操作，我们希望使四足机器人也能获得这种能力，”进行这项研究的研究人员之一Hongyu Li告诉TechXplore。“机器人社区有一个著名的联盟，叫做'RoboCup'（机器人世界杯），几十年来一直在邀请研究人员训练他们的机器人玩足球比赛。
最近的进步使得能够为机器人创建更可靠的硬件和先进的控制算法。因此，机器人现在更加敏捷，可以处理更复杂的任务，包括与人类一起踢足球。李和他的同事们开发的框架可以帮助提高四足机器人在足球比赛中投篮的能力。
新框架有两个关键组成部分：运动控制策略和运动规划策略。运动控制组件允许机器人跟踪其踢腿上脚趾的任意轨迹。另一方面，运动规划策略选择最佳脚趾轨迹，将附近的足球（由外部摄像头检测到）射向目标位置（例如，球门柱）。
“我们的设计使我们能够将精确的足球冲刺任务的挑战分离到两个子任务中：控制和计划，”李说。我们可以首先专注于训练一个可以在硬件上运行的健壮的控制策略，然后重用这样的控制器来学习规划策略。为了在现实世界中精确地将球射向目标，当机器人射击真正的足球时，计划员会使用现实世界的数据进行训练。
Li和他的同事使用A1四足机器人在一系列实际测试中测试了他们的框架。他们发现，它允许机器人以高精度将可变形的足球射向随机目标。这是一项非常复杂的任务，因为机器人需要快速摆动其踢腿并在不失去平衡的情况下获得动力。
“足球带来了更多的挑战，因为机器人不仅需要处理与可变形球难以建模的软接触，还需要处理球与地面之间滚动摩擦的不确定性，”李说。“我们开发用于解决这些问题的方法可能对动态机器人（例如腿式机器人）必须与软物体（例如球，绳索，皮带，衣服等）相互作用的任务可能有用。
在未来，这个研究小组创建的框架可以用来提高机器人在足球比赛中的表现，特别是Robocup。与此同时，李和他的同事们计划设计其他框架和机器学习模型，以提高机器人在足球运动其他元素中的表现。
“我们的长期目标是开发四足机器人足球运动员，有朝一日可以与人类竞争，”李补充说。“我们正在使用四足机器人开发更复杂的足球技能，希望在不久的将来，我们可以使用四足机器人开始一场完全自主的足球比赛。
原文标题：A reinforcement learning framework to improve the soccer shooting skills of quadruped robots
原文链接：https://techxplore.com/news/2022-08-framework-soccer-skills-quadruped-robots.html
作者：Ingrid Fadelli
编译：LCR