教育新闻网近年来，全球许多研究团队一直在开发和评估技术，以使腿式机器人实现不同的运动风格。训练机器人像人或动物一样走路的一种方法是让它们分析并模拟真实世界的演示。这种方法称为模仿学习。
苏格兰爱丁堡大学的研究人员最近设计了一个框架，用于训练人形机器人通过人类演示像人一样行走。在arXiv上预发表的一篇论文中提出的这个新框架将模仿学习和深度强化学习技术与机器人控制理论相结合，以实现人形机器人的自然运动和动态运动。
“我们着手研究的关键问题是如何将(1)机器人运动中的有用人类知识和(2)模仿人类的运动捕获数据纳入深度强化学习范例，以更有效地提升有腿机器人的自主能力，” Chuanyu进行这项研究的研究人员之一，杨告诉TechXplore。我们提出了两种将人类先验知识引入DRL框架的方法。”
Yang和他的同事设计的框架基于独特的奖励设计，该设计使用人类步行的运动字幕数据作为训练参考。另外，它利用了两种专门的分层神经架构，即相功能神经网络(PFNN)和模式自适应神经网络(MANN)。
Yang解释说：“复制类似人的运动方式的关键是引入人的行走数据，作为学习代理模仿的专家演示。” “奖励设计是强化学习的重要方面，因为它支配着代理的行为。”
Yang和他的同事使用的奖励设计包括一个任务术语和一个模仿术语。这些组件中的第一个组件为类人机器人实现高水平的运动提供了必要的指导，而后者则可以实现更人性化和自然的行走方式。这种独特的设计与其他常规人形控制方法背后的关键理论概念保持一致。
研究人员通过在模拟环境中进行的一系列实验评估了他们的模仿学习框架。他们发现，即使在存在干扰或不良因素(例如地形不规则或外部推动)的情况下，它也能够在各种情况下产生强大的运动行为。
杨说：“通过利用人类的步行动作作为人工代理模仿的专家演示，我们可以加快学习速度，提高整体任务绩效。” “人类的示范知识使我们能够更有意义地设计学习框架，这被证明总体上对运动技能和运动控制有益。”
这组研究人员收集的发现表明，专家演示(在此示例中为人类行走的镜头)可以显着增强深度强化学习技术，以针对不同的运动风格训练机器人。最终，他们提出的新框架可用于训练类人机器人，使其以与人类相似的方式更快，更高效地行走，同时还实现更自然和类似人类的行为。
具有模仿效果的自然且类似人的步态：人类的演示确保AI策略不会偏离建议的动作。图片来源：Yang等
到目前为止，Yang和他的同事们只在仿真中评估了他们的框架，因此他们现在计划研究将其从仿真环境转移到现实环境的方法。他们最终希望在真正的人形机器人上实现它，以便进一步评估其有效性和可用性。
杨说：“在未来的工作中，我们还计划扩展学习框架，以模仿更加多样化和复杂的人类运动，例如横跨运动，操纵和抓握的一般运动技能。” “我们还计划研究有效的从仿真到现实的策略传输，以实现对真正机器人的学习策略的快速部署。”
