Nvidia研究人员使用AI教机器人如何将物体交给人类

英伟达(Nvidia)研究人员在本周发表的预印研究论文中提出了一种人类到机器人交接的方法，其中机器人会在半途中遇到人类，对人类的抓握进行分类，并计划一条从人类手中拿走物体的轨迹。他们声称与基线相比，移交更为流畅，他们说这可以为协作式仓库机器人的设计提供参考，从而提高工人的生产率。

正如合著者所解释的那样，越来越多的研究集中在实现无缝人机切换的问题上。假设人类可以将物体反向放置在机器人的夹具中，那么大多数解决了将物体从机器人传递到人类的挑战。但是，人和物体姿态估计的准确性会受到遮挡的影响(即，当物体和手相互遮挡时)，并且人类在搬运物体时经常需要注意其他任务。

Nvidia小组离散化了人类将小物件固定在几类中的方式，因此，如果一只手抓住一个障碍物，则该姿势可以分为“打开式”，“捏式”，“捏式” ，“捏侧”或“提起”。然后，他们使用Microsoft Azure Kinect深度相机编辑数据集，以训练AI模型将持物体的手分类为这些类别之一，特别是通过向对象显示手的示例图像并记录对象的行为20至60秒的姿势相似。在录制过程中，该人可以将其身体和手移动到不同的位置，以使相机的视点多样化，并且捕获了对象的左右手，共拍摄了151,551张图像。

研究人员将交接任务建模为所谓的“健壮的逻辑动力学系统”，该系统会生成运动计划，从而避免在给定分类的情况下机械手与手之间发生接触。该系统必须适应不同的可能的抓握，并做出反应选择接近人类并从中获取物体的方式。直到它稳定地估计出人们想要如何展示该块时，它才会停留在“原始”位置并等待。

在一系列实验中，研究人员对一系列不同的手部姿势和握法进行了系统的综述，包括分类模型和任务模型。来自Franka Amika的两个不同的熊猫机器人安装在不同位置的同一张桌子上，人类用户将四个不同颜色的块交给了它们。