教育新闻网谷歌和加州大学伯克利分校的研究人员在本周在预印本服务器Arxiv.org上发表的两篇论文中描述了新的AI和机器学习技术，这些技术使机器人能够适应从未见过的任务并抓住被遮挡的物体。第一项研究详细介绍了X射线，该算法在部署到机器人上时可以搜索对象的堆以掌握目标对象，而第二项研究则提出了一种策略适应技术，可以“教”机器人技能，而无需从头开始进行模型训练。
抓机器人是一个非常困难的挑战。例如，机器人努力执行所谓的“机械搜索”，即当他们不得不从一堆其他对象中识别并拾取一个对象时。大多数机器人不是特别适应性强，并且缺乏足够功能强大的AI模型来指导机械手进行机械搜索。
X射线和策略调整步骤可以构成产品包装系统的基础，该产品包装系统可以在无需人工监督的情况下发现，拾取和放下各种物体。
X射线
有关X射线的研究的合著者指出，由于缺乏合适的模型，机械搜索(在大量对象中找到对象)仍然具有挑战性。X射线结合了遮挡推断和假设预测来解决该问题，它可用来估计与对象最相似的边界框(对象周围矩形边框的坐标)的占用率分布，同时考虑各种平移和旋转。
X-Ray假定堆中至少有一个完全或部分被未知对象遮挡的目标对象，并且每个时间步最多可以抓取一个对象。以RGB图像和目标对象为输入，它可以预测场景的占用率分布和分割蒙版，并计算几种潜在的抓握动作，以最高的成功概率执行该动作。
为了训练和验证X射线，研究人员生成了10,000个增强深度图像的语料库，这些图像标记有矩形框目标对象的对象占用分布。他们从Thingiverse上的1296个3D CAD模型的开放源数据集中进行采样，选择了10个大小相同，体积较小但厚度较小的盒子目标，因此它们更有可能被遮挡。这使他们总共获得了100,000张图像。
在这10,000张图片中，约有8,000张被保留用于培训，其余的则留作测试。使用一千个包含模拟对象(盖子，多米诺骨牌和长笛)的其他图像来评估X射线对看不见的形状，对象，长宽比和比例尺的概括。
在涉及带有吸盘和平行颚式抓爪的真实ABB YuMi机器人的物理实验中，研究人员要求X射线将物体装满垃圾箱，然后将垃圾箱倾倒在目标物体的顶部。在最初包含25个对象的堆中，系统在20次试验中以5个动作的中位数提取了目标对象，成功率为100%。
合著者将精力放在未来的工作上，以提高X射线的训练效率，并分析数据集大小以及用于生成训练分布的平移和旋转次数的影响。他们还计划根据目标对象可见性的奖励来探索强化学习策略。
政策调整
在这两篇论文的最新文章中，合著者试图开发一种能够不断适应新的现实环境，物体和条件的系统。与大多数机器人相反，后者仅需训练一次即可部署，而适应能力却很少。
研究人员对机器学习模型进行了预训练，以在608,000次尝试抓取的语料库中抓取一系列对象，然后他们执行的任务是使用向其起始位置右移10厘米的抓手抓取对象。系统练习了一段时间(经过800次尝试)并将这些尝试记录到新数据集(目标数据集)中之后，新尝试在50%的时间内与原始数据集进行了混合，调整模型。
在五个不同的场景中重复了这些步骤-预训练，尝试新任务和微调。一方面，刺眼的光线阻碍了机器人的摄像头。在另一种情况下，棋盘图案的背景使模型难以识别对象。最后，实验人员让机器人抓住训练中看不到的透明瓶子(众所周知，透明物体很难抓住机器人，因为它们有时会混淆深度传感器)，并捡拾坐在高反射金属板上的物体。
研究人员报告说，在实验中，该模型成功地在苛刻的灯光下63%的时间，透明瓶子的74%的时间，棋盘垫板的时间的86%的时间，抓手扩展的88%的时间成功地捕获了物体，和91%的时间使用偏置夹持器。而且，他们说，机器人适应新情况只需要花费1-4个小时的练习时间(相比之下，学习如何掌握的时间大约为6,000个小时)，并且性能不会随着所适应的模型而降低。
将来，该小组计划调查该过程是否可以自动化。
