机器人抓取与操作的挑战与进展——挑战赛角度

前言

本文根据最近的机器人抓取和操作挑战赛 (Robotic Grasping andManipulation Competitions (RGMCs))，首先回顾了近年赛事，然后重点讨论了机器人操作领域的挑战和进展。

一、国际机器人竞赛有哪些？

在过去十几年，已经举办了很多关于机器人操作的赛事，这些赛事虽复杂程度不同，但共同推动着领域的发展。
这些赛事主要集中在抓取，操作，装配，甚至移动操作，如下表所示。

从赛事任务上分，分为固定任务和自由选择任务。

固定任务：即环境，操作物，规则都是提前规定好的。这类任务方便进行不同队伍之间的对比和相同队伍不同年份的方案对比。
但是这种任务的缺点是参赛队伍可能会使用过度工程化的方案来完成任务，获得尽可能多的分数。

自由选择任务：这类任务允许参赛队伍自由选择任务场景，来展示他们的优势。通常只做宽泛的限制，如使用统一的机器人平台或演示任务中需要包含某一共同子任务。
这类任务的缺点是不容易比较队伍之间的方案。

Y. Sun, J. Falco, M. A. Roa and B. Calli, “Research Challenges and Progress in Robotic Grasping and Manipulation Competitions,” in IEEE Robotics and Automation Letters, vol. 7, no. 2, pp. 874-881, April 2022.

目前ICRA和IROS共同举办的RGMCs依然是主流赛事，具体可参考网址：https://cse.usf.edu/~yusun/rgmc/2024.html
ICRA2024举办的是第九届机器人抓取与操作挑战赛，今年共有两个赛道，包括基础技能赛道和制造赛道。

基础技能赛道包括四个子任务（队伍可专注一个或多个子任务），分别是布料操作，手内操作，杂乱拾取，和人机交接。
制造赛道主要是装配和拆卸任务，其中涉及到的零部件有皮带和线缆。

二、感知方面的挑战与进展

1）反光表面：

挑战：
近年来在相关竞赛中，已多次出现反光物品的抓取与操作，如勺子和钳子（下图a&b）。此外还有装配任务中的塑料底座，制造任务中的金属零部件（下图g）等。
这些反光部分不能被很好地检测到，增加了物体分割和位姿检测的难度，最终会导致任务的成功率下降。

进展：
2020 年，已有研究团队已经能够将不同的勺子区分开并完成位姿估计。他们采用的方法是控制照明，即用多个闪光灯来主动地管理反光。
如果已知物体的模型且其位置变化有限，则具有反光表面的物体可能不是一个重大挑战。

2）半透明或透明物体：

挑战：
透明或者半透明的物体对于机器人视觉也十分具有挑战性。这些任务包括拾起透明杯子及其盖子（下图c），拾起容器中的冰块（下图d），向杯中导入一定量的水（下图e）。
相对于拾起透明的杯子和盖子，拾起冰块的任务更具有挑战。因为杯子和盖子是独立的物体，方便位姿识别和抓取，而冰块在容器中是随机堆叠且透明的。

进展：
透明物体的的识别仍然还是一个难点，尤其是类似于在容器中随机堆叠的冰块这样的复杂任务，没有团队能够完成这样的任务。
对于倒水任务，几乎所有的团队都使用的是硬编码的方式，另外杯中水位的检测依然是一个挑战。
对于完全透明的物体，也许使用视觉之外的感知方式能够带给我们一些启发。

3）需要高精度和准确度的任务：

挑战：
具有小容差的任务对视觉的精度要求较高。典型的任务如USB接头的插入，机器人需要准确地定位插槽的位置（下图f）。
为了弥补定位的不准确性，通常需要使用耗时的搜索算法或者故障恢复方法。使用力觉传感器来引导任务的执行就是一种常见的搜索策略。

进展：
对于插孔任务，目前已有多个团队能够完成此类任务，无非是耗费时间长短不同。总之，在模型已知的情况下，插孔任务现在已不再具有挑战性。

二、抓取方面的挑战与进展

1）感知误差：

挑战：
感知误差在抓取过程中引起了最多的失败。这些误差会导致机器人撞倒或者推开物体，最终导致不稳定抓取或者完全没有抓到。
即使对于不需要独立位姿检测步骤的端到端的方法，感知层的噪音仍然会影响到抓取结果。
所以抓取方法需要具备处理感知误差或者感知不确定的能力。

进展：
RGMC 中的团队正在逐步探索新方法来处理感知不确定性，因为他们发现这是导致其解决方案缓慢且不可靠的几个主要原因之一。这是一项重大挑战，需要科研界和工程界的共同合作。

2）不规则形状和表面：

挑战：
即使具有完美的视觉感知，一些具有可供抓握面积很小的物品仍然难以抓取。如一些弯曲和狭窄的表面很难抓握。
典型的案例有如何稳定握住剪刀的圆形手环处（下图a），还有如何稳定端起有杯子在其上的茶碟（下图b）。

进展：
目前多采用的方法是使用多个夹爪结合能够自动更换夹爪的算法。
亦或者是开发一个集成了不同夹持功能夹爪，它可以旋转或者翻转来更换与物体对应的夹持功能。
但是这些方法都是针对已知物体专门设计的，在未知场景的未知物体中的抓取可能仍然具有挑战性。

3）杂乱物体的抓取：

挑战：
在堆叠杂乱的物品中拾起物体也是一件具有挑战的事项。因为夹爪通常需要抓住目标物的两侧但只能从一侧去靠近物体，其旁边的物品可能会阻挡机器人的手并给规划带来困难。
反映这一挑战的一个典型任务就是在购物篮中拾取物体并放置到特定区域（下图c）。
而对于有的物体，还需要考虑操作任务所需的抓取点和抓取位姿，当物体处于杂乱状态时，其抓取挑战会更大。
例如对水的的搅拌任务（下图d）和舀取豆子（下图e）的任务中，要先从容器盒中以特定位姿抓出勺子，这是非常困难的。

进展：
针对这一情况，目前已经有所进展，但是杂乱场景的抓取毫无疑问依然非常耗时。
在面对新场景新物体的堆叠场景，可能仍然具有挑战性。

4）重抓取：

挑战：
机器人可以一次性拾起物品但是有时需要改变位姿来适用于具体的操作任务。
如在拧紧或者拆卸螺钉时（下图f），需要使用起子拧很多圈，机器人需要高效地重抓握起子来克服腕关节有限的转动角度并完成任务。

进展：
很多团队通过固定装置来作为过渡放置物体，然后再抓取。
但是，这些团队并没有使用空中的重抓取，尽管这种方法可能更高效。在空中的重抓取依然具有一定的挑战。

5）针对操作任务进行抓取：

挑战：
对于一些操作任务，物体需要以适当的抓取位姿被抓握才能高效地完成任务。
比如在钉钉子（下图g）和搅拌任务中需要根据操作任务考虑抓取的位置。在插入销钉的任务（下图j）中需要考虑到一定的抓握力以避免接触力导致的物体手内滑动。
此外，可变形物体的抓取需要控制它们的形状，以完成把皮带穿到滑轮上（下图k）和布线（下图l）等任务。

进展：
大多数团队通过预定义抓取点的方式来满足操作任务的需求。
这种方法，对于已知的物体完全足够，但是对于未知的物体依然行不通。

6）用于手内操作的抓取：

挑战：
手内操作依然是非常具有挑战的任务之一。
这些任务包括伸展和按压注射器（下图h），使用剪刀剪纸（下图a），使用钳子夹取冰块等。

进展：
手内操作依然是最大的挑战，这些团队不能够完成灵活地使用剪子，注射器，和钳子。
这些任务由于难度太大而在多数竞赛中已经取消。

三、操作方面的挑战与进展

1）不完整感知的操作挑战与进展：

不完整感知和缺乏对运动结果的预测可能会导致操作任务的失败。

但是在RGMC比赛中，提供的物品是提前给到参赛队伍的，所以参赛人员可以通过对物体建模和使用确定的行为操作来减小不完整感知的挑战。
此外使用力触觉结合的方式也可以弥补这一缺陷。

2）需精确预测操作的挑战与进展：

对于一些任务容差要求太严格，或行为难以建模，为操作任务带来了挑战。
例如，钉入孔任务和拧紧或松开螺栓（下图d）
需要特定的的动作。撕纸巾（下图a）和倒水（下图b）需要机器人预测滚动动作和水流速度。打开拧紧的瓶盖时（下图c），需要机器人有一个预压力。

目前大多数队伍在操作规划时只考虑了避障，并没有考虑动力学和对行为进行预测。
但我们相信近期正在进行的一些研究将会解决部分挑战。

总结

本文首先总结了近年的机器人抓取与操作挑战赛，然后详细解释了近年来的挑战与进展。

需要指出的是这些挑战随着时间的推移，有的已经具有完善的解决方案，而有的依然非常棘手，读者可以调研最新的科研成果来判断还有哪些挑战未被解决。

本文是在文章《Research Challenges and Progress in Robotic Grasping and Manipulation Competitions》的基础上进行的整理和补充。

本文为个人观点，如有错误或不当之处请指正，转载请注明出处，欢迎大家交流。