当前位置：首页 > news >正文

【具身智能评估1】具身视觉语言规划（EVLP）仿真环境汇总

news 来源：原创 2024/5/20 14:25:42

参考论文：Core Challenges in Embodied Vision-Language Planning
论文作者：Jonathan Francis, Nariaki Kitamura, Felix Labelle, Xiaopeng Lu, Ingrid Navarro, Jean Oh
论文原文：https://arxiv.org/abs/2106.13948
论文出处：Journal of Artificial Intelligence Research 74 (2022) 459-515
论文被引：27（11/18/2023）

论文中的工作截止到2021年，在此基础上补充了近几年具身智能领域相关的仿真环境。
在这里插入图片描述

术语对齐

Embodied Vision Language Planning (EVLP)：具身视觉语言规划
在这里插入图片描述

具身智能仿真环境

解决 EVLP 任务通常需要使用仿真环境和数据集。仿真平台和数据集有助于复现和评估具身智能系统。模拟器旨在复制现实世界的方方面面，并模拟能够解决复杂任务的智能体（agent），同时抽象出设计和监督现实世界智能体的所面临的挑战。相比之下，数据集在阐明每项任务的框架方面起着至关重要的作用。数据集提供了智能体在应对特定多模态刺激时的行为示例。

早期的具身研究模拟平台通常利用视频游戏环境来创建和训练神经控制器。由于简化的环境通常缺乏真实世界环境的多样性和复杂性，人类的表现很快就在其中一些平台上实现了。最近的研究通过使用逼真的照片和使用交互式情境（智能体能够修改环境中物体的状态）来解决这种缺乏真实感的问题。为此，人们也在开发从模拟到现实的迁移和评估为重点的框架，以便研究真实环境与模拟环境之间的差异。
在这里插入图片描述

VLN Simulators

Matterport3DSim

Matterport3D Dataset：

论文标题：Matterport3D: Learning from RGB-D Data in Indoor Environments
论文作者：Angel Chang, Angela Dai, Thomas Funkhouser, Maciej Halber, Matthias Nießner, Manolis Savva, Shuran Song, Andy Zeng, Yinda Zhang
论文原文：https://arxiv.org/abs/1709.06158
论文出处：3DV 2017
论文被引：1449（11/18/2023）
论文代码：https://github.com/niessner/Matterport，834 star
项目主页：https://niessner.github.io/Matterport/

Matterport3D Simulator：

论文标题：Vision-and-Language Navigation: Interpreting visually-grounded navigation instructions in real environments
论文作者：Peter Anderson, Qi Wu, Damien Teney, Jake Bruce, Mark Johnson, Niko Sünderhauf, Ian Reid, Stephen Gould, Anton van den Hengel
论文原文：https://arxiv.org/abs/1711.07280
论文出处：CVPR 2018
论文被引：1089（11/18/2023）
论文代码：https://github.com/peteanderson80/Matterport3DSimulator
项目主页：–

Habitat

Habitat 1.0

论文标题：Habitat: A Platform for Embodied AI Research
论文作者：Manolis Savva, Abhishek Kadian, Oleksandr Maksymets, Yili Zhao, Erik Wijmans, Bhavana Jain, Julian Straub, Jia Liu, Vladlen Koltun, Jitendra Malik, Devi Parikh, Dhruv Batra
论文原文：https://arxiv.org/abs/1904.01201
论文出处：ICCV 2019
论文被引：1043（11/18/2023）
论文代码：https://github.com/facebookresearch/habitat-sim，2k star
项目主页：https://aihabitat.org/

Habitat 2.0

论文标题：Habitat 2.0: Training Home Assistants to Rearrange their Habitat
论文作者：Andrew Szot, Alex Clegg, Eric Undersander, Erik Wijmans, Yili Zhao, John Turner, Noah Maestre, Mustafa Mukadam, Devendra Chaplot, Oleksandr Maksymets, Aaron Gokaslan, Vladimir Vondrus, Sameer Dharur, Franziska Meier, Wojciech Galuba, Angel Chang, Zsolt Kira, Vladlen Koltun, Jitendra Malik, Manolis Savva, Dhruv Batra
论文原文：https://arxiv.org/abs/2106.14405
论文出处：NeurIPS 2021 Spotlight
论文被引：279（11/18/2023）
论文代码：https://github.com/facebookresearch/habitat-lab，1.5k star
项目主页：https://aihabitat.org/

Habitat 3.0

论文标题：Habitat 3.0: A Co-Habitat for Humans, Avatars and Robots
论文作者：Xavier Puig, Eric Undersander, Andrew Szot, Mikael Dallaire Cote, Tsung-Yen Yang, Ruslan Partsey, Ruta Desai, Alexander William Clegg, Michal Hlavac, So Yeon Min, Vladimír Vondruš, Theophile Gervet, Vincent-Pierre Berges, John M. Turner, Oleksandr Maksymets, Zsolt Kira, Mrinal Kalakrishnan, Jitendra Malik, Devendra Singh Chaplot, Unnat Jain, Dhruv Batra, Akshara Rai, Roozbeh Mottaghi
论文原文：https://arxiv.org/abs/2310.13724
论文出处：arXiv
论文被引：2（11/18/2023）
论文代码：https://github.com/facebookresearch/habitat-lab/tree/v0.3.0，1.5 k
项目主页：https://aihabitat.org/habitat3/

StreetLearn

论文标题：Learning to Navigate in Cities Without a Map
论文作者：Piotr Mirowski, Matthew Koichi Grimes, Mateusz Malinowski, Karl Moritz Hermann, Keith Anderson, Denis Teplyashin, Karen Simonyan, Koray Kavukcuoglu, Andrew Zisserman, Raia Hadsell
论文原文：https://arxiv.org/abs/1804.00168
论文出处：NeurIPS 2018
论文被引：293（11/18/2023）
论文代码：https://github.com/google-deepmind/streetlearn，271 star
项目主页：https://sites.google.com/view/streetlearn/

VDN Simulator

Matterport3DSim

EQA Simulators

House3D

论文标题：Building Generalizable Agents with a Realistic and Rich 3D Environment
论文作者：Yi Wu, Yuxin Wu, Georgia Gkioxari, Yuandong Tian
论文原文：https://arxiv.org/abs/1801.02209
论文出处：ICLR 2018
论文被引：232（11/18/2023）
论文代码：https://github.com/facebookresearch/House3D
项目主页：–

AI2-THOR

论文标题：AI2-THOR: An Interactive 3D Environment for Visual AI
论文作者：Eric Kolve, Roozbeh Mottaghi, Winson Han, Eli VanderBilt, Luca Weihs, Alvaro Herrasti, Matt Deitke, Kiana Ehsani, Daniel Gordon, Yuke Zhu, Aniruddha Kembhavi, Abhinav Gupta, Ali Farhadi
论文原文：https://arxiv.org/abs/1712.05474
论文出处：arXiv 1712
论文被引：662（11/18/2023）
论文代码：https://github.com/allenai/ai2thor，914 star
项目主页：https://ai2thor.allenai.org/

MINOS

论文标题：MINOS: Multimodal Indoor Simulator for Navigation in Complex Environments
论文作者：Manolis Savva, Angel X. Chang, Alexey Dosovitskiy, Thomas Funkhouser, Vladlen Koltun
论文原文：https://arxiv.org/abs/1712.03931
论文出处：arXiv 1712
论文被引：128（11/18/2023）
论文代码：https://github.com/minosworld/minos，199 star
项目主页：https://minosworld.github.io/

EOR Simulators

REVERIE

论文标题：REVERIE: Remote Embodied Visual Referring Expression in Real Indoor Environments
论文作者：Yuankai Qi, Qi Wu, Peter Anderson, Xin Wang, William Yang Wang, Chunhua Shen, Anton van den Hengel
论文原文：https://arxiv.org/abs/1904.10151
论文出处：CVPR 2020
论文被引：204（11/18/2023）
论文代码：https://github.com/YuankaiQi/REVERIE，94 star
项目主页：–

EGM Simulators

ALFRED

论文标题：ALFRED: A Benchmark for Interpreting Grounded Instructions for Everyday Tasks
论文作者：Mohit Shridhar, Jesse Thomason, Daniel Gordon, Yonatan Bisk, Winson Han, Roozbeh Mottaghi, Luke Zettlemoyer, Dieter Fox
论文原文：https://arxiv.org/abs/1912.01734
论文出处：CVPR 2020
论文被引：489（11/18/2023）
论文代码：https://github.com/askforalfred/alfred，288 star
项目主页：https://askforalfred.com/

ArraMon

论文标题：ArraMon: A Joint Navigation-Assembly Instruction Interpretation Task in Dynamic Environments
论文作者：Hyounghun Kim, Abhay Zala, Graham Burri, Hao Tan, Mohit Bansal
论文原文：https://arxiv.org/abs/2011.07660
论文出处：EMNLP Findings 2020
论文被引：13（11/18/2023）
论文代码：https://github.com/hyounghk/ArraMon，4 star
项目主页：https://arramonunc.github.io/

CerealBar

论文标题：Executing Instructions in Situated Collaborative Interactions
论文作者：Alane Suhr, Claudia Yan, Charlotte Schluger, Stanley Yu, Hadi Khader, Marwa Mouallem, Iris Zhang, Yoav Artzi
论文原文：https://arxiv.org/abs/1910.03655
论文出处：EMNLP 2019 long paper
论文被引：68（11/18/2023）
论文代码：https://github.com/lil-lab/cerealbar，26 star
项目主页：https://lil.nlp.cornell.edu/cerealbar/

Other Simulator

iGibson

论文标题：Interactive Gibson Benchmark (iGibson 0.5): A Benchmark for Interactive Navigation in Cluttered Environments
论文作者：Fei Xia, William B. Shen, Chengshu Li, Priya Kasimbeg, Micael Tchapmi, Alexander Toshev, Li Fei-Fei, Roberto Martín-Martín, Silvio Savarese
论文原文：https://arxiv.org/abs/1910.14442
论文出处：RAL 2020
论文被引：181（11/18/2023）
论文代码：https://github.com/StanfordVL/iGibson，581 star
项目主页：https://sites.google.com/view/interactivegibsonenv

iGibson 1.0

论文标题：iGibson 1.0: a Simulation Environment for Interactive Tasks in Large Realistic Scenes
论文作者：Bokui Shen, Fei Xia, Chengshu Li, Roberto Martín-Martín, Linxi Fan, Guanzhi Wang, Claudia Pérez-D’Arpino, Shyamal Buch, Sanjana Srivastava, Lyne P. Tchapmi, Micael E. Tchapmi, Kent Vainio, Josiah Wong, Li Fei-Fei, Silvio Savarese
论文原文：https://arxiv.org/abs/2012.02924
论文出处：IROS 2021
论文被引：100（11/18/2023）
论文代码：https://github.com/StanfordVL/iGibson，581 star
项目主页：https://svl.stanford.edu/igibson/

iGibson 2.0

论文标题：iGibson 2.0: Object-Centric Simulation for Robot Learning of Everyday Household Tasks
论文作者：Chengshu Li, Fei Xia, Roberto Martín-Martín, Michael Lingelbach, Sanjana Srivastava, Bokui Shen, Kent Vainio, Cem Gokmen, Gokul Dharan, Tanish Jain, Andrey Kurenkov, C. Karen Liu, Hyowon Gweon, Jiajun Wu, Li Fei-Fei, Silvio Savarese
论文原文：https://arxiv.org/abs/2108.03272
论文出处：CoRL 2021
论文被引：105（11/18/2023）
论文代码：https://github.com/StanfordVL/iGibson，581 star
项目主页：https://svl.stanford.edu/igibson/

SoundSpaces

论文标题：SoundSpaces: Audio-Visual Navigation in 3D Environments
论文作者：Changan Chen, Unnat Jain, Carl Schissler, Sebastia Vicenc Amengual Gari, Ziad Al-Halah, Vamsi Krishna Ithapu, Philip Robinson, Kristen Grauman
论文原文：https://arxiv.org/abs/1912.11474
论文出处： ECCV 2020
论文被引：203（11/18/2023）
论文代码：https://github.com/facebookresearch/sound-spaces，281 star
项目主页：https://vision.cs.utexas.edu/projects/audio_visual_navigation/

VirtualHome

论文标题：VirtualHome: Simulating Household Activities via Programs
论文作者：Xavier Puig, Kevin Ra, Marko Boben, Jiaman Li, Tingwu Wang, Sanja Fidler, Antonio Torralba
论文原文：https://arxiv.org/abs/1806.07011
论文出处：CVPR 2018 Oral
论文被引：314（11/18/2023）
论文代码：https://github.com/xavierpuigf/virtualhome，323 star
项目主页：http://virtual-home.org/

SAPIEN

论文标题：SAPIEN: A SimulAted Part-based Interactive ENvironment
论文作者：Fanbo Xiang, Yuzhe Qin, Kaichun Mo, Yikuan Xia, Hao Zhu, Fangchen Liu, Minghua Liu, Hanxiao Jiang, Yifu Yuan, He Wang, Li Yi, Angel X. Chang, Leonidas J. Guibas, Hao Su
论文原文：https://arxiv.org/abs/2003.08515
论文出处：CVPR 2020
论文被引：286（11/18/2023）
论文代码：https://github.com/haosulab/SAPIEN，266 star
项目主页：–

ThreeDWorld ※

论文标题：ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation
论文作者：Chuang Gan, Jeremy Schwartz, Seth Alter, Damian Mrowca, Martin Schrimpf, James Traer, Julian De Freitas, Jonas Kubilius, Abhishek Bhandwaldar, Nick Haber, Megumi Sano, Kuno Kim, Elias Wang, Michael Lingelbach, Aidan Curtis, Kevin Feigelis, Daniel M. Bear, Dan Gutfreund, David Cox, Antonio Torralba, James J. DiCarlo, Joshua B. Tenenbaum, Josh H. McDermott, Daniel L.K. Yamins
论文原文：https://arxiv.org/abs/2007.04954
论文出处：NeurIPS 2021
论文被引：186（11/18/2023）
论文代码：https://github.com/threedworld-mit/tdw，426 star
项目主页：https://www.threedworld.org/

PyBullet

项目主页：https://pybullet.org/wordpress/

Github：https://github.com/bulletphysics/bullet3，11.3k star

MuJoCo

论文标题：MuJoCo: A physics engine for model-based control
论文作者：Emanuel Todorov; Tom Erez; Yuval Tassa
论文原文：https://ieeexplore.ieee.org/document/6386109
论文出处：2012 IEEE/RSJ International Conference on Intelligent Robots and Systems
论文被引：4752（11/18/2023）
论文代码：https://github.com/google-deepmind/mujoco，6.5k star
项目主页：https://mujoco.org/