ok

OK-Robot

作者: 刘沛琪*, Yaswanth Orru*, Jay Vakil, Chris Paxton, Mahi Shafiuallah†, Lerrel Pinto†
* 贡献相同, † 指导相同。

OK-Robot是一个零样本模块化框架，有效结合了最先进的导航和操作模型，可以在真实家庭中执行拾取和放置任务。它已在10个真实家庭中对170多个物体进行了测试，总成功率达到58.5%。

https://github.com/ok-robot/ok-robot/assets/156981262/7221264b-2fa3-4008-a757-0604cdc04e2b

硬件和软件要求

所需硬件：

所需软件：

安装

一旦机器人和工作站都准备就绪，你就可以开始实验了。

运行实验

首先设置环境，用胶带标记，正确放置机器人并扫描环境以从Record3D获取r3d文件。将其放在/navigation/r3d/中，运行以下命令。

在工作站上：

在一个终端中运行导航模块。

mamba activate ok-robot-env cd ok-robot-navigation python path_planning.py debug=False min_height={地面胶带的z坐标 + 0.1} dataset_path='r3d/{你的r3d文件名}.r3d' cache_path='{你的r3d文件名}.pt' pointcloud_path='{你的r3d文件名}.ply'

在另一个终端中运行操作模块

mamba activate ok-robot-env cd ok-robot-manipulation/src python demo.py --open_communication --debug

在机器人上：

在机器人上运行任何东西之前，你需要校准它

stretch_robot_home.py

我们的机器人代码依赖于home-robot提供的机器人控制器。就像运行其他基于home-robot的代码一样，你需要在两个终端中同步运行两个进程。

在一个终端中启动home-robot

roslaunch home_robot_hw startup_stretch_hector_slam.launch

在另一个终端中运行机器人控制。更多详情请参见ok-robot-hw

cd ok-robot-hw python run.py -x1 [x1] -y1 [y1] -x2 [x2] -y2 [y2] -ip [你的工作站ip]

引用

如果你发现这项工作有用，请考虑引用：

@article{liu2024okrobot, title={OK-Robot: What Really Matters in Integrating Open-Knowledge Models for Robotics}, author={Liu, Peiqi and Orru, Yaswanth and Paxton, Chris and Shafiullah, Nur Muhammad Mahi and Pinto, Lerrel}, journal={arXiv preprint arXiv:2401.12202}, year={2024} }

我们的工作依赖于许多其他出版物和开源项目，如果你发现某个特定组件有用，请考虑也引用原作者。

@article{fang2023anygrasp, title={Anygrasp: Robust and efficient grasp perception in spatial and temporal domains}, author={Fang, Hao-Shu and Wang, Chenxi and Fang, Hongjie and Gou, Minghao and Liu, Jirong and Yan, Hengxu and Liu, Wenhai and Xie, Yichen and Lu, Cewu}, journal={IEEE Transactions on Robotics}, year={2023}, publisher={IEEE} } @article{minderer2024scaling, title={Scaling open-vocabulary object detection}, author={Minderer, Matthias and Gritsenko, Alexey and Houlsby, Neil}, journal={Advances in Neural Information Processing Systems}, volume={36}, year={2024} } @article{yenamandra2023homerobot, title={HomeRobot: Open-Vocabulary Mobile Manipulation}, author={Yenamandra, Sriram and Ramachandran, Arun and Yadav, Karmesh and Wang, Austin and Khanna, Mukul and Gervet, Theophile and Yang, Tsung-Yen and Jain, Vidhi and Clegg, Alexander William and Turner, John and others}, journal={arXiv preprint arXiv:2306.11565}, year={2023} }

路线图

虽然OK-Robot本身就能做很多事情，但我们认为零样本、家居机器人还有很大的改进空间。这就是为什么我们认为OK-Robot是一个持续发展的项目，并将尝试不时地添加新功能。我们也鼓励你查看下面的列表，如果你感兴趣，可以通过为这个项目做出贡献来与社区分享你的改进。