大模型
大型项目的模块化管理 #生活技巧# #组织技巧# #项目组织#
1. 参考2. AgiBot World 数据集1. Arm(手臂)2. Waist(腰部)3. Chassis(底盘)4. Head(头部)5. End-Effector(末端执行器)6. Computing Platform(计算平台)7. Emergency Stop Button(紧急停止按钮)8. Touchscreen Display(触摸屏显示)9. Back Sensor(后部传感器)10. Battery(电池)3 最后 上连接智元机器人发布全球首个真机数据集AgiBotWorld,推动具身智能发展。已开启通用机器人商用量产,预计2024年发货量达300台。创始人稚晖君秉持开源理念,已多次开源技术,加速通用人工智能新时代到来。
1. 参考
稚晖君开源百万机器人真机数据集
人形机器人百万真机数据集全球首次开源 具身智能迎来GPT时刻
2. AgiBot World 数据集
该项目由稚晖君具身智能创业项目智元机器人,携手上海AI Lab、国家地方共建人形机器人创新中心以及上海库帕思联合发布。
其他数据集:
比如谷歌DeepMind曾构建过Open X-Embodiment数据集,数据整合自22种不同本体的机器人。但其中大部分数据缺乏统一标准化的采集流程,且许多用于数据采集的机器人构型已经过时,数据质量格式参差不齐 又比如斯坦福、UC伯克利、谷歌等构建的DROID数据集,
作者团队自己在后续研究中指出,DROID存在大量低质量数据,反而让机器人越学越迷茫。
Open X-Embodiment数据集,此次开源的AgiBot World长程数据规模高出10倍,场景范围覆盖面扩大100倍,数据质量从实验室级上升到工业级标准。
内容:
官方资料显示,AgiBot World数据集收录了80余种日常生活中的多样化技能。
从抓取、放置、推、拉等基础操作,到搅拌、折叠、熨烫等精细长程、双臂协同复杂交互,几乎涵盖了日常生活所需的绝大多数动作需求。
团队介绍,AgiBot World是从智元机器人自建的大规模数据采集工厂与应用实验基地中采集的,采集空间总面积超过4000平方米,包含3000多种真实物品。
为了尽可能覆盖机器人在生产、生活中的典型应用需求,为机器人提供高度真实的生产生活环境,采集环境包含超过100种真实场景、3000多种物品。
80%的任务为长程任务,时长集中在60s-150s之间,且涵盖多个原子技能,是DROID和OpenX-Embodiment工作的5倍。
家居场景:
在客厅,机器人可以精确控制机械臂抓取花材,精确定位花瓶的插孔,将花朵按计划插入适当位置。
使用清扫工具对地面进行全面清洁,包括碎屑、灰尘和液体等。
工业场景:
主要模拟分拣与物流自动化,复刻工业仓库与生产线,包括分拣系统、打包设备、传输带等。有助于训练机器人实现物料分拣、包装打包、物流搬运等。
商超场景:
这一场景下,主要高度还原超市货架布局与收银区设计,包含生鲜、日用、冷冻等多个品类区域。有助于训练机器人模拟物品上架、货物盘点、顾客引导、无人结算等。
上面所提到的AgiBot World的所有数据,都是由下面这款机器人采集的:
这张图片展示了一款名为 AGIBOT 的机器人,详细标注了其各个部分的功能和规格。以下是每个部分的详细解读:
1. Arm(手臂) 7-DoF (Degrees of Freedom):手臂具有7个自由度,这意味着它可以进行复杂的多维运动。 Maximum Single-Arm Load: 5kg:单臂的最大负载能力为5公斤。 2. Waist(腰部) DoF: Pitch / Lift:腰部有两个自由度,分别是俯仰(Pitch)和提升(Lift),这使得机器人可以调整身体的高度和角度。 3. Chassis(底盘) 600 mm Clearance Space:底盘离地面的最小间隙为600毫米,确保机器人可以在不平坦的地面上行驶。 750 mm In-Place Rotation:机器人可以在原地旋转750毫米,提供灵活的转向能力。 Active Collision Avoidance:具备主动避障功能,能够检测并避开障碍物。 Mapping & Localization:具备地图构建和定位功能,能够在未知环境中导航。 4. Head(头部) RGBD Camera * 1 / Fisheye * 3:配备一个RGBD摄像头和三个鱼眼摄像头,用于环境感知和深度信息获取。 DoF: Yaw / Pitch:头部有两个自由度,分别是偏航(Yaw)和俯仰(Pitch),使得头部可以进行水平和垂直方向的转动。 5. End-Effector(末端执行器) Gripper / Dexterous Hand:末端执行器可以是抓手或灵巧手,用于抓取和操作物体。 RGBD Camera * 1 / Fisheye * 1:配备一个RGBD摄像头和一个鱼眼摄像头,用于精确的视觉反馈。 Six-Axis Force:具备六轴力传感器,能够感知和控制施加在物体上的力。 6. Computing Platform(计算平台) Jetson AGX Orin 64GB:采用 NVIDIA Jetson AGX Orin 计算模块,具有64GB内存,提供强大的计算能力。 7. Emergency Stop Button(紧急停止按钮) 位置:位于机器人的顶部,便于快速触发紧急停止。 8. Touchscreen Display(触摸屏显示) 位置:位于机器人的前部,用于人机交互和状态显示。 9. Back Sensor(后部传感器) Fisheye * 2:配备两个鱼眼摄像头,用于后方环境感知。 10. Battery(电池) Battery Life > 4hrs:电池续航时间超过4小时,确保长时间运行。它具有以下几个特点:
360°感知:8个摄像头环绕式布局,实时全方位感知周围环境的动态变化。
灵巧操作:可配备具有6个主动自由度的灵巧手,保障动作精准且灵活,完成多种复杂操作。
末端精细感知:标配末端六维力传感器,并可配备高精度视触觉传感器,能够感知力的微小变化,做到“拿捏有度”。
高自由度:全身最高32个自由度,应对洗衣、做饭、分拣、搬运等复杂任务。
这次开源AgiBot World数据集,是稚晖君在三个月内的第三次开源举动。
第一次是9月底,开源了专为具身智能打造的轻量化、高性能通信框架AimRT。
上一次是10月24日(没错就是踩点1024),智元人形机器人灵犀X1全套资料全球开源,包括设计图纸和代码。
3 最后 上连接
GitHub链接:
https://github.com/OpenDriveLab/AgiBot-World
抱抱脸链接:
https://huggingface.co/agibot-world
项目主页:
https://agibot-world.com/
https://www.agibot.com/DOCS/OS
Open Source CodeInference Code:https://github.com/AgibotTech/agibot_x1_infer
Training Code:https://github.com/AgibotTech/agibot_x1_train
网址:大模型 https://www.yuejiaxmz.com/news/view/627172
相关内容
大模型RAGPaddleHub+PaddleSpeech:文心大模型
吉利+大模型=画饼充饥?
自制模型飞机怎么做 飞机模型制作手工DIY大全
机器学习: LightGBM模型(优化版)——高效且强大的树形模型
日日新·大医医疗健康大模型
C4D模型
什么是中国大模型?2024年中国AI大模型盘点:技术前沿与应用展望
2024 AI大模型年度十大关键词发布
大模型之战=AI服务器之争