在场景中捕捉、优化人体动作的方法及动作捕捉系统

使用连拍模式在动态场景中捕捉连续动作。 #生活知识# #旅行生活# #旅游摄影#

本技术涉及动作捕捉，具体而言，涉及一种在场景中捕捉、优化人体动作的方法及动作捕捉系统。

背景技术：

1、在数字世界中，通过实现增强现实、虚拟现实、智能城市、机器人、自动驾驶等技术，数字世界的发展丰富了人们的生活，因此具有一定重要性。人类和环境是打造数字世界的两大组成部分。目前研究倾向于将动态人体动作与静态环境分离，从而帮助提高人体动作和环境的捕捉精度。为了捕捉人体动作，广泛使用惯性测量单元(imu)传感器，将其安装在人体的不同部位，如手臂、腿、脚、头等，即可捕捉到精确的短期动作，但随着采集时间的增加，传感器会出现漂移。常规方法往往将外置摄像机作为提高精度的补救措施，但这些方法可能会使捕捉空间、人类活动和交互受到限制。例如，人体定位定姿系统(hps)采用头戴式摄像机，犹如人眼一样向外观看，在全局定位中作为imu传感器的补充。在没有外置摄像机约束的情况下，hps可以恢复全身姿态，并将hps佩戴者注册到真实场景的大型3d扫描中。然而，hps需要预先构建的地图和大型图像数据库进行自我定位，在捕捉大型场景时，这些条件并不理想。因此，常规方法不太适合从大规模空间中捕捉场景。

技术实现思路

1、本技术的实施例提供了一种在场景中捕捉、优化人体动作的方法及动作捕捉系统，进而至少在一定程度上可以适于在大规模空间中捕捉场景。

2、本技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本技术的实践而习得。

3、本发明介绍了在场景中捕捉人体动作的方法。人体上可安装多个imu设备和一个lidar传感器。利用所述imu设备可以捕捉imu数据，同时利用所述lidar传感器可以捕捉lidar数据。根据所述imu数据和所述lidar数据可以对人体动作进行估计。根据所述lidar数据可以构建三维场景图。可以进行优化，获得优化的人体动作和优化的场景图。

4、在一些实施例中，可以估计所述lidar传感器的自运动。所述lidar传感器可安装在人体的髋部。

5、在一些实施例中，可根据所述lidar传感器的自运动，校准所述lidar数据和imu数据。

6、在一些实施例中，可在获得所述imu设备捕捉的imu数据和所述lidar传感器捕捉的lidar数据这一步骤中进行人体跳跃。根据从所述lidar数据得出的峰值和从所述imu数据得出的峰值，可将所述lidar数据和imu数据同步。

7、在一些实施例中，可以进行基于图的优化，以融合lidar轨迹和imu轨迹。所述lidar轨迹可包括从所述lidar数据得出的人体中心移动。所述imu轨迹可包括从所述imu数据得出的人体中心移动。

8、在一些实施例中，所述优化可以基于接触约束和滑动约束。

9、在一些实施例中，所述接触约束可将接触损失界定为从身体部位(从人体动作得出)到最近表面(从三维场景图得出)的距离。所述滑动约束可将滑动损失界定为从人体动作得出的两个连续身体部位之间的距离。使用梯度下降算法，可以最大程度地减少所述接触损失和滑动损失的总和，以迭代地优化人体动作。

10、在一些实施例中，所述身体部位可以是人体的脚部。所述表面可以是地面。

11、在一些实施例中，可在第二人体上安装多个第二imu设备和一个第二lidar传感器。可以获得所述第二imu设备捕捉的第二imu数据和所述第二lidar传感器捕捉的第二lidar数据。根据所述第二imu数据可以对第二人体的动作进行估计。根据所述第二lidar数据可以构建三维第二场景图。可以融合所述三维场景图和所述三维第二场景图，以获得组合场景图。

12、在一些实施例中，基于所述人体的优化动作和所述优化的场景图，可以创建元宇宙。

13、本发明介绍了一种动作捕捉系统。所述系统可包括多个可由人体佩戴的imu设备、一个可安装在人体上的lidar传感器、一个处理器和一个存储指令的存储器，当处理器执行指令时，指令使系统在场景中执行人体动作捕捉方法，所述方法包括：获取所述imu设备捕捉的imu数据和所述lidar传感器捕捉的lidar数据。

14、在一些实施例中，l形支架可将所述lidar传感器安装在人体的髋部。所述lidar传感器和所述imu设备可具有基本刚性变换。

15、在一些实施例中，无线接收器可与所述系统耦合。所述无线接收器可接收所述imu设备捕捉的imu数据。

16、在一些实施例中，根据所述imu数据和lidar数据可以对人体动作进行估计。根据所述lidar数据可以构建三维场景图。可以进行优化，获得优化的人体动作和优化的场景图。

17、在一些实施例中，可以进行基于图的优化，以融合lidar轨迹和imu轨迹。所述lidar轨迹可包括从所述lidar数据得出的人体中心移动。所述imu轨迹可包括从所述imu数据得出的人体中心移动。

18、在一些实施例中，所述优化可以基于接触约束和滑动约束。

19、在一些实施例中，所述接触约束可将接触损失界定为从身体部位(从人体动作得出)到最近表面(从三维场景图得出)的距离。所述滑动约束可将滑动损失界定为从人体动作得出的两个连续身体部位之间的距离。使用梯度下降算法，可以最大程度地减少所述接触损失和滑动损失的总和，以迭代地优化人体动作。

20、在一些实施例中，所述身体部位可以是人体的脚部。所述表面可以是地面。

21、在一些实施例中，多个第二imu设备可由第二人体佩戴。第二lidar传感器可安装在第二人体上。可以获得所述第二imu设备捕捉的第二imu数据和所述第二lidar传感器捕捉的第二lidar数据。根据所述第二imu数据可以对第二人体的动作进行估计。根据所述第二lidar数据可以构建三维第二场景图。可以融合所述三维场景图和所述三维第二场景图，以获得组合场景图。可以进行优化，获得人体和第二人体在优化的组合场景图中的优化动作。

22、在一些实施例中，基于所述人体的优化动作和所述优化的场景图，可以创建元宇宙。

23、本发明介绍了一种在场景中优化人体动作的方法。可以获得三维场景图和人体动作。可以进行基于图的优化，以融合lidar轨迹和imu轨迹。可以进行基于多个物理约束的联合优化，以获得优化的人体动作和优化的场景图。

24、在一些实施例中，所述三维场景图可以从安装在人体上的lidar传感器捕捉的lidar数据中获得。可以从安装在人体上的多个imu设备捕捉的imu数据获得人体运动。

25、在一些实施例中，可以对所述三维场景图和人体动作进行校准。

26、在一些实施例中，可以将所述三维场景图和人体动作同步。

27、在一些实施例中，所述lidar轨迹可包括从lidar数据得出的人体中心移动。所述imu轨迹可包括从imu数据得出的人体中心移动。

28、在一些实施例中，所述联合优化可以基于接触约束和滑动约束。

29、在一些实施例中，所述接触约束可将接触损失界定为从身体部位(从人体动作得出)到最近表面(从三维场景图得出)的距离。所述滑动约束可将滑动损失界定为从人体动作得出的两个连续身体部位之间的距离。使用梯度下降算法，可以最大程度地减少所述接触损失和滑动损失的总和，以迭代地优化人体动作。

30、在一些实施例中，所述身体部位可以是人体的脚部，所述表面可以是地面。

31、在一些实施例中，可在第二人体上安装多个第二imu设备和一个第二lidar传感器。可以获得所述第二imu设备捕捉的第二imu数据和所述第二lidar传感器捕捉的第二lidar数据。根据所述第二imu数据可以对第二人体的动作进行估计。根据所述第二lidar数据可以构建三维第二场景图。可以融合所述三维场景图和所述三维第二场景图，以获得组合场景图。可以进行优化，获得人体和第二人体在优化的组合场景图中的优化动作。

32、在一些实施例中，基于所述人体的优化动作和所述优化的场景图，可以创建元宇宙。

33、在考虑以下说明和所附权利要求并参考附图之后，本发明中公开的设备、系统、方法和非暂时性计算机可读介质的这些和其他特征，以及结构相关构件和零部件组合的操作方法和功能以及制造经济性将变得更加明显，所有附图构成本说明书的一部分，其中，相似的附图标记表示各个附图中的对应部分。然而，可以明确的是，附图仅供举例说明和描述，而不作为对本发明各项限制的定义。

34、根据本技术实施例的技术方案，通过在人体上安装多个imu设备和一个lidar传感器，获得对应的imu数据和lidar数据，以根据该imu数据对人体动作进行估计，根据lidar数据构建三维场景图，通过优化以得到优化的人体动作和场景图，从而适于在大规模空间中捕捉场景。

35、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。

网址：在场景中捕捉、优化人体动作的方法及动作捕捉系统 https://www.yuejiaxmz.com/news/view/345217

相关内容

在乌镇，捕捉AI新动态
“捕捉”生活的细节550字
如何捕捉生活中的灵感？
全面解析：五款创新触屏操作运动相机，捕捉生活瞬间的科技神器
捕捉“人生一瞬”，华为 Pura 70 系列风驰闪拍大片现身八大城市
揭秘Android人脸识别技术：实时捕捉，安全便捷，如何实现？
冀美版七年级下册美术 12.捕捉生活瞬间 教案
捕捉生活的灵感
捕捉生活中的“意外之美”，处处皆是“诗和远方”？
巧用华为畅享Z微距镜头 捕捉大自然细节之美

随便看看