点击操作方法及装置、电子设备及存储介质制造方法及图纸

平板电脑截图方法及保存技巧 #生活技巧# #数码产品使用技巧# #平板电脑操作指南#

本公开提供了点击操作方法及装置、电子设备及存储介质。该点击操作方法包括：获取具有时间顺序的多个视频图像帧，其中，多个视频图像帧中至少部分包括对象手指；根据多个视频图像帧，识别点击事件，其中，点击事件为对象手指的第一关键点绕第一关节点旋转而进行的点击操作；在显示多个视频图像帧的展示页面中与第一关键点对应的位置执行与点击事件相关联的操作。该方法从用户点击操作习惯出发，非常直观、方便，节省用户的学习成本。

【技术实现步骤摘要】

本公开的实施例涉及点击操作方法及装置、电子设备及存储介质。

技术介绍

1、随着万物互联的发展，各种可穿戴智能设备逐步出现在人们的日常生活中，例如智能眼镜（扩展现实设备（xr），诸如增强现实（ar）、虚拟现实（vr）、混合现实（mr）等）可以通过近眼镜成像技术，将虚拟画面显示在用户的视野中，使用户具有更好的感官体验。同时，智能眼镜作为嵌入式的边缘智能设备，具备独立的操作系统，能提供例如翻译、导航、tts播报、asr语音转文本等智慧功能。

2、智能设备的人机交互方式通常用有触碰、语音、视觉手势、外辅助（例如外部互联设备）等。智能眼镜在外形设计上可能追求时尚、轻便或受限于其使用对象，因此智能眼镜的物理可操作区域有限。此外，语音交互方式对用户所处的环境有一定的要求，例如噪声程度、用户私密性等，因此针对不同的使用场景需求应对应用进行特定的开发。此外，外辅助则需要连接到专门的设备（例如手机），然后在设备上进行对智能眼镜的操作。

技术实现思路

1、本公开至少一实施例提供了一种基于视觉的手势的点击操作方法及装置、电子设备以及存储介质，该点击操作方法从用户操作习惯出发，可以更加准确、快捷且可以节省用户学习成本。

2、本公开的至少一个实施例提供了一种基于视觉的手势的点击操作方法，包括：获取具有时间顺序的多个视频图像帧，其中，所述多个视频图像帧中至少部分包括对象手指；根据所述多个视频图像帧，识别点击事件，其中，所述点击事件为所述对象手指的第一关键点绕第一关节点旋转而进行的点击操作

3、例如，在本公开的至少一个实施例提供的点击操作方法中，根据所述多个视频图像帧，识别点击事件，包括：判定存在预备点击手势；以及识别与所述预备点击手势对应的点击事件的类别。

4、例如，在本公开的至少一个实施例提供的点击操作方法中，所述判定存在所述预备点击手势，包括：响应于所述多个视频图像帧中存在包括所述对象手指的手部的手部信息，获取包括所述手部信息和对应于所述时间顺序的序列信息；通过手部推理模型对所述手部信息和所述序列信息进行检测，以获取手部检测信息，其中，所述手部检测信息包括手部关键点的坐标信息和左右手标志位，所述手部关键点包括第一关键点和第一关节点；基于所述坐标信息和所述左右手标志位，计算由所述第一关键点绕所述第一关节点旋转的角度，以及响应于所述第一关键点绕所述第一关节点旋转的角度在阈值角度范围内，确定存在所述预备点击手势。

5、例如，在本公开的至少一个实施例提供的点击操作方法中，在判定存在所述预备点击手势之后，根据所述多个视频图像帧，识别所述点击事件，还包括：获取所述预备点击手势的点击焦点的坐标；以及对所述预备点击手势进行消抖处理。

6、例如，在本公开的至少一个实施例提供的点击操作方法中，所述获取所述预备点击手势的点击焦点的坐标，包括：响应于存在所述预备点击手势且所述第一关键点在一个区域的停留时间超过时间阈值，将所述第一关键点在所述区域内的坐标的平均值确定为所述焦点的位置。

7、例如，在本公开的至少一个实施例提供的点击操作方法中，所述对所述预备点击手势进行消抖处理，包括：响应于所述第一关键点存在抖动，对所述第一关键点绕所述第一关节点旋转的角度进行滤波，以进行所述消抖处理。

8、例如，在本公开的至少一个实施例提供的点击操作方法中，所述对所述第一关键点绕所述第一关节点旋转的角度进行滤波，包括：当检测到所述旋转的角度大于滤波区间的上边界时，如果前一旋转的角度被滤波为低电平，进行一次低电平到高电平的跳变，和当检测到所述旋转的角度小于滤波区间的下边界时，如果前一旋转的角度被滤波为高电平，进行一次高电平到低电平的跳变。

9、例如，在本公开的至少一个实施例提供的点击操作方法中，所述滤波区间是根据旋转角的阈值角度范围、所述滤波区间对所述旋转角的阈值角度范围的占比和旋转角的阈值角度所确定的。

10、例如，在本公开的至少一个实施例提供的点击操作方法中，识别与所述预备点击手势对应的所述点击事件的类别，包括：对所述第一关键点绕所述第一关节点旋转的角度进行滤波，通过统计目标电平的个数来判断所述点击事件的类别，其中，所述点击事件的类别包括单击事件、双击事件和三击事件。

11、例如，在本公开的至少一个实施例提供的点击操作方法中，根据所述多个视频图像帧，识别所述点击事件，包括：响应于所述点击事件的识别是基于右手类型的且所述对象手指属于左手，对所述左手的操作进行镜像处理，以对所述左手识别所述点击事件；或者响应于所述点击事件的识别是基于左手类型的且所述对象手指属于右手，对所述右手的操作进行镜像处理，以对所述右手识别所述点击事件。

12、例如，在本公开的至少一个实施例提供的点击操作方法，还包括：在执行与所述点击事件相关联的操作后删除所述多个视频图像帧。

13、本公开的至少一个实施例提供了一种点击操作装置，包括：至少一个处理器；至少一个存储器，存储有计算机可执行指令，其中，所述计算机可执行指令在被所述至少一个处理器执行时，执行上述任一实施例所述的点击操作方法。

14、本公开的至少一个实施例提供了一种电子设备，包括根据上述任一实施例所述的点击操作装置。

15、本公开的至少一个实施例提供了一种非暂时性存储介质，存储有可执行指令，其中，所述可执行指令当被至少一个处理器执行时，执行上述任一实施例所述的点击操作方法。

本文档来自技高网...

【技术保护点】

1.一种基于视觉的手势的点击操作方法，包括：

2. 根据权利要求1所述的点击操作方法，其中，根据所述多个视频图像帧，识别所述点击事件，包括：

3.根据权利要求2所述的点击操作方法，其中，所述判定存在所述预备点击手势，包括：

4. 根据权利要求2所述的点击操作方法，其中，在判定存在所述预备点击手势之后，根据所述多个视频图像帧，识别所述点击事件，还包括：

5.根据权利要求4所述的点击操作方法，其中，所述获取所述预备点击手势的点击焦点的坐标，包括：

6.根据权利要求4所述的点击操作方法，其中，所述对所述预备点击手势进行消抖处理，包括：

7. 根据权利要求6所述的点击操作方法，其中，所述对所述第一关键点绕所述第一关节点旋转的角度进行滤波，包括：

8.根据权利要求7所述的点击操作方法，其中，所述滤波区间是根据旋转角的阈值角度范围、所述滤波区间对所述旋转角的阈值角度范围的占比和旋转角的阈值角度所确定的。

9.根据权利要求2所述的点击操作方法，其中，识别与所述预备点击手势对应的所述点击事件的类别，包

10. 根据权利要求1-9任一所述的点击操作方法，其中，根据所述多个视频图像帧，识别所述点击事件，包括：

11.根据权利要求1-9任一所述的点击操作方法，还包括：

12.一种点击操作装置，包括：

13.一种电子设备，包括根据权利要求12所述的点击操作装置。

14.一种非暂时性存储介质，存储有可执行指令，其中，所述可执行指令当被至少一个处理器执行时，执行前述权利要求1-11中任一项所述的点击操作方法。

...

【技术特征摘要】

1.一种基于视觉的手势的点击操作方法，包括：

2. 根据权利要求1所述的点击操作方法，其中，根据所述多个视频图像帧，识别所述点击事件，包括：

3.根据权利要求2所述的点击操作方法，其中，所述判定存在所述预备点击手势，包括：

4. 根据权利要求2所述的点击操作方法，其中，在判定存在所述预备点击手势之后，根据所述多个视频图像帧，识别所述点击事件，还包括：

5.根据权利要求4所述的点击操作方法，其中，所述获取所述预备点击手势的点击焦点的坐标，包括：

6.根据权利要求4所述的点击操作方法，其中，所述对所述预备点击手势进行消抖处理，包括：

7. 根据权利要求6所述的点击操作方法，其中，所述对所述第一关键点绕所述第一关节点旋转的角度进行滤波，包括：

8...

【专利技术属性】
技术研发人员：王淼军，郝冬宁，寸毛毛，王伟达，
申请(专利权)人：湖北星纪魅族集团有限公司，
类型：发明
国别省市：

网址：点击操作方法及装置、电子设备及存储介质制造方法及图纸 https://www.yuejiaxmz.com/news/view/564623

相关内容

多相机视图预览的方法、装置、电子设备及存储介质制造方法及图纸
模型渲染方法、装置、电子设备及存储介质制造方法及图纸
一种厨具控制方法、装置、厨电设备和存储介质制造方法及图纸
视频压缩方法、装置、电子设备及计算机可读存储介质制造方法及图纸
设备控制方法、装置、电子设备及存储介质与流程
家居设备控制方法、装置、电子设备及存储介质
一种停车位的确定方法、确定装置、电子设备及存储介质制造方法及图纸
一种机械手臂管理方法、装置、电子设备及介质制造方法及图纸
智能设备的设备升级方法及装置、存储介质及电子装置.pdf
结构优化方法、存储介质及电子设备.pdf

随便看看