基于移动设备的盲人导航系统及导航方法

GPS导航系统基于伽利略卫星导航系统 #生活知识# #科技生活# #科技发明#

1.本发明属于盲人导航技术领域，特别是涉及一种基于移动设备的盲人导航系统及导航方法。

背景技术：

2.在实现本发明过程中，发明人发现现有技术中至少存在以下问题：盲人或视力障碍人士在生活当中（尤其是单独出行时）相当不便，需要提供更好的出行方式及辅助方式减轻其生活不便之处，现在在盲人出行方面普遍使用手杖探测前方路况，该方法在使用过程中速度缓慢，且仅能感知人体周围一米左右范围的路况及环境信息，对远距离的路况及环境信息没有清晰的认识，容易产生预料不到的危险，此外当前的多种导航设备，如导盲手杖、导盲眼镜、导盲头盔、导盲鞋等，携带不方便、使用复杂，且需要配套设备，导航能力有限，难以满足盲人的日常需求。

技术实现要素：

3.本发明的目的在于提供一种基于移动设备的盲人导航系统，该系统可以设置于各种服饰上，可以方便调试角度和安装拆卸，其可在图像采集装置的作用范围进行观测，不局限于用户周围几米内，观测范围较广，使其在导航过程中有较长的反应时间，能对突发状况进行及时处理，保障了盲人导航的安全性。
4.本发明的目的在于提供一种基于移动设备的盲人导航方法，通过构建与真实环境对应的三维虚拟盲道，在将虚拟盲道信息语音播报给用户，方便用户快速融入周身环境，给用户以心理上的安全感，提高了导航的体验效果。
5.本发明所采用的技术方案是，基于移动设备的盲人导航方法，具体包括以下步骤：步骤1，采集用户当前位置信息和目的地位置信息，据此进行导航路径规划，导航路径包括路径、路况信息和标志物信息；步骤2，确定用户当前的朝向，语音引导用户按导航路径前行，并实时采集导航路径上的环境图像、深度信息和移动设备的状态信息；步骤3，识别环境图像中的标记物信息，将标记物信息和导航路径叠加形成虚拟盲道，所述标记物信息包括标记物类型、大小和位置；步骤4，将环境图像中的标记物大小映射到实际大小，按照场景关系图的方式将导航路径、标志物类型、实际大小及位置语音播报给用户；步骤5，持续采集导航路径上的环境图像，更新虚拟盲道，并将导航路径和更新的标记物信息持续播报给用户。
6.进一步的，所述标志物信息包括可作为地点和方向参考的广场、突出建筑、商铺、医院、学校。
7.进一步的，所述虚拟盲道的构建和更新过程如下：步骤31，对周围环境的图像信息进行预处理得到原始图像，所述预处理包括中值
滤波、彩色图转灰度图和图像大小变换；步骤32，使用yolov5网络识别原始图像中的标记物信息，确定标记物的类型、位置和大小；步骤33，持续采集环境图像，比较当前环境图像与前一帧图像的相似度，若两帧环境图像的相似程度较高，则不对当前环境图像进行标记物识别，若两帧环境图像的相似程度较低，则对当前环境图像进行标记物识别，将识别结果添加到导航路径上形成更新的虚拟盲道。
8.进一步的，所述相似度为环境图像中差异像素点数占像素点总数的比例，其确定过程中的像素差阈值t1为0.15
‑
0.20，图像差阈值t2为0.05%，确定过程如下：计算当前环境图像与前一帧环境图像对应像素点的差值，当两像素点的差异超过像素差阈值t1时，认为两像素点有差异，当两帧环境图像的差异像素占比超过图像差阈值t2，认为两帧环境图像相似程度较低。
9.基于移动设备的盲人导航系统，所述系统包括：方向传感器，用于获取移动设备当前的朝向；导航模块，用于根据用户的当前位置信息和目的地位置信息规划导航路径；设备状态传感器，用于获取移动设备当前的状态；图像采集模块，用于采集周围的环境图像；虚拟盲道构建模块，用于基于移动设备状态和环境图像构建虚拟盲道；服务器，用于将虚拟盲道中标记物的大小映射到实际尺寸，并将虚拟盲道的导航路径和标记物信息转换为语音；语音播报模块，用于将虚拟盲道的导航路径和标记物信息播报给用户。
10.进一步的，所述系统还包括：语音输入模块，用于采集用户发出的语音指令，获得地点信息；定位模块，用于确定用户的当前位置信息及周围的标志物信息；数据存储模块，用于存储导航路径中的标志物信息。
11.进一步的，所述虚拟盲道构建模块包括对比单元和识别单元；所述对比单元，用于对比当前环境图像与前一帧环境图像的相似度；所述识别单元，用于识别当前环境图像中的标记物信息。
12.本发明的有益效果是：本发明使用图像采集模块实时采集环境图像，基于此构建虚拟盲道，使导航系统的观测范围增大，反应时间延长，能对突发状况及时给出反应，保证了导航的安全性，同时本发明基于实际环境构建的三维虚拟盲道能帮助用户充分了解周围场景和环境信息，快速融入所处环境，提高了用户心理上的安全感和导航效果。
附图说明
13.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
14.图1是本发明实施例进行路径导航的流程图。
15.图2是本发明实施例导航系统的结构图。
16.图3是本发明实施例中虚拟盲道持续更新的流程图。
具体实施方式
17.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.基于移动设备的盲人导航系统结构如图2所示，包括语音输入模块和定位模块，语音输入模块用于采集用户发出的语音指令，并对语音指令进行处理获得导航模块可识别的地点信息，定位模块用于确定用户的当前位置信息及周围的标志物信息，比如附近医院、学校、酒店、标志性建筑等，以供用户根据这些信息更好的理解自身当前位置及环境，导航模块用于根据用户语音发出的目的地位置信息和当前位置信息规划导航路径，获取各导航路径上的人流量、车流量、路线状况及标志物信息等路况信息，并将导航路径和路况信息、标志物信息通过通信模块发送至虚拟盲道构建模块，方向传感器用于获取用户当前的朝向，并通过语音播报模块语音引导用户按导航路径前行。
19.设备状态传感器用于获取移动设备的当前状态（水平、倾斜、垂直或其他朝向），图像采集模块用于实时采集导航路径上的环境图像和深度信息，虚拟盲道构建模块用于对环境图像进行识别，确定图像中各标记物的类别、大小及位置，并将标记物与导航路径相结合获得与真实世界数字孪生的三维虚拟盲道，服务器将虚拟盲道中的标记物尺寸映射到实际环境中，获得标记物的实际尺寸，将标记物的类型、大小、位置转换为语音信息，通过语音播报模块播报给用户，引导用户前行。
20.语音输入模块包括语音检测、语音信号转换和信号传输，分别用于检测用户发出的语音指令，并将其转换为电流信号传输至语音识别单元，另设有开关按钮控制设备，只有打开开关时语音输入模块才开始检测外界语音信息，其一般情况下都是关闭的，防止外界语音对导航系统进行干扰；语音播报模块将接收的信息经过信号转换后播报给用户，所述信号转换就是将文字转化为语音，然后将不同声调的发音组合在一起构成句子，再将其播报给用户。
21.方向传感器能测定六个方向的位置、移动轨迹和加速度，通过加速度传感器和磁场传感器共同计算手机旋转的方向和角度，加速度传感器相比于重力传感器，从三个维度确定加速度的方向，但功耗更小；磁场传感器由各向异性的磁致电阻材料制成，当磁场发生微弱变化时会导致材料电阻发生变化，所以旋转或晃动手机能准确指示方向。
22.图像采集模块包括深景相机和内置的脉冲式激光测距仪，能同时采集周围环境的图像信息和深度信息。
23.虚拟盲道构建模块包括对比单元和识别单元，所述对比单元使用图片相似度比对算法对当前环境图像与前一帧环境图像进行相似度对比，若两者的相似程度较高时，认为前方路况没有发生变化，无需对当前环境图像进行识别；当两者相似程度较低时认为前方路况发生变化，将当前环境图像发送至识别单元，所述识别单元用于识别环境图像中的标记物信息，即标记物的类型、大小和位置，再将标记物信息添加在导航路径上构成虚拟盲
道，通过场景关系图的描述方式将虚拟盲道中的标记物细节信息播报给用户。
24.虚拟盲道本质上是对用户周身环境建立三维场景模型，其根据获取的环境图像信息及设备信息对盲人出行进行周边信息提示及当前场景关系构建，并持续将导航路径周围的标志物信息及标记物信息播报给用户，与常规导航相比，本发明实施例的语音播报包含了更加丰富的环境细节信息，包括导航信息、标志物信息、标记物信息及各实景对象的三维场景关系等，使盲人能够根据虚拟盲道构思出自身前行路径及所处环境，方便用户在脑海中形成立体画面，帮助用户快速融入所处场景，在心理上给予用户以安全感，能更好的为用户提供导航服务。
25.例如：右前方为草坪，左前方为机动车道，正前方为三米宽的人行道路，前方七米处有一行人，该行人左侧有一颗树，前行二十米进入右转弯等；虚拟盲道并非简单的提醒用户前方是否有障碍物和障碍物的提示信息，而是获取所有标记物信息和道路信息后，通过深度学习方式或人为地对标记物添加属性标签，进而构建立体的虚拟场景。
26.所述标志物为广场、突出建筑、商铺、医院、学校等可作为地点和方向参考的实物对象，使用户更清晰的理解自身当前位置；标记物包括但不限于路面、障碍物、草坪、树、人、车等可能对盲人行走造成影响的对象，及对盲人理解当前所处环境有帮助的对象；虚拟盲道构建模块构建场景关系图时，判断那些标记物信息需要播报，那些标记物信息可以忽略，以及以何种顺序播报（先近后远、先前后左右、先播报对人体影响最大的信息），最终以安全为主，用户容易理解的描述顺序和方式语音播报周边信息，即使前方没有障碍物，只要检测到周围环境的变化也会持续播报，虚拟盲道构建模块提供给用户的是具有立体感、沉浸式，使人能够理解自身当前周身环境的道路信息。
27.数据存储模块在数据库中以json格式存储附近标志物位置和简介信息，当用户位置与标志物间的距离到达一定范围时，将标志物信息转换为语音信息给以语音提示，通信模块支持https网络通信、request普通网络请求和套接字通信websocket，为用户提供高速稳定的传输通道。
28.为增加本发明实施例所述系统的使用便携程度，提高探测精度和导盲安全性，所述系统可手握，也可悬挂于胸前、固定在手杖或帽子上，以减少图像采集时的震动幅度，提高图像采集的质量和图像识别的准确性，并能方便的调试角度和安装拆卸；本发明实施例的检测范围取决于图像采集模块的性能参数，而不局限于用户周身几米范围内，观测范围较广，给导航系统已足够的反应时间，能应对各种突发状况，提高了导航的安全性。
29.如图1所示，基于移动设备的盲人导航方法，具体包括以下步骤：步骤1，采集用户当前位置信息和目的地位置信息，据此进行导航路径规划，导航路径包括路径、路况信息和标志物信息；步骤2，确定用户当前的朝向，引导用户按导航路径前行，并实时采集导航路径上的环境图像、深度信息和移动设备的状态信息；步骤3，基于环境图像识别环境中的标记物信息，将标记物信息与导航路径叠加形成虚拟盲道，所述标记物信息包括标记物的类别、大小和位置；步骤4，基于移动设备的状态信息将虚拟盲道中的标记物尺寸映射到实际尺寸，将导航路径和标记物实际信息按照场景关系图的方式播报给用户；步骤5，持续采集导航路径上的环境图像，将其与前一帧环境图像进行相似度对
比，若两者的相似程度较高，则不识别当前环境图像中的标记物信息，若两者相似程度较低，则识别当前环境图像中的标记物信息，更新虚拟盲道，并将导航路径和更新的标记物信息持续播报给用户。
30.场景关系图为移动设备当前检测到的环境图像中所有对象的相对关系及自身属性信息，如人与障碍物、人与其他标记物、不同标记物之间的位置、距离、大小等场景关系，最终展现的是用户所处场景的三维空间网络的细致描述。
31.虚拟盲道构建和更新过程如下：步骤31，对环境图像进行预处理得到原始图像，包括去噪、彩色图转灰度图及图像大小变换操作，以提高识别的速度和准确度；环境图像经过图像传感器、传输信道、解压处理等会产生黑白相同的亮暗点噪声，通过中值滤波可以除去该噪声并产生较好的效果；图像大小变换是将环境图像裁剪成适当大小，方便进行后续处理；步骤32，使用yolov5网络识别原始图像中的标记物信息，如标记物的类别、尺寸和位置，将标记物信息添加到导航路径上形成虚拟盲道。
32.如图3所示，持续采集导航路径上的环境图像，对当前环境图像和前一帧环境图像进行相似度对比，若两者的相似程度较高，则认为两者的大小、角度、光照等条件没有变化，内容变化也较小，当前环境图像中的标记物信息没有发生变化，无需对当前环境图像的标记物信息进行重复识别，仅需采集下一帧环境图像重复相似度对比操作；若两者的相似程度较低，则识别当前环境图像中的标记物是否发生了变化，若没有发生变化，则终止识别操作，若标记物发生了变化，则根据移动设备的状态信息和方向信息，详细识别标记物的细节信息，如类型、大小和位置，更新虚拟盲道更新，以保证导航的准确性。
33.本发明实施例使用欧式距离判断两幅环境图像的相似度，其值为环境图像中差异像素点数量占像素点总数量的比例，具体为计算当前环境图像与前一帧环境图像对应像素点的差值，获得与环境图像尺寸相同的差值图，设置像素差阈值t1为0.15
‑
0.20，图像差阈值t2为0.05%，当对应像素点的差值超过t1时，认为后一像素点相比于前一像素点发生了变化，当两帧环境图像的差异像素数量达到总像素数量的t2时，认为当前环境图像发生了变化，需对其进行标记物识别；通过相似度对比避免对短时间内的相似环境图像进行重复处理，在不影响用户导航精度的前提下，缩短了虚拟盲道的更新时间，提高了虚拟盲道的更新效率。
34.yolov5是一种单阶段目标检测算法，其在yolov4的基础上添加了一些新的改进思路，使其速度与精度都得到了极大的提升，包括输入端、基准网络、neck网络和prediction，所述输入端用于对输入的环境图像进行预处理，将环境图像缩放到网络的输入大小，并进行归一化等操作；所述基准网络通常是一些性能优异的分类器网络，用于提取一些通用的特征表示，yolov5使用cspdarknet53结构和focus结构作为基准网络；所述neck网络位于头网络与基准网络的中间位置，可以进一步提升特征的多样性和鲁棒性；所述prediction用来完成标记物对象检测结果的输出，包括标记物的类型、大小和位置。
35.根据yolov5网络输出的标记物大小换算出标记物实际尺寸的公式如下：w=w
×
d/f，h=h
×
d/f，其中w、h分别为标记物的实际宽度和高度，d为镜头到标记物的实际距离，f为镜头的焦距，w、h分别为标记物在环境图像中的宽度和高度。
36.本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
37.以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

网址：基于移动设备的盲人导航系统及导航方法 https://www.yuejiaxmz.com/news/view/341468

相关内容

基于互联网的盲人精准导航方法与流程
【前沿科普】盲人的春天——视觉导航与虚拟陪伴系统
盲人导航设备制造：赋能独立出行，革新生活体验
导航系统
导航产品
盲人辅助设备赋能视障人士，实时导航与避障打造无障碍生活
＊导航：全球首款智能导航系统上线，颠覆传统出行方式，引领未来交通新潮流！
激光雷达辅助导航：科技赋能，盲人独立出行新篇章
船舶导航设备维护与管理
Meta 导盲机器人里颠覆性的人工智能：导航、生活、社交无障碍

随便看看