一种对冰箱内食物的管理方法和设备与流程

智能冰箱的远程控制和食物管理方法 #生活技巧# #数码产品使用技巧# #智能设备联网教程#

本申请涉及冰箱技术，特别涉及一种对冰箱内食物的管理方法和设备。

背景技术：

现有冰箱技术中，冰箱食材管理主要包括食物的识别、食品信息的录入、食品摆放区域的分配以及菜谱推荐。

现有全景图技术中，主要是如何通过摄像头来识别以及如何获得不同位置的图像，形成一张全景图片。

现有ar技术目前处于起步阶段，应用非常广泛，包括：ar头戴设备、社交系统、图片视频展示系统、场景定制、游戏&教育、照相、旅游向导、智能餐桌、ar标签、ar图书、ar处理等。

现有双摄像头/多摄像头技术主要用于图像拍摄，可实现功能包括增大拍摄视角、景深、图像扫描、空间定位、建立三维模型、控制变焦、图像矫正、测距、测量长度等等。

目前的冰箱技术有如下问题：

1、现有冰箱的食材查看功能只能看到单张的平面图像，被挡住的食品很难看清；

2、现有冰箱的食物被拿走之后，保质期标签的状态并不会随之更新；

3、现有冰箱的食品查找只能通过照片和列表查找，有多少快过期的食物并不直观；

4、现有冰箱对不同时间放入的相同食物并不能识别和区分，对不适合放在一起的食物也没有提示；

5、现有冰箱食物的图像识别是通过多张图片的前后对比或对视频片段的截取进行对比分析，并且每次在观察事物之前需要重新拍摄图片，对于用户观察和交互来说并不方便。

技术实现要素：

本申请提供一种对冰箱内食物的管理方法，能够更有效地实现对食物的管理。

为实现上述目的，本申请采用如下技术方案：

一种对冰箱内食物的管理方法，包括：

根据冰箱的外部摄像头拍摄的图像，至少识别放入冰箱食物的类别和数量；

根据冰箱的内部摄像头拍摄的图像，确定所述放入冰箱食物的位置；

针对所述放入冰箱食物生成ar标签，用于记录该食物的信息；在接收到用户的食物查询请求后，显示所查询食物的ar标签；其中，所述食物的信息至少包括食物类别、数量和位置；

在接收到用户的影像查看请求后，将所述内部摄像头实时拍摄的影像进行显示。

较佳地，所述内部摄像头为至少两个，不同的内部摄像头所在位置不同；

所述放入冰箱食物的位置为根据所有内部摄像头拍摄图像确定出的三维空间位置；

在生成所述标签后，根据所有内部摄像头拍摄的图像生成ar全景图；

在显示所述内部摄像头实时拍摄的影像时，根据用户指示显示指定内部摄像头的实时拍摄影像。

较佳地，当根据所述内部摄像头拍摄的图像确定食物的位置发生变化后，更新相应食物ar标签中的位置。

较佳地，若用户查看的食物在指定内部摄像头的拍摄影像中不能显示完全，则选择其他内部摄像头拍摄的影像显示用户查看的食物。

较佳地，在所述外部摄像头拍摄放入冰箱食物时，该方法进一步包括：所述外部摄像头拍摄用户，获取放入用户信息，并将所述放入用户信息加入所述食物的ar标签中。

较佳地，该方法进一步包括：根据所述内部摄像头和所述外部摄像头拍摄的图像确定食物移出冰箱，根据所述内部摄像头拍摄的图像确定移出冰箱食物的位置，并根据该位置确定移出冰箱食物的信息；对所述移出冰箱食物对应的ar标签进行更新。

较佳地，当所述放入冰箱食物与所述移出冰箱食物的种类相同、大小和/或形状不同时，将所述移出冰箱食物的ar标签推荐给用户作为所述放入冰箱食物的ar标签。

较佳地，所述食物的信息包括保质期；该方法进一步包括：当接收到用户的查询请求后，通过食物的保质期筛选显示食物及其ar标签；

和/或，所述食物的信息包括备注信息，用于接收用户输入的自定义信息。

较佳地，所述食物的保质期是根据用户输入确定的，或者，所述食物的保质期是根据放入时间及同类食品的保质期确定的；和/或，

当根据食物的保质期确定食物已经过期后，提示用户该食物已过期。

较佳地，所述食物的信息包括放入时间，该方法进一步包括：当接收到用户的推荐请求后，将同类食物中放入时间早的食物推荐给所述用户；

和/或，该方法进一步包括：根据所述内部摄像头拍摄的图像，判断相邻位置上的食物类型，若相邻位置上的食物类型属于预先设定的指定组合，则提示用户分开存放。

较佳地，所述指定组合为蔬菜和水果，和/或，所述指定组合为生食和熟食，和/或，所述指定组合为食品和药品。

较佳地，当所述食物的信息包括放入时间时，该方法进一步包括：根据用户的请求，按照食物的放入时间，选择处于指定时间阶段的食物，并根据所述内部摄像头拍摄的图像，将选择出的食物从拍摄图像的背景中抠出，进行高亮显示。

较佳地，该方法进一步包括：对于根据食物的放入时间和所述内部摄像头拍摄的图像确定在冰箱内放置时间超过第一设定时间段的食物，提示用户该食物可能过期；和/或，

该方法进一步包括：对于根据食物的放入时间和位置以及所述内部摄像头拍摄的图像确定在冰箱内超过第二设定时间段未移动的食物，提示用户该食物可能过期。

较佳地，该方法进一步包括：根据食物的标签信息在互联网上搜索相同食物的价格信息，并将搜索结果提示给用户。

较佳地，该方法进一步包括：根据用户指定菜谱中需要使用的食物，选择食物及其标签信息提示用户。

一种对冰箱内食物的管理设备，包括：图像识别单元、设置单元和交互单元；

所述图像识别单元，用于根据冰箱的外部摄像头拍摄的图像，识别放入冰箱食物的类别和数量；还用于根据冰箱的内部摄像头拍摄的图像，确定所述放入冰箱食物的位置；

所述设置单元，用于针对所述放入冰箱食物生成ar标签，用于记录该食物的信息；在接收到用户的食物查询请求后，显示所查询食物的ar标签；其中，所述食物的信息至少包括食物类别、数量和位置；

所述交互单元，用于在接收到用户的影像查看请求后，将所述内部摄像头实时拍摄的影像进行显示。

由上述方案可见，本申请中，根据冰箱的外部摄像头拍摄的图像，识别放入冰箱食物的类别和数量；根据冰箱的内部摄像头拍摄的图像，确定所述放入冰箱食物的位置；针对所述放入冰箱食物生成ar标签，用于记录该食物的信息；在接收到用户的食物查询请求后，显示所查询食物的ar标签；其中，所述食物的信息至少包括食物类别、数量和位置。通过上述方式，能够通过内外摄像头的结合，更准确识别食物信息进行标记。进一步地，在接收到用户的影像查看请求后，将所述内部摄像头实时拍摄的影像进行显示。通过该方式，可以将摄像头的实时影像进行显示，不需要再通过开关冰箱门来触发拍摄最新的冰箱内图片并显示。

附图说明

图1为本申请中对冰箱内食物管理方法的基本流程示意图；

图2为标签设置流程示意图；

图3为信息查询流程的示意图；

图4为分析对比和提醒流程示意图；

图5a、图5b和图5c为例1的示意图；

图6为例2的示意图；

图7a、图7b、图7c和图7d为例3的示意图；

图8为例4的示意图；

图9为例5的示意图；

图10为例6的示意图；

图11为例7的示意图；

图12为例8的示意图；

图13为例9的示意图；

图14为例10的示意图；

图15为例11的示意图。

具体实施方式

为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。

在本申请中，冰箱设置有外部摄像头和内部摄像头。这样可以结合外部摄像头和内部摄像头更准确地识别食物信息以及用户操作。同时，内部摄像头至少有两个，以形成不同角度的图像。

图1为本申请中冰箱内食物的管理方法基本流程示意图。如图1所示，该方法包括：

步骤101，根据冰箱的外部摄像头拍摄的图像，识别放入冰箱食物的类别和数量。

进一步地，外部摄像头还可以进一步识别放入者的用户信息。

步骤102，根据冰箱的内部摄像头拍摄的图像，确定所述放入冰箱食物的位置；

步骤103，针对放入冰箱食物生成ar标签，用于记录该食物的信息；在接收到用户的食物查询请求后，显示所查询食物的ar标签。

其中，食物的信息至少包括食物类别、数量和位置。

步骤104，在接收到用户的影像查看请求后，将内部摄像头实时拍摄的影像进行显示。

上述即为向冰箱内放入食物时的具体处理，当从冰箱往外拿食物时，还可以包括如下步骤105。

步骤105，根据内部摄像头和外部摄像头拍摄的图像确定食物移出冰箱，根据所述内部摄像头拍摄的图像确定移出冰箱食物的位置，根据位置确定对应的ar标签；对移出冰箱食物对应的ar标签进行更新。

具体确定食物移出冰箱的条件可以根据需要设置，例如的那个内部摄像头拍到手的特定操作，同时，根据内部摄像头拍摄的图像发现有食物不见了，则确定食物被拿走。

为实现上述本申请中的管理方法，可以在冰箱设备中包括如下处理单元：图像识别处理单元、分析对比单元、交互单元、设置单元、存储单元、查询单元和提醒单元。

下面通过各个单元的功能和处理进行详细介绍。

1、图像识别处理单元

本单元主要用于人物识别、冰箱食物识别以及ar全景图的生成。主要包括：

1)该冰箱设置有多个摄像头，通过内部摄像头识别食物位置，外部摄像头识别食物的类型、数量和用户；

2)图像识别不仅可以记录物体当前图像，还可以通过多摄像头对物体位置进行三维空间的实时定位；

3)图像识别后将主体与背景分离，抠图后高亮显示，用于显示用户需要或正在查找的食品。

2、分析对比单元

本单元用于对冰箱内ar图像的变化进行记录、分析和对比。主要包括：

1)实时分析和对比冰箱中食物的位置变化，自动更新全景图；

2)对不存在的物品取消标签，对移动的物品进行位置追踪，同一个物品，如果拿出后改变形状或尺寸后再次放入(如切了一半的西瓜)，视为一个新的物体，需要重新设置标签。系统可以通过图像识别技术对比判断后，发现放入食物和移出食物的类别相同时，可以将移出食物的标签信息(例如食物名称等)推荐用户，帮助快速录入信息。

也就是说，当放入冰箱食物与移出冰箱食物的种类相同、大小和/或形状不同时，将移出冰箱食物的ar标签推荐给用户，作为放入冰箱食物的ar标签。

3)在放入食物时，可以在食物信息中包括放入时间，对比和识别相同食物的放入时间，推荐先放入的食物给用户食用；

4)识别相邻食品的种类，如果检测到相邻食物为设定的食物组合，则提醒用户分开存放。例如，蔬菜和水果放在了一起(水果会释放出乙烯，蔬菜会变黄)，生食和熟食放在了一起，都可以提醒用户分开存放，食品和药品也会建议分开存放；

5)通过识别长期没有消失或移动过的物品来判断食品是否可能过期。经过一段时间之后，可以统计出物品移动最频繁的区域和很少移动的区域进行标记。更详细地，对于根据食物的放入时间和所述内部摄像头拍摄的图像确定在冰箱内放置时间超过第一设定时间段的食物，提示用户该食物可能过期；和/或，对于根据食物的放入时间和位置以及所述内部摄像头拍摄的图像确定在冰箱内超过第二设定时间段未移动的食物，提示用户该食物可能过期。

3、交互单元

本单元主要用于识别用户在操作全景图过程中所进行的触摸/非触摸操作。主要交互如下：

1)触摸操作包括点击、滑动等触摸屏操作，用于物品的查看、筛选、信息录入等；

2)非触摸操作包括隔空对全景图进行的查看、选择等动作，基于三维手势识别技术实现；

本单元提供一种自动的ar反馈效果：

1)针对被遮挡的物体，系统将自动为用户“转换查看角度”。旋转全景图的方向并调整视角，用户可以在利于观察的角度察看；更详细地，若用户查看的食物在指定内部摄像头的拍摄影像中不能显示完全，则选择其他内部摄像头拍摄的影像显示用户查看的食物。

2)针对已经过期的食物，周围会有一圈ar特效围绕该区域或该物品，提示用户这里需要处理。

3)针对杀菌场景，用户可以看到围绕哪一层食物产生的杀菌动态效果，调整角度从不同位置查看杀菌过程和状态。

4、设置单元

本单元主要用于食品标签的设置和录入。主要包括：

1)ar标签设置模块：生成食品的ar标签，并将标签与物品进行绑定；当物品位置发生改变时，标签位置随之改变；物品被拿走后，原有标签自动消失。

设置对象包括：

-单个物品的标签设置：冰箱门上的外置摄像头识别物品，放入冰箱后自动生成标签并绑定；

-多个不同物品的标签设置：冰箱门上的外置摄像头识别物品类型及数量(一个苹果一个梨)，放入冰箱后依次自动生成标签并绑定；

-多个相同物品的标签设置：冰箱门上的外置摄像头识别物品类型及数量，放入冰箱后自动群组，生成标签并绑定；如果自动群组失败，用户可以通过手动画出群组范围，将限定区域内的多个相同物品打包为一个整体进行设置；

-如果是一包物品(一包水果)或是由器皿盛装的食物，默认识别为一个整体并建立标签；

2)自动记录模块：自动录入物品放置的日期、用户信息、物品类型、图像、数量等；自动判断拿出后改变形状或大小又放进来的物品是不是与之前相同的物品，如果是推荐名称给用户；

3)手动记录模块：手动录入信息，如详细保质期等；

5、存储单元

本单元主要用于存储信息，主要包括：

1)图像存储模块：用于存储冰箱食物的ar全景图信息；

2)用户信息存储模块：用于存储用户信息，包括脸部和身高信息；

3)标签信息存储模块：用于存储设置及更新的ar标签信息；

4)菜谱存储模块：用于存储各种原材料可组成的菜谱信息；

5)食物搭配存储模块：用于存储哪些食物不可以放进冰箱或放在一起；

6)交互指令存储模块：用于存储用户操作的相应手势和触摸指令；

6、查询单元

本单元主要用于收集交互指令，并将交互单元识别出的交互方式与存储单元的预设交互方式进行匹配，若相同，则触发相应的指令，进行相关操作。主要包括：

1)图像查看模块：收集交互指令并进行全景图查看相关操作；被遮挡的物体以“转换查看角度”的方式呈现给用户，用户可以在另外一面对该物体进行查看；

2)保质期查询模块：收集交互指令并根据保质期筛选和显示食物；如果用户没有录入保质期信息，系统查询物品放入当天自动记录的日期，再对比不同食物可能的过期时间，判断食物新鲜状态；

3)ar标签查询模块：收集交互指令并执行查询操作，显示标签详细信息；

4)菜谱原材料查询模块：收集交互指令并执行查询操作，高亮显示所需原材料信息；

7、提醒单元：

本单元主要用来实现食物状态的提醒功能。主要包括：

1)过期提醒：即将过期的食物，以可视化标签的形式给予提醒；结合食品放入的时间，可以通过识别长期没有消失或移动过的物品来判断食品是否可能过期，也可以通过手动录入保质期计算过期时间并给予提醒。针对已经过期的食物，周围会有一圈ar特效围绕该区域或该物品，提示用户这里需要处理。

2)优先食用推荐：识别相同食物的前后两次放入时间，推荐先放入的食物给用户食用；

3)摆放提醒：识别食品种类后，对不适合放在一起的食物给予提示；

4)价格提醒：标签可以自动显示附近超市的商品价格信息，有优惠时候给予提醒(如：鸡蛋打折，标签弹出打折信息)

上述为各个单元的功能和处理。

对于本申请的管理方法，根据不同的需求，可以分为多个流程，以完成相应的处理，以下进行详细描述。

1、信息识别和存储流程：

1)图像识别处理单元识别用户信息，包括脸部和身高信息；

2)图像识别处理单元获取食物图像、类型、数量等信息；

3)用户放入物品，设置单元自动生成ar标签并录入放入时的时间信息，手动记录其他信息；

4)图像识别处理单元对食物进行三维空间的位置定位；分析对比单元分析对比物品放入和拿出时的图像及其空间位置变化；图像识别处理单元根据图像信息生成并更新ar全景图；

5)用户信息，全景图像、食物位置信息以及ar标签信息都会存储到存储单元。

2、标签设置流程(如图2所示)：

识别食物

冰箱门上的外置摄像头识别物品类型及数量；

放入食物

1)单个物品：用户放入单个食物，系统自动生成标签并绑定，图像识别处理单元生成ar全景图，信息确认后存储到存储单元；

2)多个不同物品：用户放入多个不同品种的食物，放入后系统依次自动生成标签并绑定；图像识别处理单元生成ar全景图，信息确认后存储到存储单元；

3)多个相同物品：用户放入多个相同品种的食物，放入冰箱后自动群组，生成标签并绑定；如果自动群组失败，用户可以通过手动画出群组范围，将限定区域内的多个相同物品打包为一个整体进行设置；

4)如果是一包物品(一包水果)或是由器皿盛装的食物，默认识别为一个整体并建立标签；

移动食物

1)用户移动食物，分析对比模块对比冰箱内物品的位置变化，查找出标签；

2)设置单元的标签设置模块进行标签信息更新，对不存在的物品取消标签，对移动的物品进行位置追踪；同一个物品，如果拿出后改变形状或尺寸后再次放入(如切了一半的西瓜)，视为一个新的物体，需要重新设置标签。系统可以通过图象识别技术对比判断后推荐用户物体可能的名称，帮助快速录入信息；信息确认后存储到存储单元；

3、信息查询流程(如图3所示)：

1)交互单元识别用户手势指令，分为触摸指令和非触摸指令；

2)查询单元根据用户指令查看ar全景图像，通过保质期筛选显示食物，显示标签详细信息，

根据交互单元的菜谱选择指令高亮显示菜谱原材料；

4、分析对比和提醒流程(如图4所示)：

1)交互单元识别用户动作，分析对比单元对比和识别相同食物的前后两次放入时间，提醒单元推荐先放入的食物给用户食用；

2)交互单元识别用户动作，分析对比单元识别冰箱内相临食品的种类，如果检测到蔬菜和水果放在了一起，生食和熟食放在了一起，提醒单元提醒用户分开存放(水果会释放出乙烯，蔬菜会变黄)，食品和药品也会建议分开存放；

3)系统根据交互单元指令找出处于不同时间阶段的食物(新鲜、尽快使用、不新鲜)，图像识别处理单元将图片轮廓从背景中抠出，提醒单元以高亮显示形式给予提醒；

4)交互单元识别用户动作，识别长期存在或未移动过的物品来判断食品可能过期。经过一段时间之后，统计出物品很少移动的区域并进行标记，提醒用户。

下面给出几个流程的具体实例。

例1：全景图交互(如图5a-图5c所示)：

步骤1：摄像头拍摄画面形成一张360度全方位全景图(图5a)，用户可以根据需要选择任何视角进行查看，包括两侧门以及背后；

步骤2：通过手势交互和触摸交互对全景图内的食品进行查看(图5b)；

步骤3：自动进行视角转换，调整目标物体的用户查看位置和角度并显示ar标签内容(图5c)。

例2：全景图更新(如图6所示)：

步骤1：通过冰箱门内部的多摄像头判断物体位置；

步骤2：根据用户放下物品时的位置和移动后的位置信息对比，判断什么被移动，并实时更新图像；

步骤3：如果被拿走，关闭冰箱门时外部摄像头判断是谁拿走了东西,如果是儿童可以通知信息给父母；

例3：ar标签设置(如图7a-图7d所示)：

步骤1：冰箱门上的外置摄像头识别物品类型及数量(图7a)；

步骤2：放入食物(图7b)

1)单个物品：用户放入单个食物，系统自动生成标签并绑定；

2)多个不同物品：用户放入多个不同品种的食物，放入后系统依次自动生成标签并绑定；

3)多个相同物品：用户放入多个相同品种的食物，放入冰箱后自动群组，生成标签并绑定；如果自动群组失败，用户可以通过手动画出群组范围，将限定区域内的多个相同物品打包为一个整体进行设置；

4)如果是一包物品(一包水果)或是由器皿盛装的食物，默认识别为一个整体并建立标签；

步骤3：移动食物(图7c)

1)用户移动食物，ar标签信息根据物品变化进行实时更新，对不存在的物品取消标签，对移动的物品进行位置追踪，当物体位置发生改变时，标签位置随之改变；

2)同一个物品，如果拿出后改变形状或尺寸后再次放入(如切了一半的西瓜)，视为一个新的物体，需要重新设置标签。系统可以通过图象识别技术对比判断后推荐用户物体可能的名称，帮助快速录入信息；信息确认后存储到存储单元；

步骤4：标签状态会随物品的新鲜程度而改变，如绿色新鲜，黄色不新鲜，红色已过期(图7d)。

例4：通过食物列表/语音进行食物查找(如图8所示)：

步骤1：用户通过列表选择或语音查找食物；

步骤2：系统找到目标并将物体从背景中抠出来，高亮显示；

步骤3：自动进行视角转换，调整目标物体的用户查看位置和角度并显示标签内容；

图4食物查找：通过食物列表/语音查找。

例5：通过菜谱查找食物(如图9所示)：

步骤1：用户选择一个菜谱；

步骤2：系统在冰箱中查询推荐菜谱里需要的食物并高亮显示；

步骤3：如果材料缺少，提示购买冰箱中缺少的菜谱食物。

例6：食物筛选(如图10所示)：

步骤1：用户通过保质期分类图标筛选查找(新鲜、不新鲜、已过期)；

步骤2：系统高亮显示符合条件的所有食品。

例7：根据食用顺序推荐食物(如图11所示)：

步骤1：识别相同食物的前后两次放入时间；

步骤2：推荐先放入的食物给用户食用；

例8：提醒：保质期判断和提醒(如图12所示)：

步骤1：如果用户没有录入保质期信息，冰箱通过识别长期没有移动或消失的物品来判断食品可能过期。

步骤2：经过一段时间之后，对很少移动的区域进行标记。针对已经过期的食物，周围会有一圈ar特效围绕该区域或该物品，提示用户这里需要处理。

例9：提醒：食物摆放提醒(如图13所示)：

步骤1：用户放入食物；

步骤2：图像识别和分析食品种类；

步骤3：如果检测到蔬菜和水果放在了一起，生食和熟食放在了一起，提供ar效果提醒用户分开存放。

例10提醒：价格变动提醒(如图14所示)：

步骤1：有打折优惠信息时，食物标签自动弹出并转换到适合用户查看的视角；

步骤2：点击标签，显示附近超市的位置和商品价格信息

例11：可视化ar杀菌(如图15所示)：

步骤1：用户选择杀菌；

步骤2：用户查看围绕每层食物产生的杀菌动态效果；

步骤3：用户调整角度从不同位置查看杀菌状态、进程以及详细信息。

上述即为本申请中管理方法的具体实现。由上述可见，本申请公开了一种基于ar全景图对冰箱食物进行管理的方法。基于全景图交互，实现对冰箱内储存食物的便捷管理。

具体地，此方法通过多摄像头识别，形成一张冰箱内物品的ar全景图，并对放入冰箱的食品设置ar信息标签，将标签与物品及其空间位置进行绑定，实时对比和监测物品的位置，更新物品状态。管理内容包括：标签设置、食物查找、食物筛选、食用推荐、动态杀菌以及提醒。交互反馈以ar效果的方式呈现。通过上述方式，对食品信息进行可视化的管理，用户可以更方便的了解冰箱内食物储存的信息。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

网址：一种对冰箱内食物的管理方法和设备与流程 https://www.yuejiaxmz.com/news/view/858015

相关内容

一种对冰箱内食物的管理方法和设备技术
智能冰箱的食物管理方法与流程
冰箱食品管理方法和冰箱与流程
冰箱中食物的管理方法和冰箱.pdf
冰箱内食物的管理方法、管理装置及冰箱.pdf
智能冰箱及其食品管理方法与流程
基于智能冰箱的食物推荐处理方法、装置及智能冰箱与流程
一种冰箱内空间调整方法及装置与流程
一种IoT设备的管理方法及终端与流程
冰箱、终端、冰箱内食材的管理系统及管理方法

随便看看