视频行为识别的数据集及制作方式

数据集说明

        行为识别算法经过多年的发展，其数据集也在研究员的和研究机构的不懈努力下逐渐丰富起来，一部分是单一视角的个体动作数据集，一般都在固定的简单场景下，一部分是从现实场景中获取的视频，场景较复杂，这类数据集还会包含人与人之间的交互行为。下表是近几年应用比较多的经典数据集。其中 UCF101和 HMDB 是研究员在研究算法性能和准确率时常用的，其视频动作丰富、场景多，取材来自互联网平台的视频和电影节选片段，贴近现实生活。

制作的方法 

        本文进行的行为识别研究基于化学分析实验，根据网络上公开现有的 UCF101和 HMDB51 数据集的制作方法，本数据集的制作在特定的实验环境下进行，使用固定相机录制搅拌、拿起试管、放置试管、倾倒液体、摇晃试管行为，如表 2  所示。由不同 10 人录制，每种行为录制 15 次，为保证数据集均衡和变化度，将数据集视频时长控制在 5 秒内，在录制视频时控制光照、背景、遮挡都有所变化。  

流程 

        一个良好的行为识别模型在对网络不断改进的同时，训练前的视频预处理对模型的性能影响也较大，需要对数据集预处理，其预处理操作可以突出识别信息，同时可以增加特征信息丰富度以及减少干扰。由于卷积神经网络在模型深度的不断扩大，在训练时需要训练的样本量有所增加，要想得到更好的模型结构，需要提前准备足够量和足够丰富的数据集，本文为了提升行为识别算法的识别效果，对数据集预处理不可缺少，可以避免训练时出现过拟合现象。其流程如下图所示。  

 

训练准备 

        算法模 型 不能直 接对视 频数 据处理 ，需要对图 像帧处理，首先 利用Videocapture()函数将视频数据集切割成图像保存成不同的文件，同时生成标签文件，并将每个视频帧图片保存在二级文件夹下，例如行为视频类别为拿起 pickup时，一级类别文件命名为 pickup，二级文件命名为 v_pickup_01，其文件夹内存放的视频帧命名为 img_000001.jpg。并统一图像尺寸，确保图像缩放到 224ⅹ224，图片本身比 224 大时，将图片缩放到此尺寸等比例缩放，图片本身尺寸较 224ⅹ224 小时填充为黑色，黑色代表的信息为 0，在后续处理中不会产生干扰。由于原视频数据集存在噪点、对比度等影响行为识别，对其进行去噪和加强对比度处理，使图片内人物动作与背景区分开。为了进一步扩充数据集，增加图片数量，通过旋转、缩放、平移等数据变化方法处理原有数据集。在分别整理好图片文件后需要对数据集做标签处理，利用 Train_test_split()函数按照 7：3 比例分为训练数据和测试数据。

网址：视频行为识别的数据集及制作方式 https://www.yuejiaxmz.com/news/view/74713

相关内容

视频制作
AI剪辑软件全称及其对视频制作的影响
常见数据泄露隐患及防范常识
大数据：网购成为主流生活方式
14个免费的AI视频剪辑软件，智能自动编辑和创作视频
我国视频剪辑软件行业现状及竞争：短视频带火剪辑工具 市场加速内卷
幼儿期视屏行为和户外活动及其交互作用与学龄前期多动行为的关联
生活方式视角下的时空行为研究进展
做短视频十大必备软件 短视频剪辑软件哪个好 短视频制作工具推荐
自制+UGC=视频网站未来？

随便看看