智源竞赛

发布时间：2024-11-18 02:08

运动乐趣的源泉之一就是竞赛 #生活乐趣# #运动乐趣# #趣味竞赛#

背景描述

随着互联网、智能硬件的普及，智能音箱和语音助手已经深入人们的日常生活，极大地提高了生活的便利性。家居场景下的语音识别技术成为了企业和研究机构研发的一大重点。
从语音识别的角度出发，家庭场景具有较强的多样性：不同的墙体和内装材料以及房间大小和构造会导致房间的声学参数的多样化。与此同时，语音识别产品的载体具有极大的差异性：语音助手一般搭载于用户的手机和智能音箱，不同的载体型号同样会影响声音信号的拾取和呈现。模型对于不同场景和不同设备的适应情况和识别效果极大地影响用户体验，考验着研发者的专业实力。因此可以说，家庭场景是语音识别领域内最典型也最具挑战的应用场景之一。
比赛希望优化语音识别的机器学习模型，可以根据真实家庭场景多设备多通道的录音数据以及对应的标注文本，实现语音识别模型在家庭场景下的性能提升。比赛结果对于智能家居领域下AI语音交互产品的研发的深入普及具有不容忽视的影响力。

数据说明

训练集数据
训练集数据包括音频（.wav）和对应的标注文件（.json），如音频“MDT_F2F_001.wav”对应“MDT_F2F_001.json”。
在 json 标注文件中，“start_time”表示该音频片段的开始时间，“end_time”表示音频片段的终止时间，“words”表示转录的文本,“speaker”表示音频的讲话人，“location”表示音频录制的地点，“session_id”表示音频片段所在的整段音频 ID。
开发集数据
开发集数据更为详细，每段对话有4个通道的同步录音，包括3个远讲通道和1个近讲通道。远讲通道包括由安卓平台、iOS 平台，录音笔录制的文件，如 MDT_Conversation_001_Android.wav、MDT_Conversation_001_IOS.wav、MDT_Conversation_001_Recorder.wav。近讲数据使用高保真麦克风录制，根据不同讲话人区分，如 MDT_Conversation_001_SPK001.wav、MDT_Conversation_001_SPK002.wav。
在每个音频对应的 json 标注文件中，“start_time”表示该音频片段的开始时间，“end_time”表示音频片段的终止时间，“words”表示转录的文本,“speaker”表示音频的讲话人，“location”表示音频录制的地点，“room_info”表示录制房间的信息，包括长、宽、高、混响时间（s），“devices_type”表示录制设备信息，“session_id”表示音频片段所在的整段音频 ID。
测试集数据
测试集数据为需要识别的音频文件，每段音频分为安卓平台、iOS 平台，录音笔录制的三个文件。
为便于选手分割每段音频，比赛提供了标明起始和结束时间点信息的 json 文件，选手需使用模型识别音频中的对话，并根据 json 中对应的 uttid 提交相应的文本。
重要提示
1.噪音
在录音过程中，会产生无法识别的突发声音，在标注文本中以特殊符号表示，具体如下。
[*] 代表听不懂的说话内容(听不清句子/方言/严重口音/英文)
[LAUGH] 代表笑声
[SONANT] 代表由说话人发出的干扰浊音(咳嗽声/打喷嚏/清嗓子)
[ENs] 代表各种独立噪音
[MUSIC] 代表音乐声(唱歌声/哼唱/口哨声)
在训练集和开发集中，上述噪音在 json 标注文件中均已相应特殊符号呈现。
在测试集中，如音频中出现噪音，在提供的对应 json 文件中，已经对噪音进行标注，选手无需再标注。
2.文字中 + 号表示叠加音。
3.提交文件中无需加入标点符号。

录音设备与环境

采用多麦克风多平台同步录音，音频均为 .wav 格式，16kHZ 采样率。在每段对话当中，每个说话人配备一个近讲麦克风，并同时使用三个录音设备远距离拾音，其中：
1.近讲麦克风
近讲麦克风型号为 takstar e-340，连接 tascam(us-2x2) 通过 pc 进行录制，距离说话人 10 cm 以内。
2.远距离录音平台
a.安卓手机
b.iphone
c.录音笔
其中，录音笔有两种型号，iphone和安卓的型号不固定，每场对话的录音设备型号可查阅录音信息表，三个设备的距离说话人均为50cm。