基本信息:
- 专利标题： 基于时空深度特征自适应决策的歌唱口型实时检测方法
- 申请号：CN202410717659.2 申请日：2024-06-04
- 公开(公告)号：CN118736641A 公开(公告)日：2024-10-01
- 发明人： 廖赐麟 , 陈映红 , 廖桂萌 , 罗晨璐 , 白森杰 , 章先恒 , 廖一鹏
- 申请人： 福建师范大学
- 申请人地址： 福建省福州市闽侯县上街镇乌龙江中大道18号福建师范大学旗山校区
- 专利权人： 福建师范大学
- 当前专利权人： 福建师范大学
- 当前专利权人地址： 福建省福州市闽侯县上街镇乌龙江中大道18号福建师范大学旗山校区
- 代理机构： 福州元创专利商标代理有限公司
- 代理人： 郭东亮; 蔡学俊
- 主分类号： G06V40/16
- IPC分类号： G06V40/16 ; G06V10/764 ; G06V10/82 ; G06N3/0442 ; G06N3/084 ; G06N3/09
摘要：
本发明提出基于时空深度特征自适应决策的歌唱口型实时检测方法，包括以下步骤；步骤S1、采集歌唱者的人脸视频图像，并根据实际发声的口型进行图像标注，构建用于模型训练和测试的样本数据集；步骤S2、构建基于YOLOv8的歌唱口型目标实时检测网络，从人脸视频中分割出歌唱发声的口型图像；步骤S3、构建基于胶囊网络的口型空间深度特征提取模型，将提取的一系列空间深度特征输入到BiLSTM网络，通过BiLSTM网络进一步抽取口型图像的时间序列特征；步骤S4、采用爱情进化算法优化随机森林算法的超参数，将抽取的时间序列特征映射到随机森林的高维空间进行自适应决策分类；本发明可实时检测歌手在演唱过程中的口型变化情况，且相比人工方式更客观高效。