基本信息:
- 专利标题： 一种基于三维高斯溅射技术的表情可编辑的语音驱动人脸重建方法
- 申请号：CN202411245908.9 申请日：2024-09-06
- 公开(公告)号：CN118762133B 公开(公告)日：2025-01-21
- 发明人： 胡军 , 李欣阳 , 吴桂林
- 申请人： 杭州美腾思智能科技有限公司
- 申请人地址： 浙江省杭州市西湖区天目山路178号7楼727室
- 专利权人： 杭州美腾思智能科技有限公司
- 当前专利权人： 杭州美腾思智能科技有限公司
- 当前专利权人地址： 浙江省杭州市西湖区天目山路178号7楼727室
- 代理机构： 北京汇信合知识产权代理有限公司
- 代理人： 叶健
- 主分类号： G06T17/00
- IPC分类号： G06T17/00 ; G06T15/00 ; G06T15/08 ; G06T13/40 ; G06T13/20 ; G06N3/0464 ; G06N3/08
摘要：
本发明公开一种基于三维高斯溅射技术的表情可编辑的语音驱动人脸重建方法，属于数据处理技术领域；该方法包括：输入视频素材构成视频数据集；对视频素材的视频帧的进行人脸三维重建；构建音频特征到三维人脸模型人脸参数的映射；构建动态显式辐射场；接受音频和表情特征输入，通过所述向量量化的变分编码器回归重演人脸的表情参数和下颚姿态系数，结合源人脸其它FLAME参数输入构建的动态显式辐射场回归高斯基元的动态属性合成重演视频；对目标人物的外观和表情编辑。本发明通过参数化可学习哈希编码结构和显式三维高斯泼溅，大幅加速了训练和渲染效率，能够在保证高质量渲染的同时，显著缩短计算时间，从而提高了模型的实际应用可行性。
公开/授权文献:
- CN118762133A 一种基于三维高斯溅射技术的表情可编辑的语音驱动人脸重建方法 公开/授权日：2024-10-11
IPC结构图谱:
| G | 物理 |
| --G06 | 计算；推算；计数 |
| ----G06T | 一般的图像数据处理或产生 |
| ------G06T17/00 | 三维（3D）模型，例如3D目标的数据绘图 |