基本信息:
- 专利标题： 一种零样本文本驱动视频编辑的全局局部帧联合建模方法
- 申请号：CN202510339145.2 申请日：2025-03-21
- 公开(公告)号：CN120186412A 公开(公告)日：2025-06-20
- 发明人： 于泽文 , 张笑钦 , 陈丽燕 , 赵丽
- 申请人： 温州大学大数据与信息技术研究院
- 申请人地址： 浙江省温州市龙湾区创新创业新天地一期1号楼727-731、739-743室
- 专利权人： 温州大学大数据与信息技术研究院
- 当前专利权人： 温州大学大数据与信息技术研究院
- 当前专利权人地址： 浙江省温州市龙湾区创新创业新天地一期1号楼727-731、739-743室
- 代理机构： 杭州求是专利事务所有限公司
- 代理人： 郑海峰; 杨亚男
- 主分类号： H04N21/44
- IPC分类号： H04N21/44 ; H04N21/472 ; H04N21/84 ; G06V10/82
摘要：
本发明公开了一种零样本文本驱动视频编辑的全局局部帧联合建模方法，属于计算机视觉、视频编辑领域。应用于视频编辑的潜在扩散模型的逆过程，所述的逆过程是将加噪后的视频帧在潜在空间中采用U‑Net结构的扩散模型进行去躁，并在去躁过程中将文本编码后的特征作为条件信息引入，逐步生成符合文本描述的编辑后视频帧；所述的U‑Net结构包含Transformer块，且其中的自注意力块联合全局帧特征和局部帧特征进行计算，自注意力块计算时，分别生成基于全局帧建模后的键和值、以及基于局部帧建模后的键和值，在时空域特征维度上合并全局帧建模和局部帧建模结果，更新原始键和原始值，利用更新后的键、值与原始查询计算自注意力值。
IPC结构图谱:
| H | 电学 |
| --H04 | 电通信技术 |
| ----H04N | 图像通信，例如电视 |
| ------H04N21/00 | 可选的内容分发，例如交互式电视，VOD |
| --------H04N21/20 | .专门适用于内容分发的专用服务器，例如：VOD服务器；其操作 |
| ----------H04N21/41 | ..客户端的结构；客户端外围设备的结构 |
| ------------H04N21/44 | ...视频基本流的处理，例如：将从本地存储器获得的视频剪辑与输入视频流进行拼接，或者按照MPEG-4场景图呈现场景 |