基本信息:
- 专利标题： 一种Transformer模型及其位置编码方法
- 申请号：CN202311353552.6 申请日：2023-10-18
- 公开(公告)号：CN117371486A 公开(公告)日：2024-01-09
- 发明人： 王博 , 张希 , 王勇 , 陈江琦 , 王进 , 陈霞 , 张纪伟
- 申请人： 国网智能电网研究院有限公司 , 国网山东省电力公司 , 国网山东省电力公司济南供电公司 , 国家电网有限公司
- 申请人地址： 北京市昌平区未来科技城滨河大道18号
- 专利权人： 国网智能电网研究院有限公司,国网山东省电力公司,国网山东省电力公司济南供电公司,国家电网有限公司
- 当前专利权人： 国网智能电网研究院有限公司,国网山东省电力公司,国网山东省电力公司济南供电公司,国家电网有限公司
- 当前专利权人地址： 北京市昌平区未来科技城滨河大道18号
- 代理机构： 北京三聚阳光知识产权代理有限公司
- 代理人： 李静玉
- 主分类号： G06N3/045
- IPC分类号： G06N3/045 ; G06N5/04 ; G06N3/0499
摘要：
本发明涉及人工智能技术领域，具体涉及一种Transformer模型及其位置编码方法，方法包括：获取待处理特征点的位置坐标；生成多个映射向量，多个映射向量的方向的数量大于待处理特征点位置坐标的维度；根据位置坐标和映射向量进行三角函数运算得到位置编码结果。通过实施本发明，生成多个映射向量，多个映射向量的方向的数量大于待处理特征点位置坐标的维度，从而增加了进行位置编码时的方向，在不影响模型训练与推理速度的同时，提升了模型的性能。
IPC结构图谱:
| G | 物理 |
| --G06 | 计算；推算；计数 |
| ----G06N | 基于特定计算模型的计算机系统 |
| ------G06N3/00 | 基于生物学模型的计算机系统 |
| --------G06N3/02 | .采用神经网络模型 |
| ----------G06N3/04 | ..体系结构，例如，互连拓扑 |
| ------------G06N3/045 | ...组合网络 |