基本信息:
- 专利标题： 一种大模型预训练的存储管理方法
- 申请号：CN202410349822.4 申请日：2024-03-26
- 公开(公告)号：CN118550456A 公开(公告)日：2024-08-27
- 发明人： 李伟 , 肖耀猛 , 刘晓军 , 范作鹏 , 曹怀轩 , 戴长官 , 纪永虎 , 于永学 , 孟令声 , 杜晓斌 , 白玉 , 李树仁 , 刘春光 , 于世麟 , 孙延池 , 孙诗野
- 申请人： 山东能源集团有限公司 , 云鼎科技股份有限公司
- 申请人地址： 山东省济南市高新区工业南路57-1号高新万达J3写字楼19层
- 专利权人： 山东能源集团有限公司,云鼎科技股份有限公司
- 当前专利权人： 山东能源集团有限公司,云鼎科技股份有限公司
- 当前专利权人地址： 山东省济南市高新区工业南路57-1号高新万达J3写字楼19层
- 代理机构： 济南鲁科专利代理有限公司
- 代理人： 王超
- 主分类号： G06F3/06
- IPC分类号： G06F3/06 ; G06F9/50 ; G06F18/214 ; G06N3/0895
摘要：
一种大模型预训练的存储管理方法，所述存储管理方法包括以下步骤：录入模型目标样本，以获取海量的全域数据；将录入的模型数据进行分块存储；引入CPU‑GPU数据移动开销，以细粒度的方式布局运算符，使内存密集型运算符不在首选设备上；管理异构存储空间中的功能模块；能够使预训练的大模型从海量数据中自动发现隐藏的模式和规律，提升了学习能力和操作性能，能够支持更大的模型规模和更高的计算效率。
IPC结构图谱:
| G | 物理 |
| --G06 | 计算；推算；计数 |
| ----G06F | 电数字数据处理 |
| ------G06F3/00 | 用于将所要处理的数据转变成为计算机能够处理的形式的输入装置；用于将数据从处理机传送到输出设备的输出装置，例如，接口装置 |
| --------G06F3/06 | .来自记录载体的数字输入，或者到记录载体上去的数字输出 |