基本信息:
- 专利标题： 一种面向计算资源异构的联邦学习训练加速方法
- 申请号：CN202110556962.5 申请日：2021-05-21
- 公开(公告)号：CN113191504A 公开(公告)日：2021-07-30
- 发明人： 何耶肖 , 李欢 , 章小宁 , 吴昊 , 范晨昱
- 申请人： 电子科技大学
- 申请人地址： 四川省成都市高新区(西区)西源大道2006号
- 专利权人： 电子科技大学
- 当前专利权人： 电子科技大学
- 当前专利权人地址： 四川省成都市高新区(西区)西源大道2006号
- 代理机构： 北京正华智诚专利代理事务所
- 代理人： 李林合
- 主分类号： G06N20/00
- IPC分类号： G06N20/00 ; G06N3/04 ; G06N3/08
摘要：
本发明公开了一种面向计算资源异构的联邦学习训练加速方法，通过判断最快设备和最慢设备之间迭代次数差是否达到阈值，若达到阈值，则最快设备无需等待，直接利用梯度更新数值更新本地模型参数，然后下载最新的全局模型参数并得到最新的全局模型参数副本，通过额外梯度更新参数更新全局模型参数副本，并判断与最新的全局模型参数间的损失函数值大小，若更新后的全局模型参数副本损失函数值更小，则用更新后的全局模型参数副本替换最新的全局模型参数。本发明对传统的SSP并行同步机制提出相关适应性改进，提高了计算资源的利用率，从而提高训练效率，缩短整体训练时间。
公开/授权文献:
- CN113191504B 一种面向计算资源异构的联邦学习训练加速方法 公开/授权日：2022-06-28