基本信息:
- 专利标题： 一种基于强化学习的边缘微服务细粒度部署方法及系统
- 申请号：CN202311304760.7 申请日：2023-10-10
- 公开(公告)号：CN117041330A 公开(公告)日：2023-11-10
- 发明人： 彭凯 , 何金涛 , 徐家祥 , 张晨 , 何建文 , 胡梦兰 , 陈云鹏 , 杨晓东 , 王建东 , 邱生顺 , 姚毅 , 郭佳璐 , 胡毅
- 申请人： 三峡高科信息技术有限责任公司 , 华中科技大学
- 申请人地址： 湖北省武汉市江岸区六合路1号;
- 专利权人： 三峡高科信息技术有限责任公司,华中科技大学
- 当前专利权人： 三峡高科信息技术有限责任公司,华中科技大学
- 当前专利权人地址： 湖北省武汉市江岸区六合路1号;
- 代理机构： 武汉蓝宝石专利代理事务所
- 代理人： 廉海涛
- 主分类号： H04L67/51
- IPC分类号： H04L67/51 ; H04L41/142 ; H04L41/16 ; G06N3/0442 ; G06N3/092
摘要：
本发明提供一种基于强化学习的边缘微服务细粒度部署方法及系统，该方法包括：分别构建边缘服务器、微服务种类、应用请求和移动设备的集合，定义各集合中元素信息；建立微服务访问模型，并将最小化访问时延作为优化目标；构建基于奖励记忆塑造的深度确定性策略梯度算法学习最优的微服务部署和路由策略，基于重放池和目标网络来提高学习效率和稳定性；通过批量样本策略梯度更新Actor网络，最小化损失函数更新Critic网络，利用指数平滑更新目标网络；基于最小微服务访问时延的优化目标输出最终的微服务部署策略，并更新微服务部署状态。通过该方案能实现微服务节点资源合理分配，可以有效降低微服务间通信开销，并方便动态调整微服务部署和路由路径。
公开/授权文献:
- CN117041330B 一种基于强化学习的边缘微服务细粒度部署方法及系统 公开/授权日：2023-12-15
IPC结构图谱:
| H | 电学 |
| --H04 | 电通信技术 |
| ----H04L | 数字信息的传输，例如电报通信 |
| ------H04L67/00 | 用于支持网络服务或应用程序的网络布置或协议（用户对用户消息传递入H04L51/00） |
| --------H04L67/01 | .协议 |
| ----------H04L67/51 | ..其发现或管理，例如服务位置协议 |