基本信息:
- 专利标题： 一种迭代型MapReduce作业的参数自动调优方法
- 专利标题（英）：Automatic parameter tuning method for iterative MapReduce operation
- 申请号：CN201610692752.8 申请日：2016-08-18
- 公开(公告)号：CN106326005A 公开(公告)日：2017-01-11
- 发明人： 赵淦森 , 高晓杰 , 唐华 , 张海明 , 王欣明 , 聂瑞华 , 汤庸 , 朱佳 , 廖智锐 , 陈乐华 , 涂继来
- 申请人： 华南师范大学 , 广州时韵信息科技有限公司
- 申请人地址： 广东省广州市中山大道西55号
- 专利权人： 华南师范大学,广州时韵信息科技有限公司
- 当前专利权人： 华南师范大学,广东中标数据科技股份有限公司
- 当前专利权人地址： 广东省广州市中山大道西55号
- 代理机构： 广州嘉权专利商标事务所有限公司
- 代理人： 谭英强
- 优先权： 201610040658.4 2016.01.21 CN
- 主分类号： G06F9/50
- IPC分类号： G06F9/50
The invention discloses an automatic parameter tuning method for an iterative MapReduce operation. The method comprises the following steps of A) judging whether to meet an iterative ending condition or not, if so, ending an iterative calculation task, otherwise, executing step B; B) searching to obtain new MapReduce parameter configuration according to a given MapReduce parameter search space by utilization of a parameter searching algorithm; C) realizing the running of the current MapReduce operation by utilization of the searched new MapReduce parameter configuration, judging the running effect of the current MapReduce operation after the operation is finished, and performing corresponding data adjustment treatment according to a judging result; D) returning to execute the step A. By utilization of the method disclosed by the invention, the running efficiency of each iterative MapReduce operation can be improved, the convenience is brought to a user, and the waste of time resources is greatly reduced. The method disclosed by the invention can be widely applied to a Hadoop running parameter tuning field.
公开/授权文献:
- CN106326005B 一种迭代型MapReduce作业的参数自动调优方法 公开/授权日：2019-12-17
IPC结构图谱:
| G | 物理 |
| --G06 | 计算；推算；计数 |
| ----G06F | 电数字数据处理 |
| ------G06F9/00 | 电数字数据处理的控制单元 |
| --------G06F9/06 | .应用存入的程序的，即应用处理设备的内部存储来接收程序并保持程序的 |
| ----------G06F9/22 | ..微控制或微程序装置 |
| ------------G06F9/50 | ...资源分配，例如，中央处理单元（CPU）的 |