基本信息:
- 专利标题： 一种数据迁移的方法
- 申请号：CN202211286629.8 申请日：2022-10-20
- 公开(公告)号：CN115576924A 公开(公告)日：2023-01-06
- 发明人： 刘元莹 , 胡航 , 陈永明 , 赵罡 , 王昊炜 , 夏妍 , 曹美玲 , 徐溯 , 侯超 , 姚鹏 , 刁杨华 , 陈董秀 , 范洵 , 王文涛
- 申请人： 国网江苏省电力有限公司镇江供电分公司
- 申请人地址： 江苏省镇江市电力路182号
- 专利权人： 国网江苏省电力有限公司镇江供电分公司
- 当前专利权人： 国网江苏省电力有限公司镇江供电分公司
- 当前专利权人地址： 江苏省镇江市电力路182号
- 代理机构： 南京经纬专利商标代理有限公司
- 代理人： 徐澍
- 主分类号： G06F16/21
- IPC分类号： G06F16/21 ; G06F16/27 ; G06F16/28
摘要：
本发明公开了一种数据迁移的方法，采用Spark计算引擎读取数据并进行存储，将N个分区中的数据进行重新分区，重新分区后第i个分区中存储的数据均同时分别对应输入至第i个缓冲区，每个缓冲区基于阻塞队列实现。重分区结束后，每个分区都会启动两个线程，一个生产者线程、一个消费者线程，生产者线程遍历每个分区中的每一条数据并将其写入阻塞队列中，并根据数据库资源的的实时使用情况，动态的修改速度的阈值，然后根据阈值控制生产者线程将数据写入阻塞队列中的速度，在生产者线程将数据写入阻塞队列的同时消费者线程从阻塞队列中获取数据并将其写入至数据库中，从而完成数据的同步。本发明能够提高写入速度，从而提高迁移的速度。
IPC结构图谱:
| G | 物理 |
| --G06 | 计算；推算；计数 |
| ----G06F | 电数字数据处理 |
| ------G06F16/00 | 信息检索；数据库结构；文件系统结构 |
| --------G06F16/10 | .文件系统；文件服务器 |
| ----------G06F16/21 | ..数据库设计、管理或维护 |