基本信息:
- 专利标题： 一种海量实时存储低延迟全量数据同步一致性的保障方法
- 申请号：CN202411176752.3 申请日：2024-08-26
- 公开(公告)号：CN118861148A 公开(公告)日：2024-10-29
- 发明人： 周锋 , 杨晨 , 冯彦明 , 王志敏
- 申请人： 河南中原消费金融股份有限公司
- 申请人地址： 河南省郑州市郑东新区康宁街99号万众大厦
- 专利权人： 河南中原消费金融股份有限公司
- 当前专利权人： 河南中原消费金融股份有限公司
- 当前专利权人地址： 河南省郑州市郑东新区康宁街99号万众大厦
- 代理机构： 郑州博派知识产权代理事务所(特殊普通合伙)
- 代理人： 王好宁
- 主分类号： G06F16/25
- IPC分类号： G06F16/25 ; G06F16/242 ; G06F9/54 ; G06F16/18 ; G06F16/28
摘要：
本发明涉及数据缓存技术领域，尤其涉及一种海量实时存储低延迟全量数据同步一致性的保障方法，包括：采用数据同步工具将增量数据写入消息队列，生成检查点；将目标实时存储库设置为下线状态；对全量最新数据进行数据转换处理，并将转换处理数据导入目标实时存储库；将目标实时存储库设置为上线状态；启动CDC增量数据处理流程序，消费消息队列中的增量数据，并对目标实时存储库中存储的转换处理数据进行回放处理。本发明通过引入有效的增量同步机制，能够减小对已经上线的目标实时存储库的数据延迟影响，以捕获源业务系统数据库的数据变化，并快速将这些变化应用于目标实时存储库中，有助于及时决策和应对市场变化。
IPC结构图谱:
| G | 物理 |
| --G06 | 计算；推算；计数 |
| ----G06F | 电数字数据处理 |
| ------G06F16/00 | 信息检索；数据库结构；文件系统结构 |
| --------G06F16/10 | .文件系统；文件服务器 |
| ----------G06F16/25 | ..涉及数据库管理系统的集合或接口系统 |