人大金仓KFS引领“零停机数据修复”。

小夏 科技 更新 2024-01-30

在数据同步过程中,为了保证数据的一致性,通常需要定期对数据进行校验,对不同数据的数据进行修复。 但是,源库和目标库中的数据在不断变化,应用数据不断写入源端,数据同步到目的端,可能会出现同步延迟。

作为数据库领域的国家队,金仓自主研发的异构数据同步软件Kingbase FlySync(以下简称“KFS”)能否有效解决数据变化情况下的数据修复问题?

零停机数据修复

面临的主要问题

典型场景。 在高峰时段,当增量数据同步出现延迟时,会进行数据一致性检查。 由于应用程序已将数据插入到源数据库中,并且延迟导致数据到达目标数据库,因此结果是源数据库中的数据多于目标数据库中的数据。

数据校验工具会将这部分数据标记为源库和目标库的差异数据,当数据修复完毕时,数据修复工具会完成目标端缺失的数据。 这种情况下,增量同步数据写入目标库的时间较晚,而目标库在数据修复后已经有数据,导致主键冲突等问题。

因此,在零宕机差分数据修复场景中,需要解决数据修复和数据同步导致的数据冲突这一关键问题,防止数据重复写入目标。

KFS数据校验工具不仅支持数据修复,还对该场景进行了优化在数据同步延迟的情况下,可以在同时修复和同步数据时解决数据冲突。

KFS具有零停机数据恢复功能

流畅的数据同步

如何使用:

使用KFS数据校验工具,快速校验数据,修复数据差异。 修复数据后,与传统方式不同停机数据修复可智能识别并跳过已修复的数据。 在增量同步和数据校验过程中,KFS在修复数据时不会产生任何数据冲突,帮助数据修复和同步顺利进行。

所有步骤都可以通过图形用户界面 (GUI) 执行,该界面直观且易于使用。 2

使用效果

操作完成后,您可以看到数据修复的结果。 它不仅实现了无冲突的数据修复,而且大大提高了修复所有数据的整体速度。

**数据修复是无冲突的导入目标时,将跳过修复后的数据,不会出现数据冲突,不会丢失数据,双方数据保持一致。

减少解决数据冲突所花费的时间业务场景:数据同步存在延迟,延迟数据事务共计12万次,每笔事务有2次插入操作。

如果不开启零宕机数据修复功能,数据同步将产生 240,000 条冲突数据,KFS 错误处理功能会跳过这些数据,并且每个冲突数据都需要执行、回滚和跳过。 开启零宕机数据修复功能后,24万条冲突数据将不被执行,自动判断是否需要跳过,减少冲突数据的执行时间和回滚时间,业务不会察觉到任何冲突和错误。 使用该函数前后,解决 240,000 个冲突数据片段所花费的时间比较如下:

其背后的技术原理

事务快照

KFS 可以通过将数据库中的快照与 KFS 中间文件中记录的快照进行比较来确定数据在此期间的变化情况。 事务快照可保证在验证过程中所有表都位于一个查询位置。 这些数据更改是冲突数据,需要在同步数据中跳过这部分数据。

跳过日志编号

源端解析增量数据时,增量数据的日志号记录在增量数据中,即数据库日志中每个事务的唯一编号,通常称为lsn或scn编号。 目标同步数据时,设置日志号,在数据校验时获取并记录,执行增量数据日志数时,设置增量数据的日志数和日志号大小。 直到增量数据日志编号大于设置的日志编号,不进行判断,数据正常存储。

end

KFS的零宕机数据修复能力解决了实时数据同步过程中的冲突问题,突破了数据修复的瓶颈,大大提高了数据同步过程中的数据质量,加快了修复效率。 未来,KFS将继续优化数据修复策略,积极探索前沿、更有效的技术手段,从容应对日益复杂或大规模的数据修复任务,为客户提供更高效、更可靠的数据修复解决方案。

供稿:产品研发中心 编辑:王瑾 审稿人:日瑶。

相似文章

    人民金仓荣获2024年度公牛人才最青校招聘雇主奖

    近日,人民金仓凭借技术创新 市场规模 品牌影响力 人才自主培养等综合优势,荣获 年度NFUTURE科技人才最受欢迎雇主 作为新一代校园招聘领军企业,Nfuture深知企业对科技人才的需求和科技人才的价值,因此每年都会在学生心目中选择优秀的雇主它得到了数百万学生和数万雇主的验证和认可。本届评选过程公平...