跨集群数据同步#

通过 oushudb 增量恢复功能,可实现跨集群数据同步,持续增量同时集群中数据到另一个集群中,实现跨集群容灾.

oushudb 增量恢复功能#

oushudb restore 在增量备份的基础上,实现了增量恢复功能,在第一次全量恢复后,对后续的每次增量备份做增量恢复。

使用限制#

  1. 当前增量恢复功能只支持 horc 格式的表。

  2. 当前增量恢复功能

  3. 表在在目标集群恢复后,如果继续做增量同步,该表支持读操作但不可以有写操作,后续不再需要增量同步后,可以正常读写。

基于 oushudb 增量备份恢复 实现跨集群数据同步#

本示例持续集群 A 做增量备份,并支持备份路径为 集群 B 的 HDFS-B ,同时每生成一个增量备份,在集群 B 做增量恢复,如此循环,实现集群 A 到集群 B 的数据同步,一旦增量恢复完成后,如需要节省 HDFS 数据空间,可删除最后一个备份以外的其他备份。本示例同步一个数据库 db1 , 也可以参考备份恢复命令同步单个表。

在集群 A 执行全量备份

oushudb backup --dbname=db1 --backup-url=hdfs://hdfs_b_url/backupdir

在集群 A 不断执行增量备份

oushudb backup --incremental --dbname=db1 --backup-url=hdfs://hdfs_b_url/backupdir

针对每一个生成的备份,在集群 B 执行增量恢复

恢复时需要指定某次备份子目录,每次备份都会在指定目录下基于时间创建一个子目录。

oushudb restore --incremental --backup-url=hdfs://hdfs_b_url/backupdir/20230922174944