主备租户延迟这么久，如何处理

OceanBase 技术问题
#1

ocp：5.3.5
ob：4.2.1.8

image

测试的主备租户延迟这么久，并且延迟时间持续增加，主租户没有写入，如何处理

主租户：

mysql> select * from oceanbase.dba_ob_archivelog \G
*************************** 1. row ***************************
                     DEST_ID: 1001
                    ROUND_ID: 1
                 INCARNATION: 1
                     DEST_NO: 0
                      STATUS: DOING
                   START_SCN: 1754040925304936416
           START_SCN_DISPLAY: 2025-08-01 17:35:25.304936
              CHECKPOINT_SCN: 1754041779515681099
      CHECKPOINT_SCN_DISPLAY: 2025-08-01 17:49:39.515681
                  COMPATIBLE: 1
               BASE_PIECE_ID: 1
               USED_PIECE_ID: 1
       PIECE_SWITCH_INTERVAL: 86400000000
                   UNIT_SIZE: 1
                 COMPRESSION: none
                 INPUT_BYTES: 116600392
         INPUT_BYTES_DISPLAY: 111.20MB
                OUTPUT_BYTES: 116600392
        OUTPUT_BYTES_DISPLAY: 111.20MB
           COMPRESSION_RATIO: 1.00
         DELETED_INPUT_BYTES: 0
 DELETED_INPUT_BYTES_DISPLAY: 0.00MB
        DELETED_OUTPUT_BYTES: 0
DELETED_OUTPUT_BYTES_DISPLAY: 0.00MB
                     COMMENT: 
                        PATH: file:///mnt/nfs_share/ob_backup/mysql_back/prod/1752207022/tenant_incarnation_1/1022/clog

备租户：

mysql> select * from oceanbase.dba_ob_archivelog \G
*************************** 1. row ***************************
                     DEST_ID: 1003
                    ROUND_ID: 2
                 INCARNATION: 1
                     DEST_NO: 0
                      STATUS: DOING
                   START_SCN: 1754033542934156789
           START_SCN_DISPLAY: 2025-08-01 15:32:22.934156
              CHECKPOINT_SCN: 1754040937097637628
      CHECKPOINT_SCN_DISPLAY: 2025-08-01 17:35:37.097637
                  COMPATIBLE: 1
               BASE_PIECE_ID: 2
               USED_PIECE_ID: 2
       PIECE_SWITCH_INTERVAL: 86400000000
                   UNIT_SIZE: 1
                 COMPRESSION: none
                 INPUT_BYTES: 179312144
         INPUT_BYTES_DISPLAY: 171.01MB
                OUTPUT_BYTES: 179312144
        OUTPUT_BYTES_DISPLAY: 171.01MB
           COMPRESSION_RATIO: 1.00
         DELETED_INPUT_BYTES: 0
 DELETED_INPUT_BYTES_DISPLAY: 0.00MB
        DELETED_OUTPUT_BYTES: 0
DELETED_OUTPUT_BYTES_DISPLAY: 0.00MB
                     COMMENT: 
                        PATH: file:///mnt/nfs_share/ob_backup/mysql/obcp_test/1752207023/tenant_incarnation_1/1002/clog
1 row in set (0.03 sec)
1 个赞
#3

节点间带宽多少

2 个赞
#4

可以认为没有限制，Gbit级别，主要是主租户没有什么写入

主备租户做了一次switchover就出现这样的情况

并且在主上更新一条数据，确实无法同步到备

2 个赞
#5

image

正在上传：image.png(1)…

告警详情：[OBServer 非预期的内部错误] 集群：obcp_test，主机：10.xx.xx.31，日志类型：observer，日志文件：/home/admin/oceanbase/log/observer.log，日志级别：ERROR，关键字=Unexpected internal error happen，错误码=4388，日志详情=[2025-08-01 18:05:18.486495] ERROR issue_dba_error (ob_log.cpp:1875) [48058][T1002_LogLoop][T1002][Y0-0000000000000000-0-0] [lt=20][errcode=-4388] Unexpected internal error happen, please checkout the internal errcode(errcode=-4016, file=“log_sliding_window.cpp”, line_no=995, info=“Current log’s begin_lsn is not continuous with last_submit_end_lsn, unexpected”)。

告警事件详情

告警概述：alarm_template_id=0:ob_cluster=obcp_test-1752207023:tenant_name=mysql 备租户同步延时过大

告警详情：OceanBase集群 obcp_test 备租户 mysql 同步延时过大，当前同步延时为 1703.077 秒

3 个赞
#6

一个测试的常规切换，都整出这么多事？

3 个赞
#7

同问

2 个赞
#8

这不是常规测试吗？环境没有准备好啊

1 个赞
#9

学到了

1 个赞
#10

学习

1 个赞
#11

学习学习

1 个赞
#12

:thinking::thinking::thinking:

#13

租户是多副本还是单副本？可以使用obdiag分析下报错时间点前后5分钟的日志

#14

是在OCP上做的“日常切换”吧，将切换过程的ocp-server.log 主备租户的observer.log 发下

另外新备租户查询下

select *,scn_to_timestamp(sync_scn) from v$ob_ls_log_restore_status where tenant_id=xxx
#15

瞧瞧

#17

参考这里

1 个赞