皮卡多
#1
【 使用环境 】测试环境
【 OB or 其他组件 】Oceanbase数据库和OMS
【 使用版本 】OceanBase_CE-v4.3.4.1，OMS镜像版本feature_4.2.1_ce
【问题描述】使用OMS迁移相同版本的OB版本数据到本地机房时全量迁移步骤rps和实时流量都卡死，行数也没有增长
- 排查了日志报错很多是我目标端的访问拒绝，但是我已经同步了一大半的数据了，而且我也检查了网络账号等等都是通的
2.还有一个很奇怪的点，卡死了我把整个任务点击暂停后再恢复，他又会跑一分钟左右有rps和流量的，一分钟过后又卡死。
3.一开始我这个oms好像不支持我的OB版本，任务开始的时候报错了我参考了官方文档https://www.oceanbase.com/docs/community-oms-cn-1000000002947274给容器内部的cdc升级到了oceanbase-ce-cdc-4.3.4.1-101000032024121814.el7.x86_64.rpm
4.再补充一点，这个OMS迁移任务自启动以来就报错数据库连接密码错误了
【复现路径】oms任务暂停再恢复就能复现
【附件及日志】
error.log (118.5 KB)
1 个赞
成
#5
访问ob被拒绝了 ，确认下密码，有过修改数据源密码的操作吗？数据源连接还正常吗？看下数据源详情那
皮卡多
#6
这个都检查了没有问题的，从始至终都没改过密码，我已经同步了70%的数据了都，这个报错如果有问题一开始就不会同步数据行了
Giant
#7
您说的是全量同步 70% ？？
从OCP 查看下 目标库的 rps 情况， 截图发下看看， 您说的 卡死的时间段
Giant
#8
您登录下 observer截图看下 ， obclient 登录， 您更改端口成 22881了？？
从password= YES 的报警来看 ， 密码不对。
您截图 数据一直在增长看看。 一般疑难杂症 可能都是 自己的小失误 造成的 。
皮卡多
#9
实际机器不是这个端口，走了内网映射Observer实际还是2881的
皮卡多
#10
好像是超时的问题，有个表有个json字段特别大，查询source端超时了，找到有部分日志一直超时的，有什么方式可以排除掉这个表或者修改内置的ob_query_timeout参数吗
淇铭
#11
全量组件的整个日志 发一下 看着是报错信息 是被ob拒绝了
| 日志目录 |
/home/ds/run/{组件ID}/logs |
| 错误日志 |
error.log |
| 程序运行日志 |
connector.log |
皮卡多
#12
已经找到问题了，源端有个JSON字段巨大，通过主键查询单条有时候都需要60秒，全量迁移的组件内置的Hint设置的十分钟超时，然后我怀疑这些线程超时就不处理了，找了很多方式修改批量或者修改查询时间都没有效果
尝试方式1：OMS-系统管理-系统参数调整
尝试方式2：OMS迁移任务详情-查看组件监控-全量导入组件-更新
尝试方式3：移除某个表，使用的是匹配对象规则，4.2.1版本好像不支持减少对象
尝试方式3: 暂停这个迁移任务升级到最新的OMS版本是否还没保留迁移的数据状态？
大佬给推荐还有什么解决方式
周雄
#13
升级一下oms版本吧，4.2.1太老了，高版本这个超时时间更大。升级之后重建个全量链路，之前的链路可能恢复不了了
皮卡多
#14
@淇铭 @周雄 @Giant @成
- 各位大佬，昨晚重新安装了oms-4.2.9并重新启动新的任务，新任务只对字段很大的单张表做测试。
- 密码错误的日志已经没有了
- 实际的问题是获取source端数据超时导致的卡死
- 下面是配置的信息已经日志的收集
- 4.2.9的Hint默认是日志打印的query_timeout(1800000000) 30分钟
- 但是通过日志分析好像并没有生效，反而是因为到达了我Observer和Obproxy加起来的时长超时直接判断超时返回了日志
OB和obproxy的配置
show variables like ‘ob_query_timeout’; 返回 180000000
SHOW PROXYCONFIG LIKE ‘observer_query_timeout_delta’; 返回 20s
判断这个SQL执行的超时时间最大是200秒
oms的全量迁移connector.log日志排查
排查了三个线程的抓取数据的sql到超时错误的时长
-
搜索命令：grep -n -A 1 ‘sourceTask-0’ connector.log | less
-
搜索命令：grep -n -A 1 ‘sourceTask-1’ connector.log | less
-
搜索命令：grep -n -A 1 ‘sourceTask-2’ connector.log | less
