大佬们都是怎么优化数据迁移速度的啊？我这边的网络传得跟蜗牛一样
1 个赞
优化数据迁移过程中的网络传输效率可以从以下几个方面入手：
选择合适的端口
在使用 DataX 进行历史数据迁移时，建议直接通过 OceanBase 数据库的 2881 端口进行连接，而不是通过 OBProxy（默认端口为 2883）。这是因为 OBProxy 可能会将命令分发到其他机器上，如果目标机器没有部署 DataX 或相关文件，则可能导致文件找不到的问题。因此，直连数据库可以减少网络跳转，提高传输效率。（参考文档：数据导入策略与最佳实践 → 最佳实践 → 基于 DataX 和 Flink SQL 构建实时数仓）
调整数据库参数
设置最大网络包的大小
SET GLOBAL max_allowed_packet = 67108864;
调整 max_allowed_packet 参数可以允许更大的数据包在网络中传输，从而减少网络交互次数，提高传输效率。（参考文档：OceanBase 数据库性能的影响因素 → 数据库参数调优 → OLAP 场景）
使用高性能的数据迁移工具 OMS
OceanBase 迁移服务（OMS）支持高性能的数据迁移和同步，能够实现准实时的异构 IT 基础结构之间大量数据的秒级延迟复制。OMS 的全量迁移性能可以达到 100 MB/s，20 万 TPS，数据同步性能可以达到 50000 RPS。此外，OMS 提供高可用的部署架构方案，为数据迁移和实时同步提供稳定可靠的传输保障。（参考文档：OceanBase 迁移服务（OMS）-> 特性与优势）
3 个赞
好文，向大佬学习
首先测试网络带宽，排除网络问题。其次再做优化。
1 个赞
向大佬学习