集群有8个节点的observer和obproxy,

AntTech_PZFBUG · 2024 年11 月 28 日 17:29

【使用环境】生产环境 or 测试环境
【 OB or 其他组件】生产4.0
【使用版本】 4.0
【问题描述】清晰明确描述问题
【复现路径】问题出现前后相关操作
【附件及日志】推荐使用OceanBase敏捷诊断工具obdiag收集诊断信息,详情参见链接（右键跳转查看）：

【SOP系列 22 】——故障诊断第一步(自助诊断和诊断信息收集)

【备注】基于 LLM 和开源文档 RAG 的论坛小助手已开放测试，在发帖时输入 [@论坛小助手] 即可召唤小助手，欢迎试用！

现在生产部署了8个节点的observer和obproxy, 现在发现相对集中数据库，只需要分析一个节点的日志，8个节点的分析难度太大，比如有sql 有锁，还需要同时分析8个节点的observer log 和 obproxy 日志，分析难度加大，时间跨度加大，请问各位专家，可有好办法？

论坛小助手 · 2024 年11 月 28 日 17:30

根据您提供的信息，分析多节点日志确实是一项挑战，尤其是在分布式系统如 OceanBase 中。这里有几个建议可以帮助您更有效地分析日志：

使用 OceanBase 自带的诊断工具：
- obdiag：这是 OceanBase 官方提供的一个强大的诊断工具，可以帮助您快速收集和分析日志。您可以使用 obdiag collect log 命令来收集指定时间段内的日志，并使用 obdiag analyze log 命令来分析这些日志。obdiag 工具可以自动汇总多个节点的日志，帮助您更快地定位问题。
```
# 收集日志
obdiag collect log --start-time "2023-10-01 00:00:00" --end-time "2023-10-01 23:59:59" --output /path/to/output

# 分析日志
obdiag analyze log --input /path/to/output
```
使用 OCP 的监控和报警功能：
- OCP：OceanBase Control Platform 提供了丰富的监控和报警功能，可以帮助您实时监控集群的状态。通过 OCP，您可以查看各个节点的性能指标、SQL 执行情况等，从而快速定位问题。OCP 还支持自定义报警规则，当检测到异常时会及时通知您。
集中日志管理：
- ELK Stack：Elasticsearch、Logstash 和 Kibana 组成的 ELK Stack 是一个流行的日志管理和分析解决方案。您可以将各个节点的日志集中到 Elasticsearch 中，然后使用 Kibana 进行可视化分析。这样可以大大简化日志分析的复杂度。
  - Logstash：负责从各个节点收集日志。
  - Elasticsearch：存储和索引日志数据。
  - Kibana：提供日志的可视化界面。
SQL 诊断：
- v$sql_audit：这是一个重要的视图，记录了 SQL 的执行审计信息。您可以查询这个视图来分析 SQL 的执行情况，特别是那些执行时间较长或有锁等待的 SQL。
```
SELECT * FROM v$sql_audit WHERE sql_id = 'your_sql_id';
```
- v$plan_cache_plan_explain 和 v$plan_cache_plan_stat：这两个视图分别记录了执行计划的每个算子的信息和执行计划的审计信息。通过这些视图，您可以深入了解 SQL 的执行计划和性能瓶颈。
分布式事务和锁的分析：
- 分布式事务：如果您的应用涉及分布式事务，可以使用 SHOW TRANSACTIONS 命令来查看当前正在进行的事务。
```
SHOW TRANSACTIONS;
```
- 锁等待：可以使用 SHOW LOCKS 命令来查看当前的锁等待情况。
```
SHOW LOCKS;
```

通过以上方法，您可以更高效地分析多节点日志，快速定位和解决问题。希望这些建议对您有所帮助。如果有其他具体问题，欢迎继续提问。

详情请参考:

旭辉 · 2024 年11 月 28 日 17:34

推荐obdiag和OCP，另外4.0的版本太老了，如果TP业务为主建议425版本，AP业务为主建议434版本

https://www.oceanbase.com/docs/common-obdiag-cn-1000000001768179