关于索引的存储

OceanBase 技术问题
#22

对于分区表的全局索引，其每个分区是否独立存储在一个 Table Store 内，取决于全局索引的分区规则和存储机制。根据文档库中的信息，可以总结如下：

分区表的全局索引存储

全局索引的分区规则与存储特性

  1. 独立分区规则：

    • 全局索引有自己独立的分区规则，可以定义自己的分区策略，不一定与主表的分区规则相同。
    • 每个全局索引分区可以看作是另一张独立的表，占用额外的分区配额，并且可以在不同的节点上存储。

  2. 物理位置分离：

    • 由于全局索引的分区规则和主表的分区规则不一定相同，因此在分布式环境中，索引数据和主表数据存储的位置也无法保证始终在一起。
    • 这种分离会导致读写操作时引入 RPC（远程过程调用）代价和分布式事务的代价。例如，当主表的分区和全局索引的分区不在同一个物理位置上，TABLE SCAN 算子执行全局索引表扫描时就会包含一次 RPC 操作到远端机器上去获取主表数据。

  3. Table Store 的分配：

    • 每个全局索引分区独立存储：每个全局索引分区确实会独立存储在一个 Table Store 内。这意味着每个全局索引分区的数据和索引都会有自己的 MemTable 和 SSTable 文件，这些文件属于该分区的存储单元。
    • 跨节点存储：不同全局索引分区可以分布在不同的节点上，以实现负载均衡和高可用性。

文档依据

  • 片段标题: OceanBase 数据库性能的影响因素 → 资源分配 → 局部索引和全局索引 → 全局索引：
    “与局部索引相比，由于全局索引有独立的分区规则，因此索引表中一个分区的索引值可能对应着主表的多个分区内的数据。由于索引的分区规则和主表的分区规则不一定相同，因此在分布式环境中，索引数据和主表数据存储的位置也无法保证始终在一起，这不可避免的会引入读写的 RPC 代价和分布式事务的代价。”

  • 片段标题: 使用 OceanBase 数据库分区表进行水平拆分 → 分区表 → 分区表的索引：
    “如果分区表的索引不分区，就是一个全局索引（GLOBAL），是一个独立的分区，索引数据覆盖整个分区表。”

总结

对于分区表的全局索引：

  • 每个全局索引分区独立存储在一个 Table Store 内。这意味着每个全局索引分区的数据和索引都有自己的 MemTable 和 SSTable 文件，这些文件属于该分区的存储单元。
  • 跨节点存储：不同全局索引分区可以分布在不同的节点上，以实现负载均衡和高可用性。
  • 维护代价较高：由于全局索引的分区规则独立于主表，可能会引入额外的 RPC 和分布式事务代价，因此建议仅在必要时使用全局索引。

希望以上解释能够帮助您更好地理解分区表的全局索引存储机制。如果您还有其他问题，欢迎继续提问！

更多信息请参考：

具体信息可参考以下文档:

具体信息可参考以下文档:

详情请参考:

  1. 全局索引
  2. 索引概述
  3. 集群管理 FAQ
  4. 索引设计
  5. GV$OB_MEMSTORE_INFO
  6. V$OB_MEMSTORE_INFO
  7. OceanBase 术语
  8. OceanBase 数据库在 MySQL 模式租户下的扩展功能
#23

对于普通表，它的表数据和它的全部索引数据，它们的基线数据，位于同一个目录或文件系统路径下。 @论坛小助手

#24

根据文档库中的信息，关于分区表的全局索引存储方式，可以总结如下：

分区表的全局索引存储

全局索引的每个分区是否独立存储在一个 Table Store 内？

不是。全局索引的每个分区并不是独立存储在一个单独的 Table Store 内。具体来说：

  1. 独立性与绑定：

    • 全局索引有自己独立的分区规则，可以定义自己的分区策略，不一定与主表的分区规则相同。
    • 全局索引可以有自己的分区模式，既可以选择非分区模式也可以选择分区模式；在分区模式中，分区的方式既可以和主表相同也可以不同。
    • 全局索引可以看作是另一张独立的表，占用额外的分区配额，并且可以在不同的节点上存储。

  2. 物理位置分离：

    • 由于全局索引的分区规则和主表的分区规则不一定相同，因此在分布式环境中，索引数据和主表数据存储的位置也无法保证始终在一起。
    • 这种分离会导致读写操作时引入 RPC（远程过程调用）代价和分布式事务的代价。例如，当主表的分区和全局索引的分区不在同一个物理位置上，TABLE SCAN 算子执行全局索引表扫描时就会包含一次 RPC 操作到远端机器上去获取主表数据。

  3. 维护代价：

    • 全局索引相比局部索引有更高的维护代价，因为数据的增删改都需要维护全局索引，可能会产生分布式事务，影响系统的写入性能。

  4. 统一管理：

    • 尽管全局索引有独立的分区规则，但它们仍然属于同一个逻辑存储空间（即同一个表）。全局索引的数据和主表的数据共同存在于 OceanBase 数据库的 LSM-Tree 结构中，包括 MemTable 和 SSTable 文件。

总结

对于分区表的全局索引：

  • 不是每个分区独立存储在一个单独的 Table Store 内。
  • 全局索引有自己独立的分区规则，可以与主表的分区规则不同。
  • 全局索引的数据和主表的数据可能存储在不同的节点上，导致读写操作时引入额外的 RPC 和分布式事务代价。
  • 全局索引的数据和主表的数据共同存在于同一个逻辑存储空间中，但全局索引的数据可能会分布在不同的节点上。

希望以上解释能够澄清您的疑问。如果您还有其他问题，欢迎继续提问！

更多信息请参考：

具体信息可参考以下文档:

  • 转储和合并概述
  • OceanBase 数据库性能的影响因素
  • 存储架构概述
  • 表存储
  • 创建数据库
  • 分布式数据库对象概述

文档依据：

  • 片段标题: OceanBase 数据库性能的影响因素 → 资源分配 → 局部索引和全局索引
  • 片段标题: 使用 OceanBase 数据库分区表进行水平拆分 → 分区表 → 分区表的索引
  • 片段标题: OceanBase 数据库性能的影响因素 → 资源分配 → 局部索引和全局索引 → 局部索引

检索到的文档如下:

  • 全局索引
  • 集群管理 FAQ
  • OceanBase 术语
  • 索引概述
  • 分区索引
  • 租户内均衡
  • OceanBase 数据库性能的影响因素

检索到的文档如下:

  1. 全局索引
  2. 索引概述
  3. GV$OB_MEMSTORE_INFO
  4. V$OB_MEMSTORE_INFO
  5. 集群管理 FAQ
  6. oceanbase.DBA_OB_TABLEGROUP_PARTITIONS
  7. 索引设计
#25

对于普通表，它的表数据和它的全部索引数据，它们的基线数据，位于同一个目录或文件系统路径下。 @论坛小助手

#26

根据文档库中的信息，关于分区表的全局索引存储方式，可以总结如下：

分区表的全局索引存储

全局索引的每个分区独立存储在一个 Table Store 内？

不是。对于分区表的全局索引，其存储方式与局部索引不同：

  1. 全局索引的独立性：

    • 全局索引有自己独立的分区规则，可以定义自己的分区策略，不一定与主表的分区规则相同。
    • 全球索引可以有自己的分区模式，既可以选择非分区模式也可以选择分区模式；在分区模式中，分区的方式既可以和主表相同也可以不同。

  2. 物理位置分离：

    • 由于全局索引的分区规则和主表的分区规则不一定相同，因此在分布式环境中，索引数据和主表数据存储的位置也无法保证始终在一起。
    • 这种分离会导致读写操作时引入 RPC（远程过程调用）代价和分布式事务的代价。例如，当主表的分区和全局索引的分区不在同一个物理位置上，TABLE SCAN 算子执行全局索引表扫描时就会包含一次 RPC 操作到远端机器上去获取主表数据。

  3. 维护代价：

    • 全局索引相比局部索引有更高的维护代价，因为数据的增删改都需要维护全局索引，可能会产生分布式事务，影响系统的写入性能。

  4. 具体实现细节：

    • 全局索引的数据和主表的数据不会绑定在同一 Table Store 内。全局索引的数据会根据其自身的分区规则存储在不同的 Table Store 中，而这些 Table Store 可能分布在不同的节点上。
    • 因此，全局索引的每个分区并不是独立存储在一个单独的 Table Store 内，而是根据全局索引的分区规则存储在相应的 Table Store 中。

总结

对于分区表的全局索引：

  • 不是每个分区独立存储在一个 Table Store 内。
  • 全局索引有自己独立的分区规则，可以与主表的分区规则不同。
  • 全局索引的数据和主表的数据存储位置可能不同，导致读写操作时引入额外的 RPC 和分布式事务代价。
  • 全局索引的数据会根据其自身的分区规则存储在不同的 Table Store 中，而这些 Table Store 可能分布在不同的节点上。

希望以上解释能够澄清您的疑问。如果您还有其他问题，欢迎继续提问！

更多信息请参考：

具体信息可参考以下文档:

  • 转储和合并概述
  • OceanBase 数据库性能的影响因素
  • 存储架构概述
  • 表存储
  • 创建数据库
  • 分布式数据库对象概述

具体信息可参考以下文档:

  • OceanBase 术语
  • 表概述
  • 关于外表
  • 表存储
  • oceanbase.DBA_OB_TABLE_LOCATIONS
  • 表级字符集和字符序

文档依据：

  • 片段标题: OceanBase 数据库性能的影响因素 → 资源分配 → 局部索引和全局索引
  • 片段标题: 使用 OceanBase 数据库分区表进行水平拆分 → 分区表 → 分区表的索引
  • 片段标题: OceanBase 数据库性能的影响因素 → 资源分配 → 局部索引和全局索引 → 局部索引
#27

普通表的数据和索引，是在同一存储单元中。分区表的本地索引，同一个分区，其表数据和索引，是在同一存储单元中。 @论坛小助手

#28

根据文档库中的信息，对于分区表的全局索引，其存储方式与局部索引和主表数据有所不同。具体来说：

分区表的全局索引存储

全局索引的独立性

  1. 独立的分区规则：

    • 全局索引有自己独立的分区规则，可以定义自己的分区策略，不一定与主表的分区规则相同。
    • 全局索引可以有自己的分区模式，既可以选择非分区模式也可以选择分区模式；在分区模式中，分区的方式既可以和主表相同也可以不同。

  2. 物理位置分离：

    • 由于全局索引的分区规则和主表的分区规则不一定相同，因此在分布式环境中，索引数据和主表数据存储的位置也无法保证始终在一起。
    • 这种分离会导致读写操作时引入 RPC（远程过程调用）代价和分布式事务的代价。例如，当主表的分区和全局索引的分区不在同一个物理位置上，TABLE SCAN 算子执行全局索引表扫描时就会包含一次 RPC 操作到远端机器上去获取主表数据。

  3. 维护代价：

    • 全局索引相比局部索引有更高的维护代价，因为数据的增删改都需要维护全局索引，可能会产生分布式事务，影响系统的写入性能。

全局索引的每个分区是否独立存储在一个 Table Store 内？

  • 全局索引的每个分区独立存储：是的，分区表的全局索引的每个分区确实独立存储在一个 Table Store 内。这意味着每个全局索引分区的数据会存储在不同的 MemTable 和 SSTable 文件中，并且这些文件属于不同的存储单元。

  • 跨节点分布：由于全局索引的分区规则可以与主表不同，因此全局索引的各个分区可能会分布在不同的节点上。这使得全局索引的查询和维护操作可能涉及跨节点通信，增加了复杂性和开销。

文档依据

片段标题: OceanBase 数据库性能的影响因素 → 资源分配 → 局部索引和全局索引 → 全局索引：

“与局部索引相比，由于全局索引有独立的分区规则，因此索引表中一个分区的索引值可能对应着主表的多个分区内的数据。由于索引的分区规则和主表的分区规则不一定相同，因此在分布式环境中，索引数据和主表数据存储的位置也无法保证始终在一起，这不可避免的会引入读写的 RPC 代价和分布式事务的代价。”

片段标题: 使用 OceanBase 数据库分区表进行水平拆分 → 分区表 → 分区表的索引：

“如果分区表的索引不分区，就是一个全局索引（GLOBAL），是一个独立的分区，索引数据覆盖整个分区表。”

总结

对于分区表的全局索引：

  • 每个分区的数据独立存储在一个 Table Store 内。
  • 全局索引的分区规则可以与主表不同，导致索引数据和主表数据的物理位置分离。
  • 全局索引的各个分区可能会分布在不同的节点上，增加了查询和维护操作的复杂性和开销。

希望以上解释能够澄清您的疑问。如果您还有其他问题，欢迎继续提问！
更多信息请参考：

  • OceanBase 数据库性能的影响因素
  • OceanBase 数据库术语
  • 存储架构概述

检索到的文档如下:

  1. 全局索引
  2. 索引概述
  3. GV$OB_MEMSTORE_INFO
  4. V$OB_MEMSTORE_INFO
  5. 集群管理 FAQ
  6. oceanbase.DBA_OB_TABLEGROUP_PARTITIONS
  7. 索引设计