集群架构下配置用户级资源隔离(Oracle 模式)

配置用户级资源隔离(Oracle 模式)

Oracle 模式下用户级资源隔离的配置方法。

准备工作:磁盘性能校准

在控制 IOPS 资源隔离前,需要进行磁盘性能校准

连接集群

使用 root 用户登录 obcluster 集群的 sys 租户。

obclient -h127.0.0.1 -P2883 -uroot@sys#obcluster -A 

对集群内的所有 Zone 触发磁盘校准任务

根据业务使用场景,选择合适的命令,触发磁盘校准任务。对集群内的所有 Zone 触发磁盘校准任务。

ALTER SYSTEM RUN JOB "io_calibration" ZONE = zone1;
ALTER SYSTEM RUN JOB "io_calibration" ZONE = zone2;
ALTER SYSTEM RUN JOB "io_calibration" ZONE = zone3;

查看磁盘 I/O 校准状态

触发磁盘校准任务后,可以通过 GV$OB_IO_CALIBRATION_STATUSV$OB_IO_CALIBRATION_STATUS 视图确认 I/O 校准状态。

SELECT * FROM oceanbase.V$OB_IO_CALIBRATION_STATUS;

输出结果如下:

obclient(root@sys)[(none)]> SELECT * FROM oceanbase.V$OB_IO_CALIBRATION_STATUS;
+-------------+----------+--------------+--------+----------------------------+----------------------------+
| SVR_IP      | SVR_PORT | STORAGE_NAME | STATUS | START_TIME                 | FINISH_TIME                |
+-------------+----------+--------------+--------+----------------------------+----------------------------+
| 10.43.51.60 |     2882 | DATA         | READY  | 2025-09-19 11:29:20.116176 | 2025-09-19 11:31:02.650231 |
+-------------+----------+--------------+--------+----------------------------+----------------------------+
1 row in set (0.036 sec)

磁盘 I/O 校准状态分为以下几种:

  • NOT AVAILABLE :表示未开始 I/O 校准。
  • IN PROGRESS :表示正在进行 I/O 校准。
  • READY :表示 I/O 校准已完成。
  • FAILED :表示 I/O 校准执行失败。

从查询结果可知,STATUS 字段的值为 IN PROGRESS ,表示正在进行磁盘 I/O 校准。待磁盘 I/O 校准完成后,STATUS 字段的值会变成 READY ,表示磁盘校准已完成,同时 FINISH_TIME 字段中会显示完成时间。

确认磁盘 I/O 校准是否生效

待磁盘 I/O 校准完成后,通过 V$OB_IO_BENCHMARK 视图确认磁盘 I/O 校准是否生效。

select * from oceanbase.V$OB_IO_BENCHMARK;

输出结果如下:

obclient(root@sys)[(none)]> select * from oceanbase.V$OB_IO_BENCHMARK;
+-------------+----------+--------------+-------+---------+-------+------+---------+
| SVR_IP      | SVR_PORT | STORAGE_NAME | MODE  | SIZE    | IOPS  | MBPS | LATENCY |
+-------------+----------+--------------+-------+---------+-------+------+---------+
| 10.43.51.60 |     2882 | DATA         | READ  |    4096 | 58996 |  230 |     276 |
| 10.43.51.60 |     2882 | DATA         | READ  |    8192 | 53694 |  419 |     304 |
| 10.43.51.60 |     2882 | DATA         | READ  |   16384 | 47960 |  749 |     333 |
| 10.43.51.60 |     2882 | DATA         | READ  |   32768 | 42279 | 1321 |     385 |
| 10.43.51.60 |     2882 | DATA         | READ  |   65536 | 25485 | 1592 |     631 |
| 10.43.51.60 |     2882 | DATA         | READ  |  131072 | 12457 | 1557 |    1287 |
......

将租户的 MAX_IOPS 和 MIN_IOPS 配置为有效值

说明:如果在创建租户所使用的 Unit 规格时,已将 MAX_IOPSMIN_IOPS 设置为 16 KB 读对应的 IOPS 值,或者,不需要控制 IOPS 的资源隔离,请忽略本步骤。

完成磁盘校准后,在配置资源隔离计划前,需要保证租户的资源规格中 MAX_IOPSMIN_IOPS 的值为有效值,这里的有效值指的是以 16 KB 读对应的 IOPS 值作为租户 IOPS 配置的参考值。

查看待进行资源隔离的租户的资源规格

SELECT * FROM oceanbase.DBA_OB_UNIT_CONFIGS;

输出结果如下:

obclient(root@sys)[(none)]> SELECT * FROM oceanbase.DBA_OB_UNIT_CONFIGS;
+----------------+--------------------+----------------------------+----------------------------+---------+---------+-------------+---------------+---------------------+---------------------+-------------+
| UNIT_CONFIG_ID | NAME               | CREATE_TIME                | MODIFY_TIME                | MAX_CPU | MIN_CPU | MEMORY_SIZE | LOG_DISK_SIZE | MAX_IOPS            | MIN_IOPS            | IOPS_WEIGHT |
+----------------+--------------------+----------------------------+----------------------------+---------+---------+-------------+---------------+---------------------+---------------------+-------------+
|              1 | sys_unit_config    | 2025-06-16 17:12:20.916675 | 2025-06-16 17:12:20.916675 |       3 |       3 |  2147483648 |    2147483648 | 9223372036854775807 | 9223372036854775807 |           3 |
|           1002 | oracle_tenant_unit | 2025-06-17 18:52:31.184843 | 2025-06-17 18:52:31.184843 |       1 |       1 |  2147483648 |    6442450944 |               10000 |               10000 |           1 |
+----------------+--------------------+----------------------------+----------------------------+---------+---------+-------------+---------------+---------------------+---------------------+-------------+
2 rows in set (0.023 sec)

根据查询结果,如果该租户的 MAX_IOPSMIN_IOPS 均为默认值 INT64_MAX (9223372036854775807),则需要对租户可使用的 IOPS 资源重新进行规划。

查看租户id

use oceanbase
select * from dba_ob_tenants ;

输出信息如下:

obclient(root@sys)[(none)]> use oceanbase
Database changed
obclient(root@sys)[oceanbase]> select * from dba_ob_tenants ;
+-----------+---------------+-------------+----------------------------+----------------------------+-------------------+---------------------------------------------+-------------------+--------------------+--------+---------------+--------+-------------+-------------------+------------------+---------------------+---------------------+---------------------+---------------------+--------------+----------------------------+----------+------------+-----------+
| TENANT_ID | TENANT_NAME   | TENANT_TYPE | CREATE_TIME                | MODIFY_TIME                | PRIMARY_ZONE      | LOCALITY                                    | PREVIOUS_LOCALITY | COMPATIBILITY_MODE | STATUS | IN_RECYCLEBIN | LOCKED | TENANT_ROLE | SWITCHOVER_STATUS | SWITCHOVER_EPOCH | SYNC_SCN            | REPLAYABLE_SCN      | READABLE_SCN        | RECOVERY_UNTIL_SCN  | LOG_MODE     | ARBITRATION_SERVICE_STATUS | UNIT_NUM | COMPATIBLE | MAX_LS_ID |
+-----------+---------------+-------------+----------------------------+----------------------------+-------------------+---------------------------------------------+-------------------+--------------------+--------+---------------+--------+-------------+-------------------+------------------+---------------------+---------------------+---------------------+---------------------+--------------+----------------------------+----------+------------+-----------+
|         1 | sys           | SYS         | 2025-06-16 17:12:20.944405 | 2025-06-16 17:12:20.944405 | RANDOM            | FULL{1}@zone1, FULL{1}@zone2, FULL{1}@zone3 | NULL              | MYSQL              | NORMAL | NO            | NO     | PRIMARY     | NORMAL            |                0 |                NULL |                NULL |                NULL |                NULL | NOARCHIVELOG | DISABLED                   |        1 | 4.3.1.0    |         1 |
|      1005 | META$1006     | META        | 2025-06-17 18:57:41.858963 | 2025-06-17 18:58:15.518730 | zone1,zone2,zone3 | FULL{1}@zone1, FULL{1}@zone2, FULL{1}@zone3 | NULL              | MYSQL              | NORMAL | NO            | NO     | PRIMARY     | NORMAL            |                0 |                NULL |                NULL |                NULL |                NULL | NOARCHIVELOG | DISABLED                   |        1 | 4.3.1.0    |         1 |
|      1006 | oracle_tenant | USER        | 2025-06-17 18:57:41.860025 | 2025-06-17 18:58:15.590459 | zone1,zone2,zone3 | FULL{1}@zone1, FULL{1}@zone2, FULL{1}@zone3 | NULL              | ORACLE             | NORMAL | NO            | NO     | PRIMARY     | NORMAL            |                0 | 1758257904783336000 | 1758257904783336000 | 1758257904783336000 | 4611686018427387903 | NOARCHIVELOG | DISABLED                   |        1 | 4.3.1.0    |      1003 |
+-----------+---------------+-------------+----------------------------+----------------------------+-------------------+---------------------------------------------+-------------------+--------------------+--------+---------------+--------+-------------+-------------------+------------------+---------------------+---------------------+---------------------+---------------------+--------------+----------------------------+----------+------------+-----------+
3 rows in set (0.043 sec)

确认租户部署在哪些 OBServer 节点上

SELECT DISTINCT SVR_IP, SVR_PORT FROM oceanbase.CDB_OB_LS_LOCATIONS WHERE tenant_id = 1006;

输出结果如下:

+--------------+----------+
| SVR_IP       | SVR_PORT |
+--------------+----------+
| 10.43.139.79 |     2882 |
| 10.43.231.92 |     2882 |
| 10.43.51.60  |     2882 |
+--------------+----------+
3 rows in set (0.005 sec)

确认待进行资源隔离的租户所在的 OBServer 节点上的磁盘校准值

执行以下命令,确认待进行资源隔离的租户所在的 OBServer 节点上的磁盘校准值,使用 16 KB 读的磁盘校准值作为该节点 IOPS 设置的上限值。

SELECT * FROM oceanbase.GV$OB_IO_BENCHMARK WHERE MODE='READ' AND SIZE=16384;

输出结果如下:

+--------------+----------+--------------+------+-------+-------+------+---------+
| SVR_IP       | SVR_PORT | STORAGE_NAME | MODE | SIZE  | IOPS  | MBPS | LATENCY |
+--------------+----------+--------------+------+-------+-------+------+---------+
| 10.43.51.60  |     2882 | DATA         | READ | 16384 | 57813 |  903 |     278 |
| 10.43.139.79 |     2882 | DATA         | READ | 16384 | 57277 |  894 |     279 |
| 10.43.231.92 |     2882 | DATA         | READ | 16384 | 59569 |  930 |     270 |
+--------------+----------+--------------+------+-------+-------+------+---------+
3 rows in set (0.006 sec)

根据查询结果,将获取到的各节点的磁盘校准值作为上限值来规划租户可用的 IOPS 。由于集群内可能有多个租户部署在相同的 OBServer 节点 ,您可以需要根据业务实际情况来分配这些 IOPS。

假设某集群下有两个租户,且两个租户都部署在相同的 OBServer 节点上,每个 OBServer 节点的 16 KB 读的磁盘 IOPS 基准值均相同,为 20000 IOPS,同时,预计两个租户的负载差不多,则可以将 20000 IOPS 平分给两个租户(具体可根据实际业务情况来为租户划分可用的 IOPS),即每个租户的 MAX_IOPSMIN_IOPS 均配置为 10000,也可以根据业务考虑,将 MIN_IOPS 设置为小于 MAX_IOPS 的某个值。可以执行以下命令,修改租户的 MAX_IOPSMIN_IOPS 值。

查询当前 Oracle 租户对应的 unit

SELECT a.UNIT_CONFIG_ID, a.NAME AS UNIT_NAME, b.NAME AS POOL_NAME FROM oceanbase.DBA_OB_UNIT_CONFIGS a,oceanbase.DBA_OB_RESOURCE_POOLS b WHERE b.UNIT_CONFIG_ID=a.UNIT_CONFIG_ID;

输出结果如下:

+----------------+--------------------+--------------------+
| UNIT_CONFIG_ID | UNIT_NAME          | POOL_NAME          |
+----------------+--------------------+--------------------+
|              1 | sys_unit_config    | sys_pool           |
|           1002 | oracle_tenant_unit | oracle_tenant_pool |
+----------------+--------------------+--------------------+
2 rows in set (0.004 sec)

修改租户的 MAX_IOPSMIN_IOPS

ALTER RESOURCE UNIT oracle_tenant_unit MAX_IOPS = 35000;

ALTER RESOURCE UNIT oracle_tenant_unit MIN_IOPS = 30000;

修改后, 执行 exit 退出数据库。

配置资源隔离计划

tp_user 用户、ap_user 用户分别绑定在 big_groupsmall_group 2 个资源组上,再通过资源管理计划 plan_a 来控制不同用户使用不同的 CPU 资源和 IOPS 资源。

连接集群

使用 sys 用户登录 obcluster 集群的 oracle_tenant 租户。

obclient -h127.0.0.1 -P2883 -usys@oracle_tenant#obcluster -A 

创建资源隔离所需的 2 个资源组

调用 DBMS_RESOURCE_MANAGER 系统包中的 CREATE_CONSUMER_GROUP 子程序创建资源隔离所需的 2 个资源组。

obclient [SYS]> delimiter //

obclient [SYS]> BEGIN DBMS_RESOURCE_MANAGER.CREATE_CONSUMER_GROUP(
consumer_group => 'big_group' ,
COMMENT => 'TP'
);
END; //

obclient [SYS]> BEGIN DBMS_RESOURCE_MANAGER.CREATE_CONSUMER_GROUP(
consumer_group => 'small_group' ,
COMMENT => 'AP'
);
END; //

参数说明如下:

  • CONSUMER_GROUP :定义资源组名称。
  • COMMENT :填写资源组的备注信息。

创建成功后,可以查询 DBA_RSRC_CONSUMER_GROUPS 视图进行确认。

 select * from DBA_RSRC_CONSUMER_GROUPS//

输出结果如下:

+-------------------+----------------+------------+-------------+--------------+----------+----------+--------+-----------+
| CONSUMER_GROUP_ID | CONSUMER_GROUP | CPU_METHOD | MGMT_METHOD | INTERNAL_USE | COMMENTS | CATEGORY | STATUS | MANDATORY |
+-------------------+----------------+------------+-------------+--------------+----------+----------+--------+-----------+
|             10000 | BIG_GROUP      | NULL       | NULL        | NULL         | TP       | NULL     | NULL   | NULL      |
|             10001 | SMALL_GROUP    | NULL       | NULL        | NULL         | AP       | NULL     | NULL   | NULL      |
+-------------------+----------------+------------+-------------+--------------+----------+----------+--------+-----------+
2 rows in set (0.017 sec)

创建资源管理计划

调用 DBMS_RESOURCE_MANAGER 系统包中的 CREATE_PLAN 子程序,创建资源管理计划。

obclient [SYS]> BEGIN DBMS_RESOURCE_MANAGER.CREATE_PLAN(
PLAN => 'plan_a');
END; //

参数说明如下:

  • PLAN :定义资源管理计划名称。
  • COMMENT :填写资源管理计划的备注信息。

创建成功后,可以查询 DBA_RSRC_PLANS 视图进行确认。

select * from DBA_RSRC_PLANS//

输出结果如下:

obclient(SYS@oracle_tenant)[SYS]> select * from DBA_RSRC_PLANS//
+---------+--------+---------------------+------------+-------------+----------------------+---------------------------+-------------+----------+----------+--------+-----------+
| PLAN_ID | PLAN   | NUM_PLAN_DIRECTIVES | CPU_METHOD | MGMT_METHOD | ACTIVE_SESS_POOL_MTH | PARALLEL_DEGREE_LIMIT_MTH | QUEUING_MTH | SUB_PLAN | COMMENTS | STATUS | MANDATORY |
+---------+--------+---------------------+------------+-------------+----------------------+---------------------------+-------------+----------+----------+--------+-----------+
|    NULL | PLAN_A |                NULL | NULL       | NULL        | NULL                 | NULL                      | NULL        | NULL     | NULL     | NULL   | NULL      |
+---------+--------+---------------------+------------+-------------+----------------------+---------------------------+-------------+----------+----------+--------+-----------+
1 row in set (0.013 sec)

创建资源管理计划对应的资源管理计划内容

调用 DBMS_RESOURCE_MANAGER 系统包中的 CREATE_PLAN_DIRECTIVE 子程序,创建资源管理计划对应的资源管理计划内容,用于启用资源管理计划时,限制资源组所使用的 CPU 资源和 IOPS 资源。

obclient [SYS]> BEGIN DBMS_RESOURCE_MANAGER.CREATE_PLAN_DIRECTIVE(
PLAN => 'plan_a',
GROUP_OR_SUBPLAN => 'big_group',
COMMENT  => 'TP 优先',
MGMT_P1 => 90,
UTILIZATION_LIMIT =>60,
MIN_IOPS => 20,
MAX_IOPS => 100,
WEIGHT_IOPS => 20);
END; //

obclient [SYS]> BEGIN DBMS_RESOURCE_MANAGER.CREATE_PLAN_DIRECTIVE(
PLAN => 'plan_a',
GROUP_OR_SUBPLAN => 'small_group' ,
COMMENT  => 'AP 优先',
MGMT_P1 => 100,
UTILIZATION_LIMIT =>40,
MIN_IOPS => 10,
MAX_IOPS => 90,
WEIGHT_IOPS => 30);
END; //

参数说明如下:

  • PLAN :指定该资源管理计划内容所关联的资源管理计划名。
  • GROUP_OR_SUBPLAN :指定资源组。
  • COMMENT :填写资源管理计划内容的备注信息,默认值为 NULL
  • MGMT_P1 :指定系统满负载情况下,承诺分配给本资源组的 CPU 占比。默认值为 100
  • UTILIZATION_LIMIT :指定资源组使用的 CPU 资源的上限。该参数的默认值为 100 ,取值范围为 [0, 100]。100 表示最大可使用租户全部 CPU 资源。如果取值为 40 则表示最大可使用租户 40% 的 CPU 资源。
  • MIN_IOPS :用于出现 IO 争用时,资源组预留的 IOPS 资源,总和不超过 100,默认值为 0
  • MAX_IOPS :用于指定资源组最大可使用的 IOPS 资源,总和可以超过 100,默认值为 100
  • WEIGHT_IOPS :用于指定 IOPS 的权重值,总和可以超过100,默认值为 0

创建成功,查询 DBA_OB_RSRC_IO_DIRECTIVES 视图进行确认。

select * from DBA_OB_RSRC_IO_DIRECTIVES//

输出结果如下:

obclient(SYS@oracle_tenant)[SYS]> select * from DBA_OB_RSRC_IO_DIRECTIVES//
+--------+------------------+-----------+----------+----------+-------------+
| PLAN   | GROUP_OR_SUBPLAN | COMMENTS  | MIN_IOPS | MAX_IOPS | WEIGHT_IOPS |
+--------+------------------+-----------+----------+----------+-------------+
| PLAN_A | BIG_GROUP        | TP 优先   |       20 |      100 |          20 |
| PLAN_A | SMALL_GROUP      | AP 优先   |       10 |       90 |          30 |
+--------+------------------+-----------+----------+----------+-------------+
2 rows in set (0.012 sec)

创建用户级资源隔离匹配规则

调用 DBMS_RESOURCE_MANAGER 系统包中的 SET_CONSUMER_GROUP_MAPPING 子程序,根据实际使用场景,创建用户级资源隔离匹配规则。

obclient [SYS]> BEGIN DBMS_RESOURCE_MANAGER.SET_CONSUMER_GROUP_MAPPING(
ATTRIBUTE => 'user',
VALUE => 'tp_user',
CONSUMER_GROUP => 'big_group');
END; //

obclient [SYS]> BEGIN DBMS_RESOURCE_MANAGER.SET_CONSUMER_GROUP_MAPPING(
ATTRIBUTE => 'user',
VALUE => 'ap_user',
CONSUMER_GROUP => 'small_group');
END; //

obclient [SYS]>delimiter ;

参数说明如下:

  • ATTRIBUTE :指定属性类型,column 表示 SQL 级资源隔离,user 表示用户级 user 资源隔离,function 表示用户级 function 资源隔离,属性名称不区分大小写。
  • VALUE :指定属性值,指定用户名即可。当前仅支持指定一个用户。

为资源组启用合适的资源管理计划

由于不同的资源管理计划中,同一个资源组被限制的资源可能不同。需要为资源组启用合适的资源管理计划。

ALTER SYSTEM SET resource_manager_plan = 'plan_a';

说明:如果不需要对资源进行限制,可以使用 ALTER SYSTEM SET resource_manager_plan = ''; 语句禁用所有资源计划。

1 个赞

:hand_with_index_finger_and_thumb_crossed::hand_with_index_finger_and_thumb_crossed:

感谢分享!!