From 7267e447d6f7b5b1277192f6328b8765643bf3a0 Mon Sep 17 00:00:00 2001 From: Frank945946 Date: Thu, 7 Nov 2024 12:05:41 +0800 Subject: [PATCH 01/11] Update tidb-roadmap.md --- tidb-roadmap.md | 354 ++++++------------------------------------------ 1 file changed, 42 insertions(+), 312 deletions(-) diff --git a/tidb-roadmap.md b/tidb-roadmap.md index cc5e3fa3db64..661528ada823 100644 --- a/tidb-roadmap.md +++ b/tidb-roadmap.md @@ -9,320 +9,50 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版 在开发过程中，路线图可能会根据用户需求和反馈进行调整，请不要根据路线图的内容制定上线计划。如果你有功能需求，或者想提高某个特性的优先级，请在 [GitHub](https://github.com/pingcap/tidb/issues) 上提交 issue。 +> **注意：** +> 没有被注明 GA 的特性，均为实验特性。 + ## TiDB 重要特性规划 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
类别2024 年底 LTS 版本2025 年中 LTS 版本未来版本
- 可扩展性与性能
增强性能 - 		-
    -
  • - TiKV 数据缓存
    - TiKV 在内存中维护数据的最近版本，以减少对多版本数据的重复扫描，进而提升性能。 -
    • -
    -
  • - 分区表全局索引
    -
    • -
    -
  • - 自动配置统计信息收集的并行度
    - TiDB 根据部署的节点数量和硬件规格自动配置统计信息收集任务的并行度和扫描并发度，提升收集速度。 -
    • -
    -
  • - 加速数据库恢复
    - 缩短全量数据库恢复和 Point-in-time recovery (PITR) 所需的时间。 -
    • -
    -
  • - 支持不限大小的事务
    - 未提交事务所处理的数据量不再受限于 TiDB 节点可用内存大小，提高事务和批量任务的成功率。 -
    • -
    -
  • - TiProxy 根据负载转发流量
    - TiProxy 依据目标 TiDB 节点的负载情况对流量进行转发，以充分利用硬件资源。 -
    • -
- 		-
    -
  • - PD 的 heartbeat 微服务化
    - PD 的 heartbeat 可以独立部署和单独扩展，避免 PD 成为集群的资源瓶颈。 -
    • -
    -
  • - 减少统计信息收集时的 I/O 消耗
    - 在进行统计信息收集时，可以选择在 TiKV 上仅扫描部分数据样本，以减少统计信息收集所消耗的时间和资源。 -
    • -
    -
  • - 移除将 Limit 算子下推到 TiKV 的已知限制
    -
    • -
    -
  • - Cascades 优化器框架
    - 引入更成熟强大的优化器框架，扩展当前优化器的基础能力。 -
    • -
    -
  • - 单个 DM 任务在全量迁移时达到每秒 150 MiB
    -
    • -
    -
  • - 增强 DDL 执行框架
    - 提供可扩展的并行 DDL 执行框架，提升 DDL 的性能和稳定性。 -
    • -
- 		-
    -
  • - 表级别的负载均衡
    - PD 根据每个表上各 Region 的负载情况决定数据的调度策略。 -
    • -
  • - 提升大数据量系统表的处理性能
    - 当系统表中存在大量数据时，提升查询系统表的性能，降低查询开销。 -
    • -
-
- 稳定性与高可用 -
提升可靠性 - 		-
    -
  • - 限制备份任务的内存消耗
    -
    • -
    -
  • - 限制统计信息收集的内存消耗
    -
    • -
    -
  • - 管理大量的 SQL Binding
    - 提升 SQL Binding 的使用体验，方便用户创建和管理大量的执行计划，以稳定数据库性能。 -
    • -
    -
  • - 资源组增强对复杂 SQL 的控制
    - 在复杂 SQL 执行完成前，定期评估其 Request Unit (RU) 消耗，防止其在执行期间对整个系统产生过大的影响。 -
    • -
    -
  • - 自动为资源消耗超出预期的查询切换资源组
    - 当一个查询被识别为 Runaway Query，用户可以选择将其调整至特定资源组，并设置资源消耗的上限。 -
    • -
- 		-
    -
  • - 限制表元信息的内存消耗
    - 提升大规模集群的稳定性。 -
    • -
    -
  • - 分布式统计信息收集
    - 统计信息收集支持在多个 TiDB 节点上并行进行，提升收集效率。 -
    • -
    -
  • - 多版本统计信息
    - 当统计信息被更新后，用户可以查看统计信息的历史版本，并能够选择恢复到过去某个版本的统计信息。 -
    • -
    -
  • - 更可靠的数据备份
    - 减少数据备份过程中可能出现的内存不足等问题，并确保备份数据的可用性。 -
    • -
    -
  • - 常用算子均可落盘
    - HashAgg、Sort、TopN、HashJoin、WindowFunction、IndexJoin 和 IndexHashJoin 等常用算子均可落盘，进一步降低 OOM 风险。 -
    • -
- 		-
    -
  • - 自适应资源组
    - 资源组根据过往的运行情况自动调整资源组的 RU 设定。 -
    • -
    -
  • - 强化内存保护
    - TiDB 主动监控所有模块的内存使用情况，阻止可能影响系统稳定性的内存操作。 -
    • -
    -
  • - 实例级执行计划缓存
    - 同一个 TiDB 实例的所有会话可以共享执行计划缓存，提升内存利用率。 -
    • -
-
- 数据库管理与可观测性 -
增强数据库可管理性及其生态系统 - 		-
    -
  • - 可靠的查询终止
    - 正在运行中的 SQL 语句能够被立即终止，并从 TiDB 和 TiKV 中释放相应的资源。 -
    • -
    -
  • - 切换资源组的权限控制 -
    只有被授予特定权限的用户才能切换自身的资源组，防止资源被滥用。 -
    • -
    -
  • - 支持查看表或 SQL 与热点 Region 的关系 -
    • -
    -
  • - IMPORT INTO 支持逻辑导入 -
    • -
    -
- 		-
    -
  • - 细粒度定制统计信息收集策略 -
    用户可以修改特定表的统计信息收集策略，例如健康度和并行度。 -
    • -
    -
  • - Workload Repository -
    TiDB 持久化内存中记录的负载信息，包括累计统计数据和实时统计数据，有助于故障排查和分析。 -
    • -
    -
  • - 自动索引推荐 -
    TiDB 自动分析可以优化的 SQL 语句，并建议创建新索引或删除已有索引。 -
    • -
    -
  • - 支持修改分区表的列类型 -
    用户可以修改分区中列的类型，无论该列是否为分区键。 -
    • -
    -
  • - 设置 IMPORT INTO 的冲突策略 -
    用户可以为导入数据时出现的冲突设置解决策略，例如报错退出、忽略或替换。 -
    • -
    -
  • - 全链路监控 -
    跟踪单条 SQL 语句在整个生命周期中的时间消耗，包括 TiDB、TiKV、PD 和 TiFlash。 -
    • -
- 		-
    -
  • - 负载分析 -
    分析 Workload Repository 中的过往负载数据，根据分析结果提出优化建议，例如 SQL 调优和统计信息收集策略调整。 -
    • -
    -
  • - 支持修改主键 -
    • -
    -
  • - 支持将数据导出为 SQL 语句 -
    • -
    -
-
- 安全 -
增强数据安全与隐私保护 - 		-
    -
  • - Google Cloud KMS -
    完善静态加密基于 Google Cloud KMS 的密钥管理机制，使其成为正式功能。 -
    • -
    -
  • - 完善动态权限 -
    完善动态权限设计，限制 Super 权限的实现。 -
    • -
    -
  • - 基于标记的日志脱敏 -
    支持在集群日志中标记敏感数据，然后根据使用场景选择是否对这些敏感信息进行脱敏。 -
    • -
    -
  • - FIPS -
    加密场景符合 FIPS 标准。 -
    • -
- 		-
    -
  • - 支持 AWS IAM 认证 -
    TiDB 作为 AWS 第三方 ARN，用于 AWS IAM 访问。 -
    • -
    -
  • - Kerberos -
    支持基于 Kerberos 的身份认证。 -
    • -
  • - MFA -
    支持多因素身份认证机制。 -
    • -
- 		-
    -
  • - 基于标签的访问控制 -
    支持通过配置标签的方式，以标签形式对数据进行访问控制。 -
    • -
    -
  • - 增强客户端加密 -
    支持客户端对关键字段进行加密，增强数据安全性。 -
    • -
    -
  • - 业务数据动态脱敏 -
    基于不同数据应用场景的数据脱敏，保证重要领域的数据安全。 -
    • -
-
+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
类别2024 年底版本2025 年中版本未来版本
可扩展性与性能
提供更强的扩展能力和更快的性能，支持超大规模的工作负载，优化资源利用，提升集群性能。
TiKV 数据缓存
TiKV 在内存中维护数据的最近版本，减少对多版本数据的反复扫描，进而提升性能。
自动配置统计信息收集的并行度(GA)
TiDB 根据部署的节点数以及硬件规格自动设置统计信息收集的任务并行度和扫描并发度，提升收集速度。
加速数据库恢复
缩短全量数据库恢复和 Point-in-time recovery (PITR) 所需的时间。
支持不限大小的事务
未提交事务所处理的数据量，不再依赖 TiDB 节点的可用内存大小。提升事务及批量任务的成功率。
TiProxy 根据负载转发流量(GA)
TiProxy 依据目标 TiDB 的负载对流量进行转发，以此充分利用硬件资源。
PD 的路由功能微服务化
实现路由服务（Region 元数据的访问、更新）在 PD 中的独立部署，路由服务完全改造为无状态服务（无强领导者）、易于扩展，避免 PD 成为集群资源瓶颈。
减少统计信息收集时的 I/O 消耗(GA)
当抽取部分数据样本做统计信息收集时，TiKV上只扫描样本，以减少统计信息收集所消耗的时间和资源。
移除将Limit 算子下推到 TiKV 的已知限制
Cascades optimizer
引入更成熟强大的优化器框架，扩展当前优化的基础能力。
增强 DDL 执行框架
提供可扩展的并行 DDL 执行框架，提升 DDL 的性能和稳定性。
增强 TiCDC 的扩展性
推出新的 TiCDC 架构，提升 TiCDC 的扩展性以及性能。
表级别的负载均衡
PD 根据每个表上各 region 的负载决定数据的调度策略。
处理大数据量的系统表
当系统表中存有大量数据时，提升查询系统表的查询性能。
增强区域元数据存储的可扩展性
增强 Region 元数据存储的可扩展性。将Region 元数据存储从 PD 迁移到 TiKV，存储层可以轻松实现无限制的扩展。
SQL 功能
前沿的 SQL 功能，提升了兼容性、灵活性和易用性，助力复杂查询和现代应用的高效运行。
支持向量搜索功能
支持向量数据类型、向量索引及高性能向量搜索能力，同时具备向量和关系数据混合查询能力。
外键成为正式功能（GA）
分区表全局索引成为正式功能（GA）
解除分区表唯一键必须包含分区建的限制，提升分区表非分区列的查询性能。		支持修改分区表的列类型
用户可以修改分区中列的类型，无论是否是分区键。
支持物化视图
支持物化视图功能，改进预处理能力，优化计算效率，进一步提升数据分析性能。
稳定性与高可用
确保持续运行，提升系统容错能力，为用户提供稳定可靠的使用体验。
限制备份任务的内存消耗
限制统计信息收集的内存消耗（GA）
管理大量的 SQL Binding（GA）
提升 SQL Binding 的使用体验，鼓励用户创建和管理大量的执行计划，以稳定数据库性能。
资源组增强对复杂 SQL 的控制（GA）
在复杂 SQL 完成前间歇性衡量它的 RU 消耗，避免它在执行期间对整个系统的产生过大影响。
自动切换超预期查询的资源组（GA）
当一个查询被认定为 runaway query，用户可以选择将其置入一个特定资源组，为其资源消耗设置上限。
限制表元信息的内存消耗（GA）
减小大规模集群下表的元信息对内存的消耗，提升大规模集群的稳定性。
更可靠的数据备份
减少数据备份过程中可能出现的内存不足等问题，并确保备份数据的可用性。
常用算子均可落盘
HashAgg、Sort、TopN、HashJoin、WindowFunction、IndexJoin 和 IndexHashJoin 等常用算子均可落盘，进一步降低 OOM 风险。
实例级执行计划缓存 （GA）
同一个 TiDB 实例的所有会话可以共享执行计划缓存，提升内存利用率。
资源组优先满足限额内定义的用量(RU) （GA）
动态管调整 Burstable 资源组使用的资源上限。在不影响其他资源组限额的情况下，充分利用剩余资源。
自适应资源组
资源组根据过往的运行情况自动调整资源组的 RU 设定。
强化的内存保护
TiDB 主动对所有模块的内存使用进行监控，阻止一切可能影响系统稳定的内存操作。
自动 SQL 绑定
通过对 SQL 运行指标的收集和分析，对一部分执行计划自动创建绑定，提升 TP 类系统的执行计划稳定性。
多版本统计信息
当统计信息被更新后，用户可以查看统计信息的过往版本，并能够选择恢复过去某个版本的统计信息。
分布式统计信息收集
统计信息收集支持在多个 TiDB 节点上并行进行，提升收集效率。
数据库管理与可观测性
通过主动监控和管理，确保系统平稳运行。		可靠地终止操作（GA）
正在运行中的 SQL 语句能够被立即终止，并从 TiDB 和 TiKV 中释放相应的资源。
切换资源组的权限控制（GA）
只有被授予特定权限的用户，才可以切换自身的资源组，防止资源被滥用。
增加对 TiDB 和 TiKV CPU 时间的观测（GA）
在 statements 记录、慢日志中增加 TiDB 和 TiKV CPU 时间的指标，方便快速定位 造成 TiDB 或者 TiKV CPU 飙升的语句。
细粒度定制统计信息收集策略（GA）
用户可以针对特定表修改统计信息收集的策略，比如健康度。
Workload Repository（GA）
TiDB 持久化内存中记录的负载信息，包括累计统计数据和实时统计数据，有助于故障排查和分析。
自动索引推荐（GA）
TiDB 自动分析有优化价值的 SQL，推荐创建新索引或删除已有索引。
标准时间模型（GA）
对 SQL 的运行时间进行标准化定义，以此为基础定义数据库负载。 通过观测 statements 记录、慢日志、 聚合的集群指标，用户能够准确发现产生异常负载的节点及 SQL。
增加对 TiFlash CPU 时间的观测（GA）
在 statements 记录、慢日志中增加 TiFlash CPU 时间的指标，方便快速定位 造成 TiFlash CPU 飙升的语句。		负载分析
分析 Workload Repository 中的过往负载数据，根据分析结果提出优化建议，例如 SQL 调优和统计信息收集策略调整。
全链路监控
跟踪单条 SQL 语句在其运行的整个生命周期的时间消耗，包括 TiDB， PD，TiKV 和 TiFlash。
安全
增强数据安全与隐私保护
Google Cloud KMS（GA）
完善静态加密基于 Google Cloud KMS 的密钥管理机制，使其成为正式功能。
Azure Key Vault
基于 Azure Key Vault 增强静态加密的密钥管理机制。
基于标记的日志脱敏
支持在集群日志中标记敏感信息，然后可以根据使用场景决定是否对其进行脱敏。
列级权限管理（GA）
支持兼容 MySQL 的列级权限管理机制。

AWS 的 IAM 认证
TiDB 作为 AWS 第三方 ARN 以访问 AWS IAM。
Kerberos 认证（GA）
支持基于 Kerberos 的身份验证。
MFA
增加对多因素认证的支持，增强用户对多因素认证机制的验证。
组件之间的 TLS 改进（GA）
确保 TiDB 集群的所有组件之间的连接支持加密传输。
完善动态权限
完善动态权限设计，限制 Super 权限的实现。
FIPS （GA）
加密场景符合 FIPS 标准。		基于标签的访问控制机制
支持通过配置标签的方式，通过标签形式对数据进行访问控制。
增强的客户端加密
支持客户端对关键字段加密，增强数据安全性。
业务数据动态脱敏
基于不同数据应用场景的数据脱敏，保证重要领域的数据安全。
> **注意：** > From 070a2d6a207e91d37b3cd5715eb4846186263240 Mon Sep 17 00:00:00 2001 From: Frank945946 Date: Mon, 11 Nov 2024 16:59:12 +0800 Subject: [PATCH 02/11] Update tidb-roadmap.md --- tidb-roadmap.md | 388 +++++++++++++++++++++++++++++++++++++++++++----- 1 file changed, 350 insertions(+), 38 deletions(-) diff --git a/tidb-roadmap.md b/tidb-roadmap.md index 661528ada823..8f498bcf7520 100644 --- a/tidb-roadmap.md +++ b/tidb-roadmap.md @@ -10,49 +10,361 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版 在开发过程中，路线图可能会根据用户需求和反馈进行调整，请不要根据路线图的内容制定上线计划。如果你有功能需求，或者想提高某个特性的优先级，请在 [GitHub](https://github.com/pingcap/tidb/issues) 上提交 issue。 > **注意：** +> > 没有被注明 GA 的特性，均为实验特性。 ## TiDB 重要特性规划 - - - - - - - +
类别2024 年底版本2025 年中版本未来版本
+ + + + + + + + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
+
类别
+		 +
2024 年底版本
+		 +
2025 年中版本
+		 +
未来版本
+
可扩展性与性能
提供更强的扩展能力和更快的性能，支持超大规模的工作负载，优化资源利用，提升集群性能。
TiKV 数据缓存
TiKV 在内存中维护数据的最近版本，减少对多版本数据的反复扫描，进而提升性能。
自动配置统计信息收集的并行度(GA)
TiDB 根据部署的节点数以及硬件规格自动设置统计信息收集的任务并行度和扫描并发度，提升收集速度。
加速数据库恢复
缩短全量数据库恢复和 Point-in-time recovery (PITR) 所需的时间。
支持不限大小的事务
未提交事务所处理的数据量，不再依赖 TiDB 节点的可用内存大小。提升事务及批量任务的成功率。
TiProxy 根据负载转发流量(GA)
TiProxy 依据目标 TiDB 的负载对流量进行转发，以此充分利用硬件资源。
PD 的路由功能微服务化
实现路由服务（Region 元数据的访问、更新）在 PD 中的独立部署，路由服务完全改造为无状态服务（无强领导者）、易于扩展，避免 PD 成为集群资源瓶颈。
减少统计信息收集时的 I/O 消耗(GA)
当抽取部分数据样本做统计信息收集时，TiKV上只扫描样本，以减少统计信息收集所消耗的时间和资源。
移除将Limit 算子下推到 TiKV 的已知限制
Cascades optimizer
引入更成熟强大的优化器框架，扩展当前优化的基础能力。
增强 DDL 执行框架
提供可扩展的并行 DDL 执行框架，提升 DDL 的性能和稳定性。
增强 TiCDC 的扩展性
推出新的 TiCDC 架构，提升 TiCDC 的扩展性以及性能。
表级别的负载均衡
PD 根据每个表上各 region 的负载决定数据的调度策略。
处理大数据量的系统表
当系统表中存有大量数据时，提升查询系统表的查询性能。
增强区域元数据存储的可扩展性
增强 Region 元数据存储的可扩展性。将Region 元数据存储从 PD 迁移到 TiKV，存储层可以轻松实现无限制的扩展。
SQL 功能
前沿的 SQL 功能，提升了兼容性、灵活性和易用性，助力复杂查询和现代应用的高效运行。
支持向量搜索功能
支持向量数据类型、向量索引及高性能向量搜索能力，同时具备向量和关系数据混合查询能力。
外键成为正式功能（GA）
分区表全局索引成为正式功能（GA）
解除分区表唯一键必须包含分区建的限制，提升分区表非分区列的查询性能。		支持修改分区表的列类型
用户可以修改分区中列的类型，无论是否是分区键。
支持物化视图
支持物化视图功能，改进预处理能力，优化计算效率，进一步提升数据分析性能。
稳定性与高可用
确保持续运行，提升系统容错能力，为用户提供稳定可靠的使用体验。
限制备份任务的内存消耗
限制统计信息收集的内存消耗（GA）
管理大量的 SQL Binding（GA）
提升 SQL Binding 的使用体验，鼓励用户创建和管理大量的执行计划，以稳定数据库性能。
资源组增强对复杂 SQL 的控制（GA）
在复杂 SQL 完成前间歇性衡量它的 RU 消耗，避免它在执行期间对整个系统的产生过大影响。
自动切换超预期查询的资源组（GA）
当一个查询被认定为 runaway query，用户可以选择将其置入一个特定资源组，为其资源消耗设置上限。
限制表元信息的内存消耗（GA）
减小大规模集群下表的元信息对内存的消耗，提升大规模集群的稳定性。
更可靠的数据备份
减少数据备份过程中可能出现的内存不足等问题，并确保备份数据的可用性。
常用算子均可落盘
HashAgg、Sort、TopN、HashJoin、WindowFunction、IndexJoin 和 IndexHashJoin 等常用算子均可落盘，进一步降低 OOM 风险。
实例级执行计划缓存 （GA）
同一个 TiDB 实例的所有会话可以共享执行计划缓存，提升内存利用率。
资源组优先满足限额内定义的用量(RU) （GA）
动态管调整 Burstable 资源组使用的资源上限。在不影响其他资源组限额的情况下，充分利用剩余资源。
自适应资源组
资源组根据过往的运行情况自动调整资源组的 RU 设定。
强化的内存保护
TiDB 主动对所有模块的内存使用进行监控，阻止一切可能影响系统稳定的内存操作。
自动 SQL 绑定
通过对 SQL 运行指标的收集和分析，对一部分执行计划自动创建绑定，提升 TP 类系统的执行计划稳定性。
多版本统计信息
当统计信息被更新后，用户可以查看统计信息的过往版本，并能够选择恢复过去某个版本的统计信息。
分布式统计信息收集
统计信息收集支持在多个 TiDB 节点上并行进行，提升收集效率。
数据库管理与可观测性
通过主动监控和管理，确保系统平稳运行。		可靠地终止操作（GA）
正在运行中的 SQL 语句能够被立即终止，并从 TiDB 和 TiKV 中释放相应的资源。
切换资源组的权限控制（GA）
只有被授予特定权限的用户，才可以切换自身的资源组，防止资源被滥用。
增加对 TiDB 和 TiKV CPU 时间的观测（GA）
在 statements 记录、慢日志中增加 TiDB 和 TiKV CPU 时间的指标，方便快速定位 造成 TiDB 或者 TiKV CPU 飙升的语句。
细粒度定制统计信息收集策略（GA）
用户可以针对特定表修改统计信息收集的策略，比如健康度。
Workload Repository（GA）
TiDB 持久化内存中记录的负载信息，包括累计统计数据和实时统计数据，有助于故障排查和分析。
自动索引推荐（GA）
TiDB 自动分析有优化价值的 SQL，推荐创建新索引或删除已有索引。
标准时间模型（GA）
对 SQL 的运行时间进行标准化定义，以此为基础定义数据库负载。 通过观测 statements 记录、慢日志、 聚合的集群指标，用户能够准确发现产生异常负载的节点及 SQL。
增加对 TiFlash CPU 时间的观测（GA）
在 statements 记录、慢日志中增加 TiFlash CPU 时间的指标，方便快速定位 造成 TiFlash CPU 飙升的语句。		负载分析
分析 Workload Repository 中的过往负载数据，根据分析结果提出优化建议，例如 SQL 调优和统计信息收集策略调整。
全链路监控
跟踪单条 SQL 语句在其运行的整个生命周期的时间消耗，包括 TiDB， PD，TiKV 和 TiFlash。
安全
增强数据安全与隐私保护
Google Cloud KMS（GA）
完善静态加密基于 Google Cloud KMS 的密钥管理机制，使其成为正式功能。
Azure Key Vault
基于 Azure Key Vault 增强静态加密的密钥管理机制。
基于标记的日志脱敏
支持在集群日志中标记敏感信息，然后可以根据使用场景决定是否对其进行脱敏。
列级权限管理（GA）
支持兼容 MySQL 的列级权限管理机制。

AWS 的 IAM 认证
TiDB 作为 AWS 第三方 ARN 以访问 AWS IAM。
Kerberos 认证（GA）
支持基于 Kerberos 的身份验证。
MFA
增加对多因素认证的支持，增强用户对多因素认证机制的验证。
组件之间的 TLS 改进（GA）
确保 TiDB 集群的所有组件之间的连接支持加密传输。
完善动态权限
完善动态权限设计，限制 Super 权限的实现。
FIPS （GA）
加密场景符合 FIPS 标准。		基于标签的访问控制机制
支持通过配置标签的方式，通过标签形式对数据进行访问控制。
增强的客户端加密
支持客户端对关键字段加密，增强数据安全性。
业务数据动态脱敏
基于不同数据应用场景的数据脱敏，保证重要领域的数据安全。
+ + +
可扩展性与性能
+
提供更强的扩展能力和更快的性能，支持超大规模的工作负载，优化资源利用，提升集群性能。
+
 
+ + + +
 
+ + + +
 
+ + + +
 
+ + + + +
SQL 功能
+
前沿的 SQL 功能，提升了兼容性、灵活性和易用性，助力复杂查询和现代应用的高效运行。
+
 
+ + + + + + +
 
+ + + +
 
+ + + + +
稳定性与高可用
+
确保持续运行，提升系统容错能力，为用户提供稳定可靠的使用体验。
+
 
+ + + +
 
+ + + +
 
+ + + + + + + +
数据库管理与可观测性
+
通过主动监控和管理，确保系统平稳运行。
+ + + +
 
+ + + + + + +
 
+ + + + +
安全
+
增强数据安全与隐私保护
+
 
+ + + +
 
+
 
+ + + + + + +
 
+ + + + > **注意：** > From 8f2d989c43a2902b60ddb07ff62e1dbe7cd8791e Mon Sep 17 00:00:00 2001 From: houfaxin Date: Wed, 13 Nov 2024 10:37:34 +0800 Subject: [PATCH 03/11] refined format --- tidb-roadmap.md | 682 +++++++++++++++++++++++------------------------- 1 file changed, 328 insertions(+), 354 deletions(-) diff --git a/tidb-roadmap.md b/tidb-roadmap.md index 8f498bcf7520..aa5a20808234 100644 --- a/tidb-roadmap.md +++ b/tidb-roadmap.md @@ -11,361 +11,335 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版 > **注意：** > -> 没有被注明 GA 的特性，均为实验特性。 +> - 没有注明 GA (Generally Available) 的特性，均为实验特性。 +> - 下表中并未列出所有计划发布的内容。 +> - 不同的服务订阅版本中的功能可能有所不同。 ## TiDB 重要特性规划 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
-
类别
-		 -
2024 年底版本
-		 -
2025 年中版本
-		 -
未来版本
-
-
可扩展性与性能
-
提供更强的扩展能力和更快的性能，支持超大规模的工作负载，优化资源利用，提升集群性能。
-
 
-		 -
    -
  • -
    TiKV 数据缓存
    -
    TiKV 在内存中维护数据的最近版本，减少对多版本数据的反复扫描，进而提升性能。
    -
    • -
  • -
    自动配置统计信息收集的并行度(GA)
    -
    TiDB 根据部署的节点数以及硬件规格自动设置统计信息收集的任务并行度和扫描并发度，提升收集速度。
    -
    • -
  • -
    加速数据库恢复
    -
    缩短全量数据库恢复和 Point-in-time recovery (PITR) 所需的时间。
    -
    • -
  • -
    支持不限大小的事务
    -
    未提交事务所处理的数据量，不再依赖 TiDB 节点的可用内存大小。提升事务及批量任务的成功率。
    -
    • -
  • -
    TiProxy 根据负载转发流量(GA)
    -
    TiProxy 依据目标 TiDB 的负载对流量进行转发，以此充分利用硬件资源.
    -
    • -
-
 
-		 -
    -
  • -
    PD 的路由功能微服务化
    -
    实现路由服务（Region 元数据的访问、更新）在 PD 中的独立部署，路由服务完全改造为无状态服务（无强领导者）、易于扩展，避免 PD 成为集群资源瓶颈。
    -
    • -
  • -
    减少统计信息收集时的 I/O 消耗(GA)
    -
    当抽取部分数据样本做统计信息收集时，TiKV上只扫描样本，以减少统计信息收集所消耗的时间和资源。
    -
    • -
  • -
    移除将Limit 算子下推到 TiKV 的已知限制
    -
    • -
  • -
    Cascades optimizer
    -
    引入更成熟强大的优化器框架，扩展当前优化的基础能力。
    -
    • -
  • -
    增强 DDL 执行框架
    -
    提供可扩展的并行 DDL 执行框架，提升 DDL 的性能和稳定性。
    -
    • -
  • -
    增强 TiCDC 的扩展性
    -
    推出新的 TiCDC 架构，提升 TiCDC 的扩展性以及性能。
    -
    • -
-
 
-		 -
    -
  • -
    表级别的负载均衡
    -
    PD 根据每个表上各 region 的负载决定数据的调度策略。
    -
    • -
  • -
    处理大数据量的系统表
    -
    当系统表中存有大量数据时，提升查询系统表的查询性能。
    -
    • -
  • -
    增强区域元数据存储的可扩展性
    -
    增强 Region 元数据存储的可扩展性。将Region 元数据存储从 PD 迁移到 TiKV，存储层可以轻松实现无限制的扩展。
    -
    • -
-
 
-
-
SQL 功能
-
前沿的 SQL 功能，提升了兼容性、灵活性和易用性，助力复杂查询和现代应用的高效运行。
-
 
-		 -
    -
  • -
    支持向量搜索功能
    -
    支持向量数据类型、向量索引及高性能向量搜索能力，同时具备向量和关系数据混合查询能力。
    -
    • -
  • -
    外键成为正式功能（GA）
    -
    • -
  • -
    分区表全局索引成为正式功能（GA）
    -
    解除分区表唯一键必须包含分区建的限制，提升分区表非分区列的查询性能
    -
    • -
-		 -
    -
  • -
    支持修改分区表的列类型
    -
    用户可以修改分区中列的类型，无论是否是分区键。
    -
    • -
-
 
-		 -
    -
  • -
    支持物化视图
    -
    支持物化视图功能，改进预处理能力，优化计算效率，进一步提升数据分析性能
    -
    • -
-
 
-
-
稳定性与高可用
-
确保持续运行，提升系统容错能力，为用户提供稳定可靠的使用体验。
-
 
-		 -
    -
  • -
    限制备份任务的内存消耗
    -
    • -
  • -
    限制统计信息收集的内存消耗（GA）
    -
    • -
  • -
    管理大量的 SQL Binding（GA）
    -
    提升 SQL Binding 的使用体验，鼓励用户创建和管理大量的执行计划，以稳定数据库性能。
    -
    • -
  • -
    资源组增强对复杂 SQL 的控制（GA）
    -
    在复杂 SQL 完成前间歇性衡量它的 RU 消耗，避免它在执行期间对整个系统的产生过大影响。
    -
    • -
  • -
    自动切换超预期查询的资源组（GA）
    -
    当一个查询被认定为 runaway query，用户可以选择将其置入一个特定资源组，为其资源消耗设置上限。
    -
    • -
  • -
    限制表元信息的内存消耗（GA）
    -
    减小大规模集群下表的元信息对内存的消耗，提升大规模集群的稳定性。
    -
    • -
-
 
-		 -
    -
  • -
    更可靠的数据备份
    -
    减少数据备份过程中可能出现的内存不足等问题，并确保备份数据的可用性。
    -
    • -
  • -
    常用算子均可落盘
    -
    HashAgg、Sort、TopN、HashJoin、WindowFunction、IndexJoin 和 IndexHashJoin 等常用算子均可落盘，进一步降低 OOM 风险。
    -
    • -
  • -
    实例级执行计划缓存 （GA）
    -
    同一个 TiDB 实例的所有会话可以共享执行计划缓存，提升内存利用率。
    -
    • -
  • -
    资源组优先满足限额内定义的用量(RU) （GA）
    -
    动态管调整 Burstable 资源组使用的资源上限。在不影响其他资源组限额的情况下，充分利用剩余资源。
    -
    • -
-
 
-		 -
    -
  • -
    自适应资源组
    -
    资源组根据过往的运行情况自动调整资源组的 RU 设定。
    -
    • -
  • -
    强化的内存保护
    -
    TiDB 主动对所有模块的内存使用进行监控，阻止一切可能影响系统稳定的内存操作。
    -
    • -
  • -
    自动 SQL 绑定
    -
    通过对 SQL 运行指标的收集和分析，对一部分执行计划自动创建绑定，提升 TP 类系统的执行计划稳定性。
    -
    • -
  • -
    多版本统计信息
    -
    当统计信息被更新后，用户可以查看统计信息的过往版本，并能够选择恢复过去某个版本的统计信息。
    -
    • -
  • -
    分布式统计信息收集
    -
    统计信息收集支持在多个 TiDB 节点上并行进行，提升收集效率。
    -
    • -
-
-
数据库管理与可观测性
-
通过主动监控和管理，确保系统平稳运行。
-		 -
    -
  • -
    可靠地终止操作（GA）
    -
    正在运行中的 SQL 语句能够被立即终止，并从 TiDB 和 TiKV 中释放相应的资源。
    -
    • -
  • -
    切换资源组的权限控制（GA）
    -
    只有被授予特定权限的用户，才可以切换自身的资源组，防止资源被滥用。
    -
    • -
  • -
    增加对 TiDB 和 TiKV CPU 时间的观测（GA）
    -
    在 statements 记录、慢日志中增加 TiDB 和 TiKV CPU 时间的指标，方便快速定位 造成 TiDB 或者 TiKV CPU 飙升的语句。
    -
    • -
-
 
-		 -
    -
  • -
    细粒度定制统计信息收集策略（GA）
    -
    用户可以针对特定表修改统计信息收集的策略，比如健康度。
    -
    • -
  • -
    Workload Repository（GA）
    -
    TiDB 持久化内存中记录的负载信息，包括累计统计数据和实时统计数据，有助于故障排查和分析。
    -
    • -
  • -
    自动索引推荐（GA）
    -
    TiDB 自动分析有优化价值的 SQL，推荐创建新索引或删除已有索引。
    -
    • -
  • -
    标准时间模型（GA）
    -
    对 SQL 的运行时间进行标准化定义，以此为基础定义数据库负载。 通过观测 statements 记录、慢日志、 聚合的集群指标，用户能够准确发现产生异常负载的节点及 SQL。
    -
    • -
  • -
    增加对 TiFlash CPU 时间的观测（GA）
    -
    在 statements 记录、慢日志中增加 TiFlash CPU 时间的指标，方便快速定位 造成 TiFlash CPU 飙升的语句。
    -
    • -
-		 -
    -
  • -
    负载分析
    -
    分析 Workload Repository 中的过往负载数据，根据分析结果提出优化建议，例如 SQL 调优和统计信息收集策略调整。
    -
    • -
  • -
    全链路监控
    -
    跟踪单条 SQL 语句在其运行的整个生命周期的时间消耗，包括 TiDB， PD，TiKV 和 TiFlash。
    -
    • -
-
 
-
-
安全
-
增强数据安全与隐私保护
-
 
-		 -
    -
  • -
    Google Cloud KMS（GA）
    -
    完善静态加密基于 Google Cloud KMS 的密钥管理机制，使其成为正式功能。
    -
    • -
  • -
    Azure Key Vault
    -
    基于 Azure Key Vault 增强静态加密的密钥管理机制。
    -
    • -
  • -
    基于标记的日志脱敏
    -
    支持在集群日志中标记敏感信息，然后可以根据使用场景决定是否对其进行脱敏。
    -
    • -
  • -
    列级权限管理（GA）
    -
    支持兼容 MySQL 的列级权限管理机制。
    -
    • -
-
 
-
 
-		 -
    -
  • -
    AWS 的 IAM 认证
    -
    TiDB 作为 AWS 第三方 ARN 以访问 AWS IAM。
    -
    • -
  • -
    Kerberos 认证（GA）
    -
    支持基于 Kerberos 的身份验证。
    -
    • -
  • -
    MFA
    -
    增加对多因素认证的支持，增强用户对多因素认证机制的验证。
    -
    • -
  • -
    组件之间的 TLS 改进（GA）
    -
    确保 TiDB 集群的所有组件之间的连接支持加密传输。
    -
    • -
  • -
    完善动态权限
    -
    完善动态权限设计，限制 Super 权限的实现。
    -
    • -
  • -
    FIPS （GA）
    -
    加密场景符合 FIPS 标准。
    -
    • -
-		 -
    -
  • -
    基于标签的访问控制机制
    -
    支持通过配置标签的方式，通过标签形式对数据进行访问控制
    -
    • -
  • -
    增强的客户端加密
    -
    支持客户端对关键字段加密，增强数据安全性
    -
    • -
  • -
    业务数据动态脱敏
    -
    基于不同数据应用场景的数据脱敏，保证重要领域的数据安全
    -
    • -
-
 
-
+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
类别2024 年底版本2025 年中版本未来版本
+ 可扩展性与性能 +
提供更强的扩展能力和更快的性能，支持超大规模的工作负载，优化资源利用，提升集群性能。 + 		+
    +
  • + TiKV 数据缓存 +
    TiKV 在内存中维护数据的最近版本，减少对多版本数据的反复扫描，进而提升性能。 +
    • +
  • + 自动配置统计信息收集的并行度(GA) +
    TiDB 根据部署的节点数以及硬件规格自动设置统计信息收集的任务并行度和扫描并发度，提升收集速度。 +
    • +
  • + 加速数据库恢复 +
    缩短全量数据库恢复和 Point-in-time recovery (PITR) 所需的时间。 +
    • +
  • + 支持不限大小的事务 +
    未提交事务所处理的数据量，不再依赖 TiDB 节点的可用内存大小。提升事务及批量任务的成功率。 +
    • +
  • + TiProxy 根据负载转发流量(GA) +
    TiProxy 依据目标 TiDB 的负载对流量进行转发，以此充分利用硬件资源. +
    • +
+ 		+
    +
  • + PD 的路由功能微服务化 +
    实现路由服务（Region 元数据的访问、更新）在 PD 中的独立部署，路由服务完全改造为无状态服务（无强领导者）、易于扩展，避免 PD 成为集群资源瓶颈。 +
    • +
  • + 减少统计信息收集时的 I/O 消耗 (GA) +
    当抽取部分数据样本收集统计信息时，TiKV 上仅扫描样本，以减少统计信息收集所消耗的时间和资源。 +
    • +
  • + 移除将 Limit 算子下推到 TiKV 的已知限制 +
    • +
  • + Cascades optimizer +
    引入更成熟强大的优化器框架，扩展当前优化的基础能力。 +
    • +
  • + 增强 DDL 执行框架 +
    提供可扩展的并行 DDL 执行框架，提升 DDL 的性能和稳定性。 +
    • +
  • + 增强 TiCDC 的扩展性 +
    推出新的 TiCDC 架构，提升 TiCDC 的扩展性以及性能。 +
    • +
+ 		+
    +
  • + 表级别的负载均衡 +
    PD 根据每个表上各 Region 的负载决定数据的调度策略。 +
    • +
  • + 处理大数据量的系统表 +
    当系统表中存有大量数据时，提升查询系统表的查询性能。 +
    • +
  • + 增强区域元数据存储的可扩展性 +
    增强 Region 元数据存储的可扩展性。将 Region 元数据存储从 PD 迁移到 TiKV，存储层可以轻松实现无限制的扩展。 +
    • +
+
+ SQL 功能 +
前沿的 SQL 功能，提升了兼容性、灵活性和易用性，助力复杂查询和现代应用的高效运行。 + 		+
    +
  • + 支持向量搜索功能 +
    支持向量数据类型、向量索引及高性能向量搜索能力，同时具备向量和关系数据混合查询能力。 +
    • +
  • + 外键成为正式功能 (GA) +
    • +
  • + 分区表全局索引成为正式功能 (GA) +
    解除分区表唯一键必须包含分区建的限制，提升分区表非分区列的查询性能。 +
    • +
+ 		+
    +
  • + 支持修改分区表的列类型 +
    你可以修改分区中列的类型，无论是否为分区键。 +
    • +
+ 		+
    +
  • + 支持物化视图 +
    支持物化视图功能，改进预处理能力，优化计算效率，进一步提升数据分析性能。 +
    • +
+
+ 稳定性与高可用 +
确保持续运行，提升系统容错能力，为用户提供稳定可靠的使用体验。 + 		+
    +
  • + 限制备份任务的内存消耗 +
    • +
  • + 限制统计信息收集的内存消耗 (GA) +
    • +
  • + 管理大量的 SQL Binding (GA) +
    提升 SQL Binding 的使用体验，鼓励用户创建和管理大量的执行计划，以稳定数据库性能。 +
    • +
  • + 资源组增强对复杂 SQL 的控制 (GA) +
    在复杂 SQL 完成前，间歇性衡量 SQL 的 RU 消耗，避免在 SQL 执行期间对整个系统的产生过大影响。 +
    • +
  • + 自动切换超预期查询的资源组 (GA) +
    当一个查询被认定为 Runaway Query，你可以选择将其置入一个特定资源组，为其资源消耗设置上限。 +
    • +
  • + 限制表元信息的内存消耗 (GA) +
    减少大规模集群下表的元信息对内存的消耗，提升大规模集群的稳定性。 +
    • +
+ 		+
    +
  • + 更可靠的数据备份 +
    减少数据备份过程中可能出现的内存不足等问题，并确保备份数据的可用性。 +
    • +
  • + 常用算子均可落盘 +
    HashAgg、Sort、TopN、HashJoin、WindowFunction、IndexJoin 和 IndexHashJoin 等常用算子均可落盘，进一步降低 OOM 风险。 +
    • +
  • + 实例级执行计划缓存 (GA) +
    同一个 TiDB 实例的所有会话可以共享执行计划缓存，提升内存利用率。 +
    • +
  • + 资源组优先满足限额内定义的用量(RU) (GA) +
    动态管调整 Burstable 资源组使用的资源上限。在不影响其他资源组限额的情况下，充分利用剩余资源。 +
    • +
+ 		+
    +
  • + 自适应资源组 +
    资源组根据过往的运行情况自动调整资源组的 RU 设定。 +
    • +
  • + 强化的内存保护 +
    TiDB 主动对所有模块的内存使用进行监控，阻止一切可能影响系统稳定性的内存操作。 +
    • +
  • + 自动 SQL 绑定 +
    通过对 SQL 运行指标的收集和分析，对一部分执行计划自动创建绑定，提升 TP 类系统的执行计划稳定性。 +
    • +
  • + 多版本统计信息 +
    当统计信息被更新后，用户可以查看统计信息的过往版本，并能够选择恢复过去某个版本的统计信息。 +
    • +
  • + 分布式统计信息收集 +
    统计信息收集支持在多个 TiDB 节点上并行进行，提升收集效率。 +
    • +
+
+ 数据库管理与可观测性 +
通过主动监控和管理，确保系统平稳运行。 + 		+
    +
  • + 可靠地终止操作 (GA) +
    正在运行中的 SQL 语句能够被立即终止，并从 TiDB 和 TiKV 中释放相应的资源。 +
    • +
  • + 切换资源组的权限控制 (GA) +
    只有被授予特定权限的用户，才可以切换自身的资源组，防止资源被滥用。 +
    • +
  • + 增加对 TiDB 和 TiKV CPU 时间的观测 (GA) +
    在 statements 记录、慢日志中增加 TiDB 和 TiKV CPU 时间的指标，方便快速定位造成 TiDB 或者 TiKV CPU 飙升的语句。 +
    • +
+ 		+
    +
  • + 细粒度定制统计信息收集策略 (GA) +
    用户可以针对特定表修改统计信息收集的策略，比如健康度。 +
    • +
  • + Workload Repository (GA) +
    TiDB 持久化内存中记录的负载信息，包括累计统计数据和实时统计数据，有助于故障排查和分析。 +
    • +
  • + 自动索引推荐 (GA) +
    TiDB 自动分析有优化价值的 SQL，推荐创建新索引或删除已有索引。 +
    • +
  • + 标准时间模型 (GA) +
    对 SQL 的运行时间进行标准化定义，以此为基础定义数据库负载。通过观测 statements 记录、慢日志、聚合的集群指标，用户能够准确发现产生异常负载的节点及 SQL。 +
    • +
  • + 增加对 TiFlash CPU 时间的观测 (GA) +
    在 statements 记录、慢日志中增加 TiFlash CPU 时间的指标，方便快速定位造成 TiFlash CPU 飙升的语句。 +
    • +
+ 		+
    +
  • + 负载分析 +
    分析 Workload Repository 中的过往负载数据，根据分析结果提出优化建议，例如 SQL 调优和统计信息收集策略调整。 +
    • +
  • + 全链路监控 +
    跟踪单条 SQL 语句在其运行的整个生命周期的时间消耗，包括 TiDB、PD、TiKV 和 TiFlash。 +
    • +
+
+ 安全 +
增强数据安全与隐私保护 + 		+
    +
  • + Google Cloud KMS (GA) +
    完善静态加密基于 Google Cloud KMS 的密钥管理机制，使其成为正式功能。 +
    • +
  • + Azure Key Vault +
    基于 Azure Key Vault 增强静态加密的密钥管理机制。 +
    • +
  • + 基于标记的日志脱敏 +
    支持在集群日志中标记敏感信息，然后可以根据使用场景决定是否对其进行脱敏。 +
    • +
  • + 列级权限管理 (GA) +
    支持兼容 MySQL 的列级权限管理机制。 +
    • +
+ 		+
    +
  • + AWS 的 IAM 认证 +
    TiDB 作为 AWS 第三方 ARN 以访问 AWS IAM。 +
    • +
  • + Kerberos 认证 (GA) +
    支持基于 Kerberos 的身份验证。 +
    • +
  • + MFA +
    增加对多因素认证的支持，增强用户对多因素认证机制的验证。 +
    • +
  • + 组件之间的 TLS 改进 (GA) +
    确保 TiDB 集群的所有组件之间的连接支持加密传输。 +
    • +
  • + 完善动态权限 +
    完善动态权限设计，限制 Super 权限的实现。 +
    • +
  • + FIPS (GA) +
    加密场景符合 FIPS 标准。 +
    • +
+ 		+
    +
  • + 基于标签的访问控制机制 +
    支持通过配置标签的方式，通过标签形式对数据进行访问控制。 +
    • +
  • + 增强的客户端加密 +
    支持客户端对关键字段加密，增强数据安全性。 +
    • +
  • + 业务数据动态脱敏 +
    基于不同数据应用场景的数据脱敏，保证重要领域的数据安全。 +
    • +
+
- -> **注意：** -> -> 上述表格中并未列出所有计划发布的内容。另外，不同的服务订阅版本中的功能可能有所不同。 \ No newline at end of file From 0844b4baf17eb5c034b9ab2665c7719f5638a5aa Mon Sep 17 00:00:00 2001 From: xixirangrang Date: Wed, 13 Nov 2024 11:04:47 +0800 Subject: [PATCH 04/11] Update tidb-roadmap.md --- tidb-roadmap.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tidb-roadmap.md b/tidb-roadmap.md index aa5a20808234..5283b0e19ef3 100644 --- a/tidb-roadmap.md +++ b/tidb-roadmap.md @@ -26,7 +26,7 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版 未来版本 - + 可扩展性与性能 From 9904cfca39f2f30ee3ff458632348be520c18673 Mon Sep 17 00:00:00 2001 From: houfaxin Date: Wed, 13 Nov 2024 11:11:07 +0800 Subject: [PATCH 05/11] Update tidb-roadmap.md --- tidb-roadmap.md | 57 +++++++++++++++++++++++++++++++++++++++++++++++++ 1 file changed, 57 insertions(+) diff --git a/tidb-roadmap.md b/tidb-roadmap.md index aa5a20808234..ee310392d808 100644 --- a/tidb-roadmap.md +++ b/tidb-roadmap.md @@ -38,22 +38,27 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版 TiKV 数据缓存
TiKV 在内存中维护数据的最近版本，减少对多版本数据的反复扫描，进而提升性能。 +
  • 自动配置统计信息收集的并行度(GA)
    TiDB 根据部署的节点数以及硬件规格自动设置统计信息收集的任务并行度和扫描并发度，提升收集速度。
    • +
  • 加速数据库恢复
    缩短全量数据库恢复和 Point-in-time recovery (PITR) 所需的时间。
    • +
  • 支持不限大小的事务
    未提交事务所处理的数据量，不再依赖 TiDB 节点的可用内存大小。提升事务及批量任务的成功率。
    • +
  • TiProxy 根据负载转发流量(GA)
    TiProxy 依据目标 TiDB 的负载对流量进行转发，以此充分利用硬件资源.
    • +
    @@ -62,25 +67,31 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版 PD 的路由功能微服务化
    实现路由服务（Region 元数据的访问、更新）在 PD 中的独立部署，路由服务完全改造为无状态服务（无强领导者）、易于扩展，避免 PD 成为集群资源瓶颈。 +
  • 减少统计信息收集时的 I/O 消耗 (GA)
    当抽取部分数据样本收集统计信息时，TiKV 上仅扫描样本，以减少统计信息收集所消耗的时间和资源。
    • +
  • 移除将 Limit 算子下推到 TiKV 的已知限制
    • +
  • Cascades optimizer
    引入更成熟强大的优化器框架，扩展当前优化的基础能力。
    • +
  • 增强 DDL 执行框架
    提供可扩展的并行 DDL 执行框架，提升 DDL 的性能和稳定性。
    • +
  • 增强 TiCDC 的扩展性
    推出新的 TiCDC 架构，提升 TiCDC 的扩展性以及性能。
    • +
    @@ -89,14 +100,17 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版 表级别的负载均衡
    PD 根据每个表上各 Region 的负载决定数据的调度策略。 +
  • 处理大数据量的系统表
    当系统表中存有大量数据时，提升查询系统表的查询性能。
    • +
  • 增强区域元数据存储的可扩展性
    增强 Region 元数据存储的可扩展性。将 Region 元数据存储从 PD 迁移到 TiKV，存储层可以轻松实现无限制的扩展。
    • +
    @@ -111,13 +125,16 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版 支持向量搜索功能
    支持向量数据类型、向量索引及高性能向量搜索能力，同时具备向量和关系数据混合查询能力。 +
  • 外键成为正式功能 (GA)
    • +
  • 分区表全局索引成为正式功能 (GA)
    解除分区表唯一键必须包含分区建的限制，提升分区表非分区列的查询性能。
    • +
    @@ -126,6 +143,7 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版 支持修改分区表的列类型
    你可以修改分区中列的类型，无论是否为分区键。 +
    @@ -134,6 +152,7 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版 支持物化视图
    支持物化视图功能，改进预处理能力，优化计算效率，进一步提升数据分析性能。 +
    @@ -147,25 +166,31 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版
  • 限制备份任务的内存消耗
    • +
  • 限制统计信息收集的内存消耗 (GA)
    • +
  • 管理大量的 SQL Binding (GA)
    提升 SQL Binding 的使用体验，鼓励用户创建和管理大量的执行计划，以稳定数据库性能。
    • +
  • 资源组增强对复杂 SQL 的控制 (GA)
    在复杂 SQL 完成前，间歇性衡量 SQL 的 RU 消耗，避免在 SQL 执行期间对整个系统的产生过大影响。
    • +
  • 自动切换超预期查询的资源组 (GA)
    当一个查询被认定为 Runaway Query，你可以选择将其置入一个特定资源组，为其资源消耗设置上限。
    • +
  • 限制表元信息的内存消耗 (GA)
    减少大规模集群下表的元信息对内存的消耗，提升大规模集群的稳定性。
    • +
    @@ -174,18 +199,22 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版 更可靠的数据备份
    减少数据备份过程中可能出现的内存不足等问题，并确保备份数据的可用性。 +
  • 常用算子均可落盘
    HashAgg、Sort、TopN、HashJoin、WindowFunction、IndexJoin 和 IndexHashJoin 等常用算子均可落盘，进一步降低 OOM 风险。
    • +
  • 实例级执行计划缓存 (GA)
    同一个 TiDB 实例的所有会话可以共享执行计划缓存，提升内存利用率。
    • +
  • 资源组优先满足限额内定义的用量(RU) (GA)
    动态管调整 Burstable 资源组使用的资源上限。在不影响其他资源组限额的情况下，充分利用剩余资源。
    • +
    @@ -194,22 +223,27 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版 自适应资源组
    资源组根据过往的运行情况自动调整资源组的 RU 设定。 +
  • 强化的内存保护
    TiDB 主动对所有模块的内存使用进行监控，阻止一切可能影响系统稳定性的内存操作。
    • +
  • 自动 SQL 绑定
    通过对 SQL 运行指标的收集和分析，对一部分执行计划自动创建绑定，提升 TP 类系统的执行计划稳定性。
    • +
  • 多版本统计信息
    当统计信息被更新后，用户可以查看统计信息的过往版本，并能够选择恢复过去某个版本的统计信息。
    • +
  • 分布式统计信息收集
    统计信息收集支持在多个 TiDB 节点上并行进行，提升收集效率。
    • +
    @@ -224,14 +258,17 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版 可靠地终止操作 (GA)
    正在运行中的 SQL 语句能够被立即终止，并从 TiDB 和 TiKV 中释放相应的资源。 +
  • 切换资源组的权限控制 (GA)
    只有被授予特定权限的用户，才可以切换自身的资源组，防止资源被滥用。
    • +
  • 增加对 TiDB 和 TiKV CPU 时间的观测 (GA)
    在 statements 记录、慢日志中增加 TiDB 和 TiKV CPU 时间的指标，方便快速定位造成 TiDB 或者 TiKV CPU 飙升的语句。
    • +
    @@ -240,22 +277,27 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版 细粒度定制统计信息收集策略 (GA)
    用户可以针对特定表修改统计信息收集的策略，比如健康度。 +
  • Workload Repository (GA)
    TiDB 持久化内存中记录的负载信息，包括累计统计数据和实时统计数据，有助于故障排查和分析。
    • +
  • 自动索引推荐 (GA)
    TiDB 自动分析有优化价值的 SQL，推荐创建新索引或删除已有索引。
    • +
  • 标准时间模型 (GA)
    对 SQL 的运行时间进行标准化定义，以此为基础定义数据库负载。通过观测 statements 记录、慢日志、聚合的集群指标，用户能够准确发现产生异常负载的节点及 SQL。
    • +
  • 增加对 TiFlash CPU 时间的观测 (GA)
    在 statements 记录、慢日志中增加 TiFlash CPU 时间的指标，方便快速定位造成 TiFlash CPU 飙升的语句。
    • +
    @@ -264,10 +306,12 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版 负载分析
    分析 Workload Repository 中的过往负载数据，根据分析结果提出优化建议，例如 SQL 调优和统计信息收集策略调整。 +
  • 全链路监控
    跟踪单条 SQL 语句在其运行的整个生命周期的时间消耗，包括 TiDB、PD、TiKV 和 TiFlash。
    • +
    @@ -282,18 +326,22 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版 Google Cloud KMS (GA)
    完善静态加密基于 Google Cloud KMS 的密钥管理机制，使其成为正式功能。 +
  • Azure Key Vault
    基于 Azure Key Vault 增强静态加密的密钥管理机制。
    • +
  • 基于标记的日志脱敏
    支持在集群日志中标记敏感信息，然后可以根据使用场景决定是否对其进行脱敏。
    • +
  • 列级权限管理 (GA)
    支持兼容 MySQL 的列级权限管理机制。
    • +
    @@ -302,26 +350,32 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版 AWS 的 IAM 认证
    TiDB 作为 AWS 第三方 ARN 以访问 AWS IAM。 +
  • Kerberos 认证 (GA)
    支持基于 Kerberos 的身份验证。
    • +
  • MFA
    增加对多因素认证的支持，增强用户对多因素认证机制的验证。
    • +
  • 组件之间的 TLS 改进 (GA)
    确保 TiDB 集群的所有组件之间的连接支持加密传输。
    • +
  • 完善动态权限
    完善动态权限设计，限制 Super 权限的实现。
    • +
  • FIPS (GA)
    加密场景符合 FIPS 标准。
    • +
    @@ -330,14 +384,17 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版 基于标签的访问控制机制
    支持通过配置标签的方式，通过标签形式对数据进行访问控制。 +
  • 增强的客户端加密
    支持客户端对关键字段加密，增强数据安全性。
    • +
  • 业务数据动态脱敏
    基于不同数据应用场景的数据脱敏，保证重要领域的数据安全。
    • +
    From f82a67340efabad0c5038165bd4eb813ca879037 Mon Sep 17 00:00:00 2001 From: xixirangrang Date: Wed, 13 Nov 2024 13:54:42 +0800 Subject: [PATCH 06/11] Update tidb-roadmap.md --- tidb-roadmap.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tidb-roadmap.md b/tidb-roadmap.md index 15c5dc6873ab..73802d64b033 100644 --- a/tidb-roadmap.md +++ b/tidb-roadmap.md @@ -11,7 +11,7 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版 > **注意：** > -> - 没有注明 GA (Generally Available) 的特性，均为实验特性。 +> - 未注明 GA (Generally Available) 的特性，均为实验特性。 > - 下表中并未列出所有计划发布的内容。 > - 不同的服务订阅版本中的功能可能有所不同。 From 360856a292c31f92ed6cdffa63626755de3a8f67 Mon Sep 17 00:00:00 2001 From: xixirangrang Date: Thu, 14 Nov 2024 14:41:30 +0800 Subject: [PATCH 07/11] Apply suggestions from code review --- tidb-roadmap.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/tidb-roadmap.md b/tidb-roadmap.md index 73802d64b033..4760fb3cd9b0 100644 --- a/tidb-roadmap.md +++ b/tidb-roadmap.md @@ -40,13 +40,13 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版
  • - 自动配置统计信息收集的并行度(GA) + 自动配置统计信息收集的并行度 (GA)
    TiDB 根据部署的节点数以及硬件规格自动设置统计信息收集的任务并行度和扫描并发度，提升收集速度。

  • 加速数据库恢复 -
    缩短全量数据库恢复和 Point-in-time recovery (PITR) 所需的时间。 +
    缩短全量数据库恢复和 Point in Time Recovery (PITR) 所需的时间。

  • From 2e040a90299d6a0dcd66adde768a88f1d8fdc7cb Mon Sep 17 00:00:00 2001 From: houfaxin Date: Thu, 14 Nov 2024 14:56:06 +0800 Subject: [PATCH 08/11] Update tidb-roadmap.md --- tidb-roadmap.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/tidb-roadmap.md b/tidb-roadmap.md index 4760fb3cd9b0..f44fba4c7bd0 100644 --- a/tidb-roadmap.md +++ b/tidb-roadmap.md @@ -107,8 +107,8 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版

  • - 增强区域元数据存储的可扩展性 -
    增强 Region 元数据存储的可扩展性。将 Region 元数据存储从 PD 迁移到 TiKV，存储层可以轻松实现无限制的扩展。 + 增增强 Region 元数据存储的可扩展性 +
    将 Region 元数据存储从 PD 迁移到 TiKV，存储层可以轻松实现无限制的扩展。

    • From 5c12dff7c7cbdf17378790999349b18095d99075 Mon Sep 17 00:00:00 2001 From: houfaxin Date: Thu, 14 Nov 2024 15:30:02 +0800 Subject: [PATCH 09/11] Update tidb-roadmap.md --- tidb-roadmap.md | 16 +++++++++------- 1 file changed, 9 insertions(+), 7 deletions(-) diff --git a/tidb-roadmap.md b/tidb-roadmap.md index f44fba4c7bd0..744eb40c2f01 100644 --- a/tidb-roadmap.md +++ b/tidb-roadmap.md @@ -75,6 +75,7 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版
  • 移除将 Limit 算子下推到 TiKV 的已知限制 +
    移除将 Limit 运算符从 TiDB 下推到 TiKV 的限制，从而可以直接在存储层进行更高效的查询处理。

  • @@ -128,6 +129,7 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版
  • 外键成为正式功能 (GA) +
    现在已正式可用，可提供强大的关系完整性。

  • @@ -159,7 +161,7 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版 稳定性与高可用 -
    确保持续运行，提升系统容错能力，为用户提供稳定可靠的使用体验。 +
    近乎零停机时间和更强的容错能力，可保持不间断运行并提供坚如磐石的用户体验。
      @@ -206,12 +208,12 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版
    • - 实例级执行计划缓存 (GA) + 实例级执行计划缓存 (GA)
      同一个 TiDB 实例的所有会话可以共享执行计划缓存，提升内存利用率。

    • - 资源组优先满足限额内定义的用量(RU) (GA) + 资源组优先满足限额内定义的用量 (RU) (GA)
      动态管调整 Burstable 资源组使用的资源上限。在不影响其他资源组限额的情况下，充分利用剩余资源。

      • @@ -236,7 +238,7 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版
    • 多版本统计信息 -
      当统计信息被更新后，用户可以查看统计信息的过往版本，并能够选择恢复过去某个版本的统计信息。 +
      当统计信息被更新后，你可以查看统计信息的过往版本，并能够选择恢复过去某个版本的统计信息。

    • @@ -275,7 +277,7 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版
      • 细粒度定制统计信息收集策略 (GA) -
        用户可以针对特定表修改统计信息收集的策略，比如健康度。 +
        你可以为特定表格定制统计策略，调整健康度和并发度等参数。

      • @@ -317,8 +319,8 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版 - 安全 -
        增强数据安全与隐私保护 + 全面的数据安全和隐私保护 +
        保护敏感数据的强大安全措施，确保顶级保护、加密和符合不断发展的隐私法规
          From a252a598d551b4e2bf3648b26f45c16333e62d7b Mon Sep 17 00:00:00 2001 From: houfaxin Date: Thu, 14 Nov 2024 15:30:40 +0800 Subject: [PATCH 10/11] Update tidb-roadmap.md --- tidb-roadmap.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tidb-roadmap.md b/tidb-roadmap.md index 744eb40c2f01..f5dd7e9cf71c 100644 --- a/tidb-roadmap.md +++ b/tidb-roadmap.md @@ -161,7 +161,7 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版 稳定性与高可用 -
          近乎零停机时间和更强的容错能力，可保持不间断运行并提供坚如磐石的用户体验。 +
          确保持续运行，提升系统容错能力，为用户提供稳定可靠的使用体验。
            From 3697215a1640a9cc569c84b0f8fe989da69c4bcd Mon Sep 17 00:00:00 2001 From: houfaxin Date: Thu, 14 Nov 2024 15:35:01 +0800 Subject: [PATCH 11/11] Update tidb-roadmap.md --- tidb-roadmap.md | 1 - 1 file changed, 1 deletion(-) diff --git a/tidb-roadmap.md b/tidb-roadmap.md index f5dd7e9cf71c..7ba5840364ea 100644 --- a/tidb-roadmap.md +++ b/tidb-roadmap.md @@ -129,7 +129,6 @@ TiDB 路线图展示了 TiDB 未来的计划。随着我们发布长期稳定版
          • 外键成为正式功能 (GA) -
            现在已正式可用，可提供强大的关系完整性。