TiDB 4.0 RC.1 Release Notes

发版日期：2020 年 4 月 28 日

TiDB 版本：4.0.0-rc.1

兼容性变化

TiKV
- 默认关闭 hibernate region #7618
TiDB Binlog
- Drainer 增加对 Sequence DDL 的支持 #950

重点修复的 Bug

TiDB
- 修复由于未检查 MemBuffer，事务内执行 INSERT ... ON DUPLICATE KEY UPDATE 语句插入多行重复数据可能出错的问题 #16689
- 修复 lock 多行重复 keys 时导致数据索引不一致的问题 #16769
- 修复回收空闲 gRPC 连接导致 TiDB panic 的问题 #16303
TiKV
- 修复 TiDB 探活请求触发的死锁问题 #7540
- 修复事务的 min commit ts 可能溢出、影响数据正确性的问题 #7642
TiFlash
- 修正多数据路径配置下进行 rename table 会导致数据丢失的问题
- 修正当 Region 处于 merge 状态时读取产生的数据错误
- 修正当 Region 处于非 normal 状态时读取产生的数据错误
- 修正 TiFlash 中表名的映射方式以正确支持 recover table/flashback table
- 修正数据存储路径以解决 rename table 时潜在的数据丢失问题
- 修正 Super batch 开启后，有一定概率 TiDB panic 的问题
- 修正在线更新时的读模型以优化读性能
TiCDC
- 修复 TiCDC 内部维护的 schema 信息对于读写操作时序问题没有正确处理导致同步失败问题 #438 #450 #478 #496
- 修复 TiKV client 遇到部分 TiKV 异常没有正确维护内部资源的 bug #499 #492
- 修复节点异常残留元数据信息没有正确清理的 bug #488 #504
- 修复 TiKV client 没有正确处理 prewrite 重复发送的问题 #446
- 修复 TiKV client 没有正确处理在初始化前接收到冗余 prewrite 的问题 #448
Backup & Restore (BR)
- 修复关闭 checksum 情况下，仍然执行 checksum 的问题 #223
- 修复 TiDB 开启 auto-random 或 alter-pk 时，增量备份失败的问题 #230 #231

新功能

TiDB
- 支持发送 batch coprocessor 请求给 TiFlash #16226
- 默认打开 Coprocessor cache #16710
- 在 SQL 语句的特殊注释中，只有被注册了语句片段才能被 parser 正常解析，否则将被忽略 #16157
- 支持使用 SHOW CONFIG 语法显示 PD 和 TiKV 的配置 #16475
TiKV
- 支持在备份到 S3 时使用用户提供的 KMS key 进行服务端加密 #7630
- 支持基于负载的 Region split #7623
- 支持 common name 验证 #7468
- 通过检查文件锁避免多个 TiKV 实例绑定相同的地址 #7447
- Encryption at rest 支持 AWS KMS #7465
Placement Driver (PD)
- 移除 config manager 以使其它组件自行控制它们的配置 #2349
TiFlash
- 添加 DeltaTree 引擎读写负载相关 metrics 上报
- 缓存 handle 列和 version 列减小单次读请求的磁盘 I/O
- 增加了 TiFlash 对于 FromUnixTime 和 Date_format 函数的支持
- 根据第一块盘估算全局状态并上报
- Grafana 添加 DeltaTree 引擎读写负载相关图表
- 优化 TiFlash chunk encode decimal 的数据
- 实现了 Diagnostics（SQL 诊断）的 gRPC API，以支持 INFORMATION_SCHEMA.CLUSTER_INFO 等系统表的查询
TiCDC
- 在 Kafka sink 模块提供发送批量消息支持 #426
- 支持在 processor 内使用文件排序 #477
- 增加自动 resolve lock 的支持 #459
- 增加自动向 PD 设置 TiCDC 服务级别 safepoint 的功能 #487
- 增加数据同步时的时区配置 #498
Backup & Restore (BR)
- 支持在存储的 URL 中配置 S3/GCS #246

Bug 修复

TiDB
- 修复系统表由于 unsigned 列定义导致无法正确显示负数的问题 #16004
- 当使用 use_index_merge hint 包含不存在的索引时添加警告 #15960
- 禁止多个 TiDB server 共享同一个临时目录 #16026
- 修复打开 plan cache 时，执行 explain for connection 语句 panic 的问题 #16285
- 修复显示 tidb_capture_plan_baselines 系统变量不正确的问题 #16048
- 修复 prepare 语句中的 group by 语句解析错误的问题 #16377
- 修复 analyze primary key 可能 panic 的问题 #16081
- 修复 cluster_info 系统表中 TiFlash 节点信息错误的问题 #16024
- 修复 index merge 可能 panic 的问题 #16360
- 修复 index merge 遇到 generated column 时导致结果错误的问题 #16359
- 修复 show create table 语句显示 sequence 默认值错误的问题 #16526
- 修复主键使用 sequence 作为默认值时出现 not-null 的错误的问题 #16510
- 修复当 TiKV 持续返回 StaleCommand 期间执行 SQL 卡住不报错的问题 #16530
- 修复 CREATE DATABASE 时仅指定 COLLATE 时会报错的问题，同时在 SHOW CREATE DATABASE 结果中添加缺失的 COLLATE 部分 #16540
- 修复打开 plan-cache 时，分区裁剪失败的问题 #16723
- 修复点查在 handle 溢出时返回错误结果的问题 #16755
- 修复等值时间查询 slow_query 系统表返回错误结果的问题 #16806
TiKV
- 解决 OpenSSL 的安全性问题：CVE-2020-1967 #7622
- 避免将 BatchRollback 产生的 rollback 记录标为保护的记录以改善冲突较多场景下的性能 #7604
- 修复锁竞争严重的场景下，不必要地唤醒事务导致多余的重试和性能下降的问题 #7551
- 修复多次 merge 时，Region 可能卡住的问题 #7518
- 修复删除 learner 时，learner 可能并未被删除的问题 #7518
- 修复 follower read 可能使 raft-rs panic 的问题 #7408
- 修复 SQL 可能因 "group by constant" 错误失败的问题 #7383
- 修复当一个乐观锁对应的 primary lock 是悲观锁时，该乐观锁可能阻塞读的问题 #7328
Placement Driver (PD)
- 修复部分 API TLS 认证失败的问题 #2363
- 修复 config API 不能识别带有前缀的配置项的问题 #2354
- 修复找不到 scheduler 时会返回 500 错误的问题 #2328
- 修复 scheduler config balance-hot-region-scheduler list 命令返回 404 错误的问题 #2321
TiFlash
- 禁用存储引擎的粗糙索引优化
- 修正对 Region 进行 resolve lock 时遇到需要跳过的 lock 抛异常的问题
- 修正 Coprocessor 统计信息收集的 NPE
- 修正 Region meta 的检查以保证 Region Split/Region Merge 流程的正确性
- 修正对 Coprocessor response 大小未做估算导致的消息大小超过 gRPC 限制的问题
- 修正 TiFlash 对 AdminCmdType::Split 命令的处理