DM 2.0-GA 性能测试报告

本报告记录了对 2.0-GA 版本的 DM 进行性能测试的目的、环境、场景和结果。

测试目的

该性能测试用于评估使用 DM 进行全量数据导入和增量数据复制的性能上限,并根据测试结果提供 DM 迁移任务的参考配置。

测试环境

测试机器信息

系统信息:

机器 IP操作系统内核版本文件系统类型
172.16.5.32CentOS Linux release 7.8.20033.10.0-957.el7.x86_64ext4
172.16.5.33CentOS Linux release 7.8.20033.10.0-957.el7.x86_64ext4
172.16.5.34CentOS Linux release 7.8.20033.10.0-957.el7.x86_64ext4
172.16.5.35CentOS Linux release 7.8.20033.10.0-957.el7.x86_64ext4
172.16.5.36CentOS Linux release 7.8.20033.10.0-957.el7.x86_64ext4
172.16.5.37CentOS Linux release 7.8.20033.10.0-957.el7.x86_64ext4

硬件信息:

类别指标
CPUIntel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz, 40 Cores
内存128G, 8 * 16GB DIMM DDR4 2133 MHz
磁盘Intel SSD DC P4800X 375G NVMe * 2
网卡万兆网卡

其他:

  • 服务器间网络延迟:rtt min/avg/max/mdev = 0.074/0.116/0.158/0.042 ms

集群拓扑

机器 IP部署的服务
172.16.5.32PD1, DM-worker1, DM-master
172.16.5.33PD2, MySQL1
172.16.5.34PD3, TiDB
172.16.5.35TiKV1(nvme0n1), TiKV2(nvme1n1)
172.16.5.36TiKV3(nvme0n1), TiKV4(nvme1n1)
172.16.5.37TiKV5(nvme0n1), TiKV6(nvme1n1)

各服务版本信息

  • MySQL 版本:5.7.31-log
  • TiDB 版本:v4.0.7
  • DM 版本:v2.0.0
  • Sysbench 版本:1.0.17

测试场景

可以参考性能测试中介绍的测试场景,测试单个 MySQL 实例到 TiDB 的数据迁移: MySQL1 (172.16.5.33) -> DM-worker(172.16.5.32) -> TiDB (172.16.5.34)。

全量导入性能测试

可以参考全量导入性能测试用例中介绍的方法进行测试。

全量导入性能测试结果

mydumper 配置项中配置 threads 参数,可以通过 Dumpling 开启多线程并发导出,提高数据导出性能。

测试项数据量 (G)threadsrowsstatement-size导出时间 (s)导出速度 (MB/s)
dump data38.1323200001000000106.73359.43
测试项数据量 (G)pool size每条插入语句包含的行数事务执行最大延迟 (s)导入时间 (s)导入速度 (MB/s)
load data38.132487820.951580.5424.11

在 load 处理单元使用不同 pool size 的性能测试对比

该测试中使用 sysbench 全量导入的数据量为 3.78 GB,测试数据如下所示:

load 处理单元 pool size事务执行最大延迟 (s)导入时间 (s)导入速度 (MB/s)TiDB 99 duration (s)
20.354388.630.32
40.6530512.300.55
81.8223116.362.26
163.4622816.573.04
325.9220818.176.56
648.5922117.109.62

导入数据时每条插入语句包含行数不同的情况下的性能测试对比

该测试中全量导入的数据量为 3.78 GB,load 处理单元 pool-size 大小为 32。插入语句包含行数通过 mydumper 配置项中的 statement-sizerows 或者 extra-args 参数来控制。

每条语句中包含的行数mydumper extra-args 参数事务执行最大延迟 (s)导入时间 (s)导入速度 (MB/s)TiDB 99 duration (s)
7506-s 1500000 -r 3200008.7421817.310.49
5006-s 1000000 -r 3200005.9220818.16.56
2506-s 500000 -r 3200003.0722217.02.32
1256-s 250000 -r 3200002.0123016.41.87
629-s 125000 -r 3200000.9824115.60.94
315-s 62500 -r 3200000.5124515.40.45

增量复制性能测试用例

使用增量复制性能测试用例中介绍的方法进行测试。

增量复制性能测试结果

该性能测试中复制任务 sync 处理单元 worker-count 设置为 32,batch 大小设置为 100。

组件qpstps95% 延迟
MySQL38.65k38.65k1.10ms
DM binlog replication unit21.33k (单位时间内接收到的不被忽略的 binlog event 数量)-66.75ms (事务执行时间)
TiDB21.90k (Begin/Commit 2.32k Insert 21.35k)3.52k95%: 5.2ms 99%: 8.3ms

在 sync 处理单元使用不同并发度的性能测试对比

sync 处理单元 worker-count 数DM qpsDM 事务执行最大延迟 (ms)TiDB qpsTiDB 99 duration (ms)
411.83k5612.1k4
818.34k5818.9k5
1620.85k6021.6k6
3221.33k6621.9k8
6421.52k6822.1k10
102420.45k8550.5k52

不同数据分布的增量复制性能测试对比

sysbench 语句类型DM qpsDM 事务执行最大延迟 (ms)TiDB qpsTiDB 99 duration (ms)
insert_only21.33k6621.9k8
write_only10.2k8711.2k8

推荐迁移任务参数配置

dump 处理单元

推荐每一条插入语句的大小在 200KB ~ 1MB 之间,相应每条语句包含的行数大约在 1000-5000(具体包含的语句行数与实际场景中每行数据大小有关)。

load 处理单元

推荐 pool-size 设置为 16。

sync 处理单元

推荐将 batch 设置为 100,worker-count 设置为 16 ~ 32。

下载 PDF
产品
TiDB
TiDB Cloud
© 2024 PingCAP. All Rights Reserved.
Privacy Policy.