TiDB TPC-H パフォーマンス テスト レポート -- TiDB v5.4 MPP モード vs. Greenplum 6.15.0 および Apache Spark 3.1.1

テストの概要

このテストは、MPP モードでの TiDB v5.4 の TPC-H 100 GB パフォーマンスを、2 つの主流分析エンジンである Greenplum および Apache Spark の最新バージョンでのパフォーマンスと比較することを目的としています。テスト結果は、MPP モードでの TiDB v5.4 のパフォーマンスが、TPC-H ワークロード下の他の 2 つのソリューションよりも 2 倍から 3 倍高速であることを示しています。

v5.0 では、TiDB はティフラッシュの MPP モードを導入し、TiDB の Hybrid Transactional and Analytical Processing (HTAP) 機能を大幅に強化します。このレポートのテスト オブジェクトは次のとおりです。

  • MPP モードの TiDB v5.4 カラムナ ストレージ
  • グリーンプラム 6.15.0
  • Apache Spark 3.1.1 + 寄木細工

テスト環境

ハードウェア前提条件

インスタンスタイプインスタンス数
PD1
TiDB1
TiKV3
ティフラッシュ3
  • CPU: Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz、40 コア
  • メモリー:189GB
  • ディスク: NVMe 3TB * 2

ソフトウェアバージョン

サービスの種類ソフトウェアバージョン
TiDB5.4
グリーンプラム6.15.0
アパッチスパーク3.1.1

パラメータ構成

TiDB v5.4

v5.4クラスタの場合、TiDB は、次の構成項目を除いて、既定のパラメーター構成を使用します。

TiFlash の構成ファイルusers.tomlで、次のようにmax_memory_usageを構成します。

[profiles.default] max_memory_usage = 10000000000000

次の SQL ステートメントを使用してセッション変数を設定します。

set @@tidb_isolation_read_engines='tiflash'; set @@tidb_allow_mpp=1; set @@tidb_mem_quota_query = 10 << 30;

すべての TPC-H テスト テーブルは、列形式で TiFlash にレプリケートされ、追加のパーティションやインデックスはありません。

グリーンプラム

最初の 3 つのノードを除いて、Greenplumクラスタは追加のマスター ノードを使用してデプロイされます。各セグメント サーバーには 8 つのセグメントが含まれています。これは、NVMe SSD ごとに 4 つのセグメントを意味します。したがって、全部で 24 のセグメントがあります。ストレージ形式は追加専用/列指向のストレージであり、パーティション キーは主キーとして使用されます。

log_statement = all gp_autostats_mode = none statement_mem = 2048MB gp_vmem_protect_limit = 16384

アパッチスパーク

Apache Spark のテストでは、ストレージ形式として Apache Parquet を使用し、データを HDFS に保存します。 HDFS システムは 3 つのノードで構成されています。各ノードには、データ ディスクとして 2 つの NVMe SSD ディスクが割り当てられています。 Sparkクラスタはスタンドアロン モードでデプロイされ、NVMe SSD ディスクをspark.local.dirのローカル ディレクトリとして使用してシャッフル スピルを高速化し、パーティションやインデックスを追加する必要はありません。

--driver-memory 20G --total-executor-cores 120 --executor-cores 5 --executor-memory 15G

テスト結果

ノート:

以下のテスト結果は、3 回のテストの平均データです。すべての数値は秒単位です。

クエリ IDTiDB v5.4グリーンプラム 6.15.0Apache Spark 3.1.1 + 寄木細工
18.0864.130752.64
22.534.7661211.83
34.8415.6289813.39
410.9412.883188.54
512.2723.3544925.23
61.326.0332.21
75.9112.3126625.45
86.7111.8244423.12
944.1922.4014435.2
107.1312.5107112.18
112.182.622110.99
122.887.979066.99
136.8410.1587312.26
141.694.793943.89
153.2910.487859.82
165.044.642626.76
1711.774.6524344.65
1812.8764.8764630.27
194.758.086254.7
208.8915.470168.4
2124.4439.0859434.83
221.237.674764.59

TPC-H

上記のパフォーマンス ダイアグラムでは、次のようになります。

  • 青い線は TiDB v5.4 を表します。
  • 赤い線は Greenplum 6.15.0 を表します。
  • 黄色の線は Apache Spark 3.1.1 を表します。
  • Y 軸はクエリの実行時間を表します。時間が短いほど、パフォーマンスが向上します。
Playground
登録なしで TiDB の機能をワンストップでインタラクティブに体験できます。
製品
TiDB Dedicated
TiDB Serverless
TiDB
価格
PoC お問い合わせ
エコシステム
TiKV
TiFlash
OSS Insight
© 2024 PingCAP. All Rights Reserved.
Privacy Policy.