TiDB TPC-H パフォーマンス テスト レポート -- TiDB v5.4 MPP モード vs. Greenplum 6.15.0 および Apache Spark 3.1.1

テストの概要

このテストは、MPP モードでの TiDB v5.4 の TPC-H 100 GB パフォーマンスを、2 つの主流分析エンジンである Greenplum および Apache Spark の最新バージョンでのパフォーマンスと比較することを目的としています。テスト結果は、MPP モードでの TiDB v5.4 のパフォーマンスが、TPC-H ワークロード下の他の 2 つのソリューションよりも 2 倍から 3 倍高速であることを示しています。

v5.0 では、TiDB はティフラッシュの MPP モードを導入し、TiDB の Hybrid Transactional and Analytical Processing (HTAP) 機能を大幅に強化します。このレポートのテスト オブジェクトは次のとおりです。

• MPP モードの TiDB v5.4 カラムナ ストレージ
• グリーンプラム 6.15.0
• Apache Spark 3.1.1 + 寄木細工

テスト環境

ハードウェア前提条件

• CPU: Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz、40 コア
• メモリー：189GB
• ディスク: NVMe 3TB * 2

ソフトウェアバージョン

パラメータ構成

TiDB v5.4

v5.4 クラスターの場合、TiDB は、次の構成項目を除いて、既定のパラメーター構成を使用します。

TiFlash の構成ファイルusers.tomlで、次のようにmax_memory_usageを構成します。

[profiles.default]
max_memory_usage = 10000000000000

次の SQL ステートメントを使用してセッション変数を設定します。

set @@tidb_isolation_read_engines='tiflash';
set @@tidb_allow_mpp=1;
set @@tidb_mem_quota_query = 10 << 30;

すべての TPC-H テスト テーブルは、列形式で TiFlash にレプリケートされ、追加のパーティションやインデックスはありません。

グリーンプラム

最初の 3 つのノードを除いて、Greenplum クラスターは追加のマスター ノードを使用してデプロイされます。各セグメントサーバーには 8 つのセグメントが含まれています。これは、NVMe SSD ごとに 4 つのセグメントを意味します。したがって、全部で 24 のセグメントがあります。ストレージ形式は追加専用/列指向のストレージであり、パーティション キーは主キーとして使用されます。

log_statement = all
gp_autostats_mode = none
statement_mem = 2048MB
gp_vmem_protect_limit = 16384

アパッチスパーク

Apache Spark のテストでは、ストレージ形式として Apache Parquet を使用し、データを HDFS に保存します。 HDFS システムは 3 つのノードで構成されています。各ノードには、データ ディスクとして 2 つの NVMe SSD ディスクが割り当てられています。 Spark クラスターはスタンドアロン モードでデプロイされ、NVMe SSD ディスクをspark.local.dirのローカル ディレクトリとして使用して、シャッフル スピルを高速化します。追加のパーティションやインデックスは必要ありません。

--driver-memory 20G
--total-executor-cores 120
--executor-cores 5
--executor-memory 15G

テスト結果

ノート：

以下のテスト結果は、3 回のテストの平均データです。すべての数値は秒単位です。

上記のパフォーマンス ダイアグラムでは、次のようになります。

• 青い線は TiDB v5.4 を表します。
• 赤い線は Greenplum 6.15.0 を表します。
• 黄色の線は Apache Spark 3.1.1 を表します。
• Y 軸はクエリの実行時間を表します。時間が短いほど、パフォーマンスが向上します。