TiDB
社区
联系我们

外部存储

Backup & Restore (BR)、TiDB Lightning 和 Dumpling 皆支持在本地文件系统和 Amazon S3 上读写数据；另外 BR 亦支持 Google Cloud Storage (GCS) 。通过传入不同 URL scheme 到 BR 的 --storage (-s) 参数、TiDB Lightning 的 -d 参数及 Dumpling 中的 --output (-o) 参数，可以区分不同的存储方式。

Scheme

TiDB 迁移工具支持以下存储服务：

服务Scheme示例
本地文件系统（分布在各节点上）locallocal:///path/to/dest/
Amazon S3 及其他兼容 S3 的服务s3s3://bucket-name/prefix/of/dest/
GCSgcs, gsgcs://bucket-name/prefix/of/dest/
不写入任何存储（仅作为基准测试）noopnoop://

URL 参数

S3 和 GCS 等云存储有时需要额外的连接配置，你可以为这类配置指定参数。例如：

  • 用 Dumpling 导出数据到 S3

    ./dumpling -u root -h 127.0.0.1 -P 3306 -B mydb -F 256MiB \
    -o 's3://my-bucket/sql-backup?region=us-west-2'

  • 用 TiDB Lightning 从 S3 导入数据

    ./tidb-lightning --tidb-port=4000 --pd-urls=127.0.0.1:2379 --backend=local --sorted-kv-dir=/tmp/sorted-kvs \
    -d 's3://my-bucket/sql-backup?region=us-west-2'

  • 用 TiDB Lightning 从 S3 导入数据（使用路径类型的请求模式）。如果你使用的是 TiDB v4.0.11 及以下版本，需要设置 force-path-style=true 后才能使用路径类型的请求模式。 

    ./tidb-lightning --tidb-port=4000 --pd-urls=127.0.0.1:2379 --backend=local --sorted-kv-dir=/tmp/sorted-kvs \
    -d 's3://my-bucket/sql-backup?force-path-style=true&endpoint=http://10.154.10.132:8088'

  • 用 BR 备份到 GCS

    ./br backup full -u 127.0.0.1:2379 \
    -s 'gcs://bucket-name/prefix'

S3 的 URL 参数

URL 参数描述
access-key访问密钥
secret-access-keysecret 访问密钥
regionAmazon S3 服务区域（默认为 us-east-1）
use-accelerate-endpoint是否在 Amazon S3 上使用加速端点（默认为 false）
endpointS3 兼容服务自定义端点的 URL（例如 https://s3.example.com/）
force-path-style使用 path-style，而不是 virtual-hosted style（默认为 false）
storage-class上传对象的存储类别（例如 STANDARD、STANDARD_IA）
sse用于加密上传的服务器端加密算法（可以设置为空，AES256 或 aws:kms）
sse-kms-key-id如果 sse 设置为 aws:kms，则使用该参数指定 KMS ID
acl上传对象的 canned ACL（例如，private、authenticated-read）
  1. $AWS_ACCESS_KEY_ID 和 $AWS_SECRET_ACCESS_KEY 环境变量。
  2. $AWS_ACCESS_KEY 和 $AWS_SECRET_KEY 环境变量。
  3. 工具节点上的共享凭证文件，路径由 $AWS_SHARED_CREDENTIALS_FILE 环境变量指定。
  4. 工具节点上的共享凭证文件，路径为 ~/.aws/credentials。
  5. 当前 Amazon EC2 容器的 IAM 角色。
  6. 当前 Amazon ECS 任务的 IAM 角色。

GCS 的 URL 参数

URL 参数描述
credentials-file迁移工具节点上的凭证 JSON 文件的路径
storage-class上传对象的存储类别（例如 STANDARD、COLDLINE）
predefined-acl上传对象的预定义 ACL（例如 private、project-private）

如果没有指定 credentials-file，迁移工具尝试按照以下顺序从环境中推断出凭证：

  1. 工具节点上位于 $GOOGLE_APPLICATION_CREDENTIALS 环境变量所指定路径的文件内容。
  2. 工具节点上位于 ~/.config/gcloud/application_default_credentials.json 的文件内容。
  3. 在 GCE 或 GAE 中运行时，从元数据服务器中获取的凭证。

命令行参数

除了使用 URL 参数，BR 和 Dumpling 工具亦支持从命令行指定这些配置，例如：

./dumpling -u root -h 127.0.0.1 -P 3306 -B mydb -F 256MiB \
    -o 's3://my-bucket/sql-backup' \
    --s3.region 'us-west-2'

如果同时指定了 URL 参数和命令行参数，命令行参数会覆盖 URL 参数。

S3 的命令行参数

命令行参数描述
--s3.regionAmazon S3 服务区域（默认为 us-east-1）
--s3.endpointS3 兼容服务自定义端点的 URL（例如 https://s3.example.com/）
--s3.storage-class上传对象的存储类别（例如 STANDARD、STANDARD_IA）
--s3.sse用于加密上传的服务器端加密算法（可以设置为空，AES256 或 aws:kms）
--s3.sse-kms-key-id如果 --s3.sse 设置为 aws:kms，则使用该参数指定 KMS ID
--s3.acl上传对象的 canned ACL（例如，private、authenticated-read）
--s3.providerS3 兼容服务类型（支持 aws、alibaba、ceph、netease 或 other）

GCS 的命令行参数

命令行参数描述
--gcs.credentials-file迁移工具节点上的凭证 JSON 文件的路径
--gcs.storage-class上传对象的存储类别（例如 STANDARD、COLDLINE）
--gcs.predefined-acl上传对象的预定义 ACL（例如 private、project-private）

BR 向 TiKV 发送凭证

在默认情况下，使用 S3 和 GCS 存储时，BR 会将凭证发送到每个 TiKV 节点，以减少设置的复杂性。

但是，这个操作不适合云端环境，因为每个节点都有自己的角色和权限。在这种情况下，你需要用 --send-credentials-to-tikv=false（或简写为 -c=0）来禁止发送凭证：

./br backup full -c=0 -u pd-service:2379 -s 's3://bucket-name/prefix'

使用 SQL 进行备份恢复时，可加上 SEND_CREDENTIALS_TO_TIKV = FALSE 选项：

BACKUP DATABASE * TO 's3://bucket-name/prefix' SEND_CREDENTIALS_TO_TIKV = FALSE;

此参数不适用于 TiDB Lightning 和 Dumpling，因为目前它们都是单机程序。

下载 PDF