DM-worker 完整配置说明

本文完整地介绍 DM-worker 的配置,包括配置文件示例与配置项说明。

配置文件示例

# Worker Configuration. # Log configuration. log-level = "info" log-file = "dm-worker.log" # DM-worker listening address. worker-addr = ":8262" # Represents a MySQL/MariaDB instance or a replication group. source-id = "mysql-replica-01" # Server id of slave for binlog replication. # Each instance (master and slave) in the replication group should have a different server id. server-id = 101 # flavor: mysql/mariadb flavor = "mysql" # The directory used to store relay log. relay-dir = "./relay_log" # Enables gtid in the relay log unit enable-gtid = false relay-binlog-name = "" relay-binlog-gtid = "" [from] host = "127.0.0.1" user = "root" password = "Up8156jArvIPymkVC+5LxkAT6rek" port = 3306 # Relay log purge strategy. [purge] interval = 3600 expires = 24 remain-space = 15 # Task status checker. [checker] check-enable = true backoff-rollback = "5m" backoff-max = "5m"

配置项说明

Global 配置

配置项说明
log-level日志等级,值可以为 "debug"、"info"、"warn"、"error"、"fatal",默认值为 "info"。一般情况下不需要手动配置,如果需要排查问题,可以将等级设置为 "debug"。
log-file日志文件,如果不配置日志会输出到标准输出中。
worker-addrDM-worker 服务的地址,可以省略 IP 信息,例如:":8262"。
source-id标识一个 MySQL/MariaDB 实例或者 replication group。
server-idDM-worker 作为上游 MySQL/MariaDB slave 来获取 binlog 的 server id,该值在一个 replication group (包括 master 和 slave)中必须是唯一的。v1.0.2 及以上版本的 DM 会自动生成,不需要手动配置该项。
flavor上游数据库的类型,目前值可以为 "mysql" 或者 "mariadb"。v1.0.2 及以上版本的 DM 会自动判断上游版本,不需要手动配置该项。
relay-dir存储 relay log 的目录,默认值为 "./relay_log"。
enable-gtid是否使用 GTID 方式从上游拉取 binlog,默认值为 false。一般情况下不需要手动配置,如果上游数据库启用了 GTID 支持,且需要做主从切换,则将该配置项设置为 true。
relay-binlog-name拉取上游 binlog 的起始文件名,例如 "mysql-bin.000002",该配置在 enable-gtid 为 false 的情况下生效。如果不配置该项,v1.0.2 之前版本的 DM-worker 将从上游 MySQL 或 MariaDB 现有最早时间点的 binlog 文件开始拉取 binlog,拉取到数据迁移任务需要的最新 binlog 可能需要很长时间;v1.0.2 及之后版本的 DM-worker 将从最新时间点的 binlog 文件开始拉取 binlog,一般情况下不需要手动配置。
relay-binlog-gtid拉取上游 binlog 的起始 GTID,例如 "e9a1fc22-ec08-11e9-b2ac-0242ac110003:1-7849",该配置在 enable-gtid 为 true 的情况下生效。如果不配置该项,v1.0.2 之前版本的 DM-worker 将从上游 MySQL 或 MariaDB 现有最早时间点的 binlog GTID 开始拉取 binlog,拉取到数据迁移任务需要的最新 binlog 可能需要很长时间;v1.0.2 及之后版本的 DM-worker 将从最新时间点的 binlog GTID 开始拉取 binlog,一般情况下不需要手动配置。

数据库链接配置(from 配置项)

配置项说明
host上游数据库的 host。
port上游数据库的端口。
user连接数据库使用的用户名。
password连接数据库使用的密码。注意:需要使用 dmctl 加密后的密码。

relay log 清理策略配置(purge 配置项)

一般情况下不需要手动配置,如果 relay log 数据量较大,磁盘空间不足,则可以通过该配置项设置,避免 relay log 写满磁盘。

配置项说明
interval定期检查 relay log 是否过期的间隔时间,默认值:3600,单位:秒。
expiresrelay log 的过期时间,默认值为 0,单位:小时。未由 relay 处理单元进行写入、或已有数据迁移任务当前或未来不需要读取的 relay log 在超过过期时间后会被 DM 删除。如果不设置则 DM 不会自动清理过期的 relay log。
remain-space设置最小的可用磁盘空间。当磁盘可用空间小于这个值时,DM-worker 会尝试删除 relay log,默认值:15,单位:GB。

任务检查模块配置(checker 配置项)

配置项说明
check-enable是否开启任务状态检查。开启后 DM 会尝试自动恢复因错误而暂停的数据迁移任务,默认值:true。
backoff-rollback任务检查模块中,定时调整恢复等待时间的间隔,默认值:"5m0s"。
backoff-max任务检查模块中,检查出错误后等待自动恢复的最长时间间隔,默认值:"5m0s"。