Skip to content

Commit

Permalink
address comments
Browse files Browse the repository at this point in the history
Co-Authored-By: Keke Yi <40977455+yikeke@users.noreply.github.com>
  • Loading branch information
anotherrachel and yikeke committed Feb 10, 2020
1 parent ddbbb96 commit 410213a
Show file tree
Hide file tree
Showing 5 changed files with 15 additions and 15 deletions.
2 changes: 1 addition & 1 deletion dev/TOC.md
Original file line number Diff line number Diff line change
Expand Up @@ -344,7 +344,7 @@
- [断点续传](/dev/reference/tools/tidb-lightning/checkpoints.md)
- [表库过滤](/dev/reference/tools/tidb-lightning/table-filter.md)
- [CSV 支持](/dev/reference/tools/tidb-lightning/csv.md)
- [TiDB-backend](/dev/reference/tools/tidb-lightning/tidb-backend.md)]
- [TiDB-backend](/dev/reference/tools/tidb-lightning/tidb-backend.md)
- [Web 界面](/dev/reference/tools/tidb-lightning/web.md)
- [监控告警](/dev/reference/tools/tidb-lightning/monitor.md)
- [故障诊断](/dev/how-to/troubleshoot/tidb-lightning.md)
Expand Down
2 changes: 1 addition & 1 deletion dev/faq/tidb-lightning.md
Original file line number Diff line number Diff line change
Expand Up @@ -28,7 +28,7 @@ TiDB Lightning 需要以下权限:
* INSERT
* DELETE

+Importer-backend 无需以上两个权限,因为数据直接被 Ingest 到 TiKV 中,所以绕过了 TiBD 的权限系统。只要 TiKV、TiKV Importer 和 TiDB Lightning 的端口在集群之外不可访问,就可以保证安全。
+Importer-backend 无需以上两个权限,因为数据直接被 Ingest 到 TiKV 中,所以绕过了 TiDB 的权限系统。只要 TiKV、TiKV Importer 和 TiDB Lightning 的端口在集群之外不可访问,就可以保证安全。

如果 TiDB Lightning 配置项 `checksum = true`,则 TiDB Lightning 需要有下游 TiDB admin 用户权限。

Expand Down
2 changes: 1 addition & 1 deletion dev/reference/tools/tidb-lightning/config.md
Original file line number Diff line number Diff line change
Expand Up @@ -89,7 +89,7 @@ driver = "file"
# 当后端是 “importer” 时,tikv-importer 的监听地址(需改为实际地址)。
addr = "172.16.31.10:8287"
# 当后端是 “tidb” 时,插入重复数据时执行的操作。
# - replace:新数据题替代已有数据
# - replace:新数据替代已有数据
# - ignore:保留已有数据,忽略新数据
# - error:中止导入并报错
# on-duplicate = "replace"
Expand Down
2 changes: 1 addition & 1 deletion dev/reference/tools/tidb-lightning/deployment.md
Original file line number Diff line number Diff line change
Expand Up @@ -5,7 +5,7 @@ category: reference

# TiDB Lightning 部署与执行

本文主要介绍 TiDB Lightning 使用 Importer-backend (默认)进行数据导入的硬件需求,以及使用 Ansible 部署与手动部署 TiDB Lightning 这两种部署方式。
本文主要介绍 TiDB Lightning 使用 Importer-backend(默认)进行数据导入的硬件需求,以及使用 Ansible 部署与手动部署 TiDB Lightning 这两种部署方式。

如果你想改用 TiDB-backend 进行数据导入,参考 [TiDB Lightning TiDB-backend](/dev/reference/tools/tidb-lightning/tidb-backend.md) 中的硬件需求与部署方式。

Expand Down
22 changes: 11 additions & 11 deletions dev/reference/tools/tidb-lightning/tidb-backend.md
Original file line number Diff line number Diff line change
Expand Up @@ -6,11 +6,11 @@ category: reference

# TiDB Lightning TiDB-Backend

后端决定 `tidb-lightning` 将如何把将数据导入到目标集群中。目前,TiDB Lightning 支持 Importer-backend (默认)和 TiDB-backend 两种后端,两者导入数据的区别如下:
TiDB Lightning 的后端决定 `tidb-lightning` 将如何把将数据导入到目标集群中。目前,TiDB Lightning 支持 Importer-backend(默认)和 TiDB-backend 两种后端,两者导入数据的区别如下:

* **Importer-backend**`tidb-lightning` 先将 SQL 或 CSV 数据编码成键值对,由 `tikv-importer` 对写入的键值对进行排序,然后把这些键值对 Ingest 到 TiKV 节点中。

* **TiDB-backend**`tidb-lightning` 先将数据编码到 SQL 的 `INSERT` 语句中,然后直接在 TiDB 节点上运行这些语句进行数据导入
* **TiDB-backend**`tidb-lightning` 先将数据编码成 `INSERT` 语句,然后直接在 TiDB 节点上运行这些 SQL 语句进行数据导入

| 后端 | Importer | TiDB |
|:---|:---|:---|
Expand All @@ -28,7 +28,7 @@ category: reference

### 硬件需求

使用 TiDB-backend 时, TiDB Lightning 的速度仅受限于 TiDB 执行 SQL 语句时的速度。因此,即使是低配的机器也可能发挥出最佳性能。推荐的硬件配置如下:
使用 TiDB-backend 时, TiDB Lightning 的速度仅受限于 TiDB 执行 SQL 语句的速度。因此,即使是低配的机器也可能发挥出最佳性能。推荐的硬件配置如下:

* 16 逻辑核 CPU
* 足够储存整个数据源的 SSD 硬盘,读取速度越快越好
Expand All @@ -50,7 +50,7 @@ category: reference
...
```

2. 忽略 `group_vars/all.yml` 文件中 `tikv_importer_port` 部分的设置,`group_vars/importer_server.yml` 文件也不需要修改。但是你需要在 `conf/tidb-lightning.yml` 文件中将 `backend` 设置更改为`tidb`。
2. 忽略 `group_vars/all.yml` 文件中 `tikv_importer_port` 部分的设置,`group_vars/importer_server.yml` 文件也不需要修改。但是你需要在 `conf/tidb-lightning.yml` 文件中将 `backend` 设置更改为 `tidb`。

```yaml
...
Expand All @@ -67,7 +67,7 @@ category: reference

### 手动部署

手动部署时,你无需下载 `tikv-importer` 的配置文件进行配置
手动部署时,你无需下载和配置 `tikv-importer`。

在运行 `tidb-lightning` 之前,在配置文件中加上如下几行:

Expand All @@ -80,7 +80,7 @@ backend = "tidb"

## 冲突解决

TiDB-backend 支持导入已填充的表(非空表)。但是,新数据可能会与旧数据的唯一键冲突。你可以通过使用如下任务配置来调整遇到冲突时的默认行为
TiDB-backend 支持导入到已填充的表(非空表)。但是,新数据可能会与旧数据的唯一键冲突。你可以通过使用如下任务配置来控制遇到冲突时的默认行为

```toml
[tikv-importer]
Expand All @@ -96,7 +96,7 @@ on-duplicate = "replace" # 或者 “error”、“ignore”

## 从 Loader 迁移到 TiDB Lightning TiDB-backend

TiDB Lightning TiDB-backend 可以替代 [Loader](/dev/reference/tools/loader.md)。下表说明了如何将 [Loader](/dev/reference/tools/loader.md) 的配置迁移到 [TiDB Lightning 配置](/dev/reference/tools/tidb-lightning/config.md)中:
TiDB Lightning TiDB-backend 可以完全取代 [Loader](/dev/reference/tools/loader.md)。下表说明了如何将 [Loader](/dev/reference/tools/loader.md) 的配置迁移到 [TiDB Lightning 配置](/dev/reference/tools/tidb-lightning/config.md)中:

<table align="left">
<thead><tr><th>Loader</th><th>TiDB Lightning</th></tr></thread>
Expand All @@ -122,7 +122,7 @@ level = "info"
file = "tidb-lightning.log"
# Prometheus
pprof-port = 8289
# 线程数 (最好使用默认设置)
# 并发度 (最好使用默认设置)
#region-concurrency = 16
```

Expand All @@ -142,7 +142,7 @@ checkpoint-schema = "tidb_loader"
enable = true
schema = "tidb_lightning_checkpoint"
# 断点默认存储在本地的文件系统,这样更高效。但你也可以
# 选择将断点存储在兼容 MySQL 但数据库服务器中,设置如下:
# 选择将断点存储在目标数据库中,设置如下:
# driver = "mysql"
```

Expand Down Expand Up @@ -197,12 +197,12 @@ password = ""
# TiDB 连接参数
host = "127.0.0.1"
port = 4000
status-port = 10080 # <- 必须
status-port = 10080 # <- 必须有的参数
user = "root"
password = ""
#sql-mode = ""
```

</td></tr>
</tbody>
</table>
</table>

0 comments on commit 410213a

Please sign in to comment.