Skip to content

Commit

Permalink
refine docs
Browse files Browse the repository at this point in the history
  • Loading branch information
anotherrachel committed Jan 7, 2020
1 parent 9e2dac7 commit 3ba3188
Show file tree
Hide file tree
Showing 6 changed files with 57 additions and 57 deletions.
6 changes: 3 additions & 3 deletions dev/reference/tools/tidb-lightning/config.md
Original file line number Diff line number Diff line change
Expand Up @@ -40,7 +40,7 @@ max-backups = 14

[lightning]
# 启动之前检查集群是否满足最低需求。
#check-requirements = true
# check-requirements = true

# 引擎文件的最大并行数。
# 每张表被切分成一个用于存储索引的“索引引擎”和若干存储行数据的“数据引擎”。
Expand Down Expand Up @@ -184,7 +184,7 @@ switch-mode = "5m"
# 在日志中打印导入进度的持续时间。
log-progress = "5m"

# 设置表库过滤。详情参见“TiDB Lightning 表库过滤”文档 (https://pingcap.com/docs-cn/stable/reference/tools/tidb-lightning/table-filter/#tidb-lightning-表库过滤)
# 设置表库过滤。详情参见“TiDB Lightning 表库过滤”文档。
# [black-white-list]
# ...
```
Expand Down Expand Up @@ -278,7 +278,7 @@ min-available-ratio = 0.05
| --tidb-status *port* | TiDB Server 的状态端口的(默认为10080) | `tidb.status-port` |
| --tidb-user *user* | 连接到 TiDB 的用户名 | `tidb.user` |

如果同时对命令行参数和配置文件中的对应参数进行更改,命令行参数将优先生效。例如,在 `cfg.toml` 文件中,不管对日志等级作出什么修改,运行`./tidb-lightning -L debug --config cfg.toml`命令总是将日志级别设置为“debug”。
如果同时对命令行参数和配置文件中的对应参数进行更改,命令行参数将优先生效。例如,在 `cfg.toml` 文件中,不管对日志等级做出什么修改,运行 `./tidb-lightning -L debug --config cfg.toml` 命令总是将日志级别设置为 “debug”。

### `tidb-lightning-ctl`

Expand Down
4 changes: 2 additions & 2 deletions dev/reference/tools/tidb-lightning/deployment.md
Original file line number Diff line number Diff line change
Expand Up @@ -216,7 +216,7 @@ TiDB Lightning 可随 TiDB 集群一起用 [Ansible 部署](/dev/how-to/deploy/o
import-dir = "/mnt/ssd/data.import/"
```

上面仅列出了 `tikv-importer` 的基本配置。完整配置请参考[`tikv-importer` 配置说明](/dev/reference/tools/tidb-lightning/config.md#tikv-importer-配置参数)。
上面仅列出了 `tikv-importer` 的基本配置。完整配置请参考[`tikv-importer` 配置说明](/dev/reference/tools/tidb-lightning/config.md#tikv-importer)。

3. 运行 `tikv-importer`

Expand Down Expand Up @@ -263,7 +263,7 @@ TiDB Lightning 可随 TiDB 集群一起用 [Ansible 部署](/dev/how-to/deploy/o
status-port = 10080
```

上面仅列出了 `tidb-lightning` 的基本配置信息。完整配置信息请参考[`tidb-lightning` 配置说明](/dev/reference/tools/tidb-lightning/config.md#tidb-lightning-全局配置参数)。
上面仅列出了 `tidb-lightning` 的基本配置信息。完整配置信息请参考[`tidb-lightning` 配置说明](/dev/reference/tools/tidb-lightning/config.md#tidb-lightning-全局配置)。

4. 运行 `tidb-lightning`。如果直接在命令行中用 `nohup` 启动程序,可能会因为 SIGHUP 信号而退出,建议把 `nohup` 放到脚本里面,如:

Expand Down
74 changes: 37 additions & 37 deletions dev/reference/tools/tidb-lightning/monitor.md
Original file line number Diff line number Diff line change
Expand Up @@ -61,16 +61,16 @@ scrape_configs:
使用 TiDB Ansible 部署 TiDB 集群时,会同时部署一套 Grafana + Prometheus 的监控系统。
如果使用其他方式部署 TiDB Lightning,需先[导入面板的 JSON 文件](https://raw.githubusercontent.com/pingcap/tidb-ansible/master/scripts/lightning.json)。
如果使用其他方式部署 TiDB Lightning,需先导入[面板的 JSON 文件](https://raw.githubusercontent.com/pingcap/tidb-ansible/master/scripts/lightning.json)。
### 第一行:速度面板
![第一行速度面板](/media/lightning-grafana-row-1.png)
| 面板名称 | 描述 |
|:-----|:-----|
| Import speed - write from lightning | 从 TiDB Lightning 向 TiKV Importer 发送键值对的速度,取决于每个表的复杂性 |
| Import speed - upload to tikv | TiKV Importer 上传所有 TiKV 副本的总体速度 |
| 面板名称 | 序列 | 描述 |
|:-----|:-----|:-----|
| Import speed | write from lightning | 从 TiDB Lightning 向 TiKV Importer 发送键值对的速度,取决于每个表的复杂性 |
| Import speed | upload to tikv | TiKV Importer 上传 SST 文件到所有 TiKV 副本的总体速度 |
| Chunk process duration | | 完全编码单个数据文件所需的平均时间 |
有时导入速度会降到 0,这是为了平衡其他部分的速度,属于正常现象。
Expand Down Expand Up @@ -99,55 +99,55 @@ scrape_configs:
![第四行配额使用面板](/media/lightning-grafana-row-4.png)
| 面板名称 | 描述 |
|:-----|:-----|
| Idle workers - io | 未使用的 `io-concurrency` 的数量,通常接近配置值(默认为 5),接近 0 时表示磁盘运行太慢 |
| Idle workers - closed-engine | 已关闭但未清理的引擎数量,通常接近 `index-concurrency` 与`table-concurrency` 的和(默认为 8),接近 0 时表示 TiDB Lightning 比 TiKV Importer 快,导致 TiDB Lightning 延迟 |
| Idle workers - table | 未使用的 `table-concurrency` 的数量,通常为 0,直到进程结束 |
| Idle workers - index | 未使用的 `index-concurrency` 的数量,通常为 0,直到进程结束 |
| Idle workers - region | 未使用的 `region-concurrency` 的数量,通常为 0,直到进程结束 |
| External resources - KV Encoder | 已激活的 KV encoder 的数量,通常与 `region-concurrency` 的数量相同,直到进程结束 |
| External resources - Importer Engines | 打开的引擎文件数量,不应超过 `max-open-engines` 的设置 |
| 面板名称 | 序列 | 描述 |
|:-----|:-----|:-----|
| Idle workers | io | 未使用的 `io-concurrency` 的数量,通常接近配置值(默认为 5),接近 0 时表示磁盘运行太慢 |
| Idle workers | closed-engine | 已关闭但未清理的引擎数量,通常接近 `index-concurrency` 与`table-concurrency` 的和(默认为 8),接近 0 时表示 TiDB Lightning 比 TiKV Importer 快,导致 TiDB Lightning 延迟 |
| Idle workers | table | 未使用的 `table-concurrency` 的数量,通常为 0,直到进程结束 |
| Idle workers | index | 未使用的 `index-concurrency` 的数量,通常为 0,直到进程结束 |
| Idle workers | region | 未使用的 `region-concurrency` 的数量,通常为 0,直到进程结束 |
| External resources | KV Encoder | 已激活的 KV encoder 的数量,通常与 `region-concurrency` 的数量相同,直到进程结束 |
| External resources | Importer Engines | 打开的引擎文件数量,不应超过 `max-open-engines` 的设置 |

### 第五行:读取速度面板

![第五行读取速度面板](/media/lightning-grafana-row-5.png)

| 面板名称| 描述 |
|:-----|:-----|
| Chunk parser read block duration - read block | 读取一个字节块来准备解析时所消耗的时间 |
| Chunk parser read block duration - apply worker | 等待 `io-concurrency` 空闲所消耗的时间 |
| SQL process duration - row encode | 解析和编码单行所消耗的时间 |
| SQL process duration - block deliver | 将一组键值对发送到 TiKV Importer 所消耗的时间 |
| 面板名称 | 序列 | 描述 |
|:-----|:-----|:-----|
| Chunk parser read block duration | read block | 读取一个字节块来准备解析时所消耗的时间 |
| Chunk parser read block duration | apply worker | 等待 `io-concurrency` 空闲所消耗的时间 |
| SQL process duration | row encode | 解析和编码单行所消耗的时间 |
| SQL process duration | block deliver | 将一组键值对发送到 TiKV Importer 所消耗的时间 |

如果上述项的持续时间过长,则表示 TiDB Lightning 使用的磁盘运行太慢或 I/O 太忙。

### 第六行:存储空间面板

![第六行存储空间面板](/media/lightning-grafana-row-6.png)

| 面板名称 | 描述 |
|:-----|:-----|
| SQL process rate - data deliver rate | 向 TiKV Importer 发送数据键值对的速度 |
| SQL process rate - index deliver rate | 向 TiKV Importer 发送索引键值对的速度 |
| SQL process rate - total deliver rate | 发送数据键值对及索引键值对的速度之和 |
| Total bytes - parser read size | TiDB Lightning 正在读取的字节数 |
| Total bytes - data deliver size | 已发送到 TiKV Importer 的数据键值对的字节数 |
| Total bytes - index deliver size | 已发送到 TiKV Importer 的索引键值对的字节数 |
| Total bytes - storage_size/3 | TiKV 集群占用的存储空间大小的 1/3(3 为默认的副本数量)|
| 面板名称 | 序列 |描述 |
|:-----|:-----|:-----|
| SQL process rate | data deliver rate | 向 TiKV Importer 发送数据键值对的速度 |
| SQL process rate | index deliver rate | 向 TiKV Importer 发送索引键值对的速度 |
| SQL process rate | total deliver rate | 发送数据键值对及索引键值对的速度之和 |
| Total bytes | parser read size | TiDB Lightning 正在读取的字节数 |
| Total bytes | data deliver size | 已发送到 TiKV Importer 的数据键值对的字节数 |
| Total bytes | index deliver size | 已发送到 TiKV Importer 的索引键值对的字节数 |
| Total bytes | storage_size/3 | TiKV 集群占用的存储空间大小的 1/3(3 为默认的副本数量)|

### 第七行:导入速度面板

![第七行导入速度面板](/media/lightning-grafana-row-7.png)

| 面板名称 | 描述 |
|:-----|:-----|
| Delivery duration - Range delivery | 将一个 range 的键值对上传到 TiKV 集群所消耗的时间 |
| Delivery duration - SST delivery | 将单个 SST 文件上传到 TiKV 集群所消耗的时间 |
| SST process duration - Split SST | 将键值对流切分成若干 SST 文件所消耗的时间 |
| SST process duration - SST upload | 上传单个 SST 文件所消耗的时间 |
| SST process duration - SST ingest | ingest 单个 SST 文件所消耗的时间 |
| SST process duration - SST size | 单个 SST 文件的大小 |
| 面板名称 | 序列 | 描述 |
|:-----|:-----|:-----|
| Delivery duration | Range delivery | 将一个 range 的键值对上传到 TiKV 集群所消耗的时间 |
| Delivery duration | SST delivery | 将单个 SST 文件上传到 TiKV 集群所消耗的时间 |
| SST process duration | Split SST | 将键值对流切分成若干 SST 文件所消耗的时间 |
| SST process duration | SST upload | 上传单个 SST 文件所消耗的时间 |
| SST process duration | SST ingest | ingest 单个 SST 文件所消耗的时间 |
| SST process duration | SST size | 单个 SST 文件的大小 |

## 监控指标

Expand Down
16 changes: 8 additions & 8 deletions dev/reference/tools/tidb-lightning/web.md
Original file line number Diff line number Diff line change
Expand Up @@ -12,17 +12,17 @@ TiDB Lightning 支持在网页上查看导入进度或执行一些简单任务

1. 在启动 `tidb-lightning` 时加上命令行参数 `--server-mode`

```sh
./tidb-lightning --server-mode --status-addr :8289
```
```sh
./tidb-lightning --server-mode --status-addr :8289
```

2. 在配置文件中设置 `lightning.server-mode`

```toml
[lightning]
server-mode = true
status-addr = ':8289'
```
```toml
[lightning]
server-mode = true
status-addr = ':8289'
```

TiDB Lightning 启动后,可以访问 `http://127.0.0.1:8289` 来管理程序(实际的 URL 取决于你的 `status-addr` 设置)。

Expand Down
8 changes: 4 additions & 4 deletions v2.1/reference/tools/tidb-lightning/deployment.md
Original file line number Diff line number Diff line change
Expand Up @@ -214,8 +214,8 @@ TiDB Lightning 可随 TiDB 集群一起用 [Ansible 部署](/v2.1/how-to/deploy/
# 存储引擎文档 (engine file) 的文件夹路径。
import-dir = "/mnt/ssd/data.import/"
```
上面仅列出了 `tikv-importer` 的基本配置。完整配置请参考[`tikv-importer` 配置说明](/v2.1/reference/tools/tidb-lightning/config.md#tikv-importer-配置参数)。

上面仅列出了 `tikv-importer` 的基本配置。完整配置请参考[`tikv-importer` 配置说明](/v2.1/reference/tools/tidb-lightning/config.md#tikv-importer)。

3. 运行 `tikv-importer`

Expand Down Expand Up @@ -261,8 +261,8 @@ TiDB Lightning 可随 TiDB 集群一起用 [Ansible 部署](/v2.1/how-to/deploy/
# 表架构信息在从 TiDB 的“状态端口”获取。
status-port = 10080
```
上面仅列出了 `tidb-lightning` 的基本配置。完整配置请参考[`tidb-lightning` 配置说明](/v2.1/reference/tools/tidb-lightning/config.md#tidb-lightning-全局配置参数)。

上面仅列出了 `tidb-lightning` 的基本配置。完整配置请参考[`tidb-lightning` 配置说明](/v2.1/reference/tools/tidb-lightning/config.md#tidb-lightning-全局配置)。

4. 运行 `tidb-lightning`。如果直接在命令行中用 `nohup` 启动程序,可能会因为 SIGHUP 信号而退出,建议把 `nohup` 放到脚本里面,如:

Expand Down
6 changes: 3 additions & 3 deletions v3.0/reference/tools/tidb-lightning/deployment.md
Original file line number Diff line number Diff line change
Expand Up @@ -217,7 +217,7 @@ TiDB Lightning 可随 TiDB 集群一起用 [Ansible 部署](/v3.0/how-to/deploy/
import-dir = "/mnt/ssd/data.import/"
```

上面仅列出了 `tikv-importer` 的基本配置。完整配置请参考[`tikv-importer` 配置说明](/v3.0/reference/tools/tidb-lightning/config.md#tikv-importer-配置参数)。
上面仅列出了 `tikv-importer` 的基本配置。完整配置请参考[`tikv-importer` 配置说明](/v3.0/reference/tools/tidb-lightning/config.md#tikv-importer)。

3. 运行 `tikv-importer`

Expand Down Expand Up @@ -263,8 +263,8 @@ TiDB Lightning 可随 TiDB 集群一起用 [Ansible 部署](/v3.0/how-to/deploy/
# 表架构信息在从 TiDB 的“状态端口”获取。
status-port = 10080
```
上面仅列出了 `tidb-lightning` 的基本配置。完整配置请参考[`tidb-lightning` 配置说明](/v3.0/reference/tools/tidb-lightning/config.md#tidb-lightning-全局配置参数)。

上面仅列出了 `tidb-lightning` 的基本配置。完整配置请参考[`tidb-lightning` 配置说明](/v3.0/reference/tools/tidb-lightning/config.md#tidb-lightning-全局配置)。

4. 运行 `tidb-lightning`。如果直接在命令行中用 `nohup` 启动程序,可能会因为 SIGHUP 信号而退出,建议把 `nohup` 放到脚本里面,如:

Expand Down

0 comments on commit 3ba3188

Please sign in to comment.