tools: update document about migration data from mysql #1921
Conversation
WangXiangUSTC
changed the title
|
@CaitinChen @GregoryIan PTAL |
Co-Authored-By: Xuecheng Zhang <csuzhangxc@gmail.com>
Co-Authored-By: Xuecheng Zhang <csuzhangxc@gmail.com>
dev/how-to/migrate/overview.md
Outdated
| @@ -11,37 +11,24 @@ category: how-to | |||
|
|
|||
| 在上述数据迁移过程中会用到如下工具： | |||
|
|
|||
| - [DM (Data Migration)](/dev/reference/tools/data-migration/overview.md)：集成了 Mydumper、Loader、Syncer 的功能，支持 MySQL 数据的全量导出和到 TiDB 的全量导入，还支持 MySQL binlog 数据到 TiDB 的增量同步。 | |||
| - [TiDB Lightning](/dev/reference/tools/tidb-lightning/overview.md)：用于将全量数据高速导入到 TiDB 集群。例如，如果要导入超过 1TiB 的数据，使用 Loader 往往需花费几十个小时，而使用 TiDB-Lightning 的导入速度至少是 Loader 的三倍。 | |||
dev/how-to/migrate/from-mysql.md
Outdated
| > 目前 TiDB 支持 UTF8mb4 [字符编码](/dev/reference/sql/character-set.md)，假设 Mydumper 导出数据为 latin1 字符编码，请使用 `iconv -f latin1 -t utf-8 $file -o /data/imdbload/$basename` 命令转换，$file 为已有文件，$basename 为转换后文件。 | ||
| - **DM**：先使用 DM 将数据从 MySQL 全量迁移至 TiDB，然后使用 DM 将 MySQL binlog 数据增量同步至 TiDB。一般场景推荐使用 DM，详细使用方法参见 [DM (Data Migration)](/dev/reference/tools/data-migration/overview.md)。 | ||
| - **Mydumper + TiDB Lightning + DM**：先使用 Mydumper 将数据从 MySQL 导出，然后使用 TiDB Lightning 将数据导入至 TiDB，再使用 DM 创建增量同步任务将 MySQL binlog 数据同步至 TiDB。仅在全量数据在 T 级别以上以及对全量数据的导入速度有较高要求的场景下推荐使用该方案，详细使用方法参见 [Mydumper](/dev/reference/tools/mydumper.md)、[TiDB Lightning](/dev/reference/tools/tidb-lightning/overview.md) 和 [DM (Data Migration)](/dev/reference/tools/data-migration/overview.md)。 | ||
| - **Mydumper + Loader + Syncer**：先使用 Mydumper 将数据从 MySQL 导出，然后使用 Loader 将数据导入至 TiDB，再使用 Syncer 将 MySQL binlog 数据增量同步至 TiDB。适合在数据量较少的场景及测试环境中使用该方案，详细操作参见 [MySQL 数据到 TiDB 的增量同步](/dev/how-to/migrate/incrementally-from-mysql.md)。 |
There was a problem hiding this comment.
尽量不推进 loader 了，使用 lightning 的 tidb backend 模式吧
There was a problem hiding this comment.
目前 lightning 的文档还没有更新，等文档更新后我再更新下描述吧
There was a problem hiding this comment.
等 lightning 文档合并吧，应该可以用这个文章 https://docs.google.com/document/d/13U0Cud3YSThQFOzIQwt-aWjwd4M4fOKBb3JMtlQYQV4/edit
| @@ -0,0 +1,124 @@ | |||
| --- | |||
There was a problem hiding this comment.
Recommend using the file name "full-data-from-mysql.md", so the directory will be dev/how-to/migrate/full-data-from-mysql.md which conveys a clearer meaning~
There was a problem hiding this comment.
And no need to add this file to TOC.md?
Also this file /dev/how-to/migrate/incrementally-from-mysql.md is not in TOC.md now.
dev/how-to/migrate/from-mysql.md
Outdated
| category: how-to | ||
| --- | ||
|
|
||
| # 全量数据迁移 | ||
| # 从 MySQL 迁移数据 | ||
|
|
There was a problem hiding this comment.
一二级标题间最好加一段介绍性概述，可以参考这一段或稍微写两句话总结一下这篇文章。
Co-Authored-By: Keke Yi <40977455+yikeke@users.noreply.github.com>
|
@WangXiangUSTC 如果该更新也适用于 v3.1，也请更新至 v3.1，谢谢~ |
|
@TomShawn need wait for other document ready, don't update now |
|
#2184 is merged. Please update the content. @WangXiangUSTC |
This reverts commit 46cdcbc.
|
由于近期多版本维护方式的改变，我们将原来 master 下几个版本文件夹拆散到了不同的 release branch 里，用维护多版本代码的方式来维护多版本文档，从而减轻大家复制粘贴同一份更新到多个版本文件夹的工作量。 由于上游的文件结构改变了，我在给本 PR 处理冲突的过程中，发现原来的四个文件更新有三个已经在另一个 PR 里做了更改（因为这个 PR 比较久远了），所以冲突解决完后只剩一个文件了。 如果这个 PR 还有需要改的，或者我解决冲突的过程有不妥之处，请随时戳我，谢谢理解。 @WangXiangUSTC FYI @csuzhangxc @GregoryIan |
|
After this PR merges, sre-bot will automatically cherry-pick this PR to the |
|
As confirmed by @WangXiangUSTC, the changes in this PR are outdated, so I'll close this PR. |
What is changed, added or deleted?
mydumper, loader and synced is not recommend to use, need update the docs.
Which version does your change affect?
update dev now, and after get two LGTM I will update v2.1 and v3.0