dgraph在docker和k8s环境上的数据迁移实践

[Valdanitooooo]

live 方式

适合处理少量数据(百万predicate级别)，对服务器配置要求高

优点：不需要重启服务，可增量导入
缺点：速度没有bulk快，需要内存更多，相同服务器配置速度差六倍左右

备份数据

• 导出数据

docker exec -it <dgraph_alpha:container_id/container_name> bash curl localhost:<dgraph_alpha_http_port>/admin/export

• 将导出的文件copy出来

docker cp <dgraph_alpha:container_id/container_name>:/dgraph/export/xxx.rdf.gz .

docker cp <dgraph_alpha:container_id/container_name>:/dgraph/export/xxx.schema.gz .

导入数据

• 将xxx.rdf.gz文件导入到新的的dgraph环境
  导入时只导入rdf文件:

dgraph live -f xxx.rdf.gz -a <dgraph_alpha_host>:<dgraph_alpha_grpc_port> -z <dgraph_zero_host>:<dgraph_zero_grpc_port>

• 再通过ratel或者API导入schema
  略

bulk方式

适合数据初始化操作，速度更快，适合千万predicate以上级别数据量

优点：速度快，消耗内存更少
缺点：只能全量导入，无法增量导入，导入后需要重启服务

备份数据

在任意一个一台alpha服务器上运行以下代码进行备份

curl localhost:<dgraph_alpha_http_port>/admin/export

若在Docker容器中可以使用
docker exec -it <dgraph_alpha:container_id/container_name> bash curl localhost:<dgraph_alpha_http_port>/admin/export

将容器中的文件复制到宿主机上当前目录
docker cp <dgraph_alpha:container_id/container_name>:/dgraph/export/ ./

停止alpha服务

- docker 环境

docker stop <dgraph_alpha:container_id/container_name>

- k8s集群环境

前提是启用 initContainers

   initContainers:
     - name: init-alpha
       image: dgraph/dgraph:v***
       command:
         - bash
         - "-c"
         - |
           trap "exit" SIGINT SIGTERM
           echo "Write to /dgraph/doneinit when ready."
           until [ -f /dgraph/doneinit ]; do sleep 2; done
       volumeMounts:
         - name: datadir
           mountPath: /dgraph

第一步，删除所有alpha数据卷中的/dgraph/doneinit
第二步，删除所有alpha pod

### 导入数据

#### 复制文件到容器中

一般使用zero容器

- docker环境

docker cp ./xxx.rdf.gz <dgraph_zero:container_id/container_name>:/dgraph
docker cp ./xxx.schema.gz <dgraph_zero:container_id/container_name>:/dgraph

- k8s环境
将文件复制到任意一台zero容器中
kubectl cp ./xxx.rdf.gz  <zero_contatiner>:/dgraph/
kubectl cp ./xxx.schema.gz  <zero_contatiner>:/dgraph/

进入容器环境

• docker环境

docker exec -it <dgraph_zero:container_id/container_name> bash

• k8s环境
  进入zero容器

kubectl exec -it <zero_contatiner> bash

执行导入

--map_shards 和 --reduce_shards 视集群配置而定

dgraph bulk -f ./xxx.rdf.gz -s ./xxx.schema.gz --map_shards=** --reduce_shards=** --zero=localhost:5080

启动alpha服务

• docker环境

docker-compose up -d

• k8s环境

1. 将zero生成的数据文件copy到k8s master 服务器

kubectl cp <zero_contatiner_N>:/dgraph/out/ ./

2. 将数据文件复制到每一台Alpha init容器中,并放置在yml配置文件中的指定的路径下

kubectl cp ./data/0/p/ <alpha_contatiner_N>:/dgraph/ -c init-alpha

3. 触发init事件,启动alpha

kubectl exec <alpha_contatiner_N> -c init-alpha touch /dgraph/doneinit