集群环境文件处理

文件大了单机处理就很慢， 数据库解决单机瓶颈方式是分库分表， 文件也一样需要将文件拆分，利用集群机器并发处理。

本文档不去详细介绍分布式任务及调度， 只是简单示例一下

如下图文件处理流程

1. 导入类文件一般会先对文件按大小切分，生成分片任务
2. 导出类文件一般会根据分库分表位，生成分片任务