Skip to content

文件切分

quhongwei edited this page Mar 28, 2018 · 1 revision

文件切分是指按大小将数据内容分片, 这里分片到行不会在行中间断开

分布式环境一般处理流程:

  1. 创建文件分片工具 FileSplitter splitter = FileFactory.createSplitter(config.getStorageConfig());
  2. 创建文件分片: (这里并没有真正对文件进行物理拆分)
    FileSlice headSlice = splitter.getHeadSlice(config);
    List slices = splitter.getBodySlices(config, 256);
    FileSlice tailSlice = splitter.getTailSlice(config);
  3. 将所有分片落成分片任务, 然后向集群分发分片任务
  4. 集群中机器拿到分片任务,根据分片数据范围处理数据

分片读参考分片读文档