Skip to content

组件概览

quhongwei edited this page Mar 28, 2018 · 3 revisions

组件背景

在金融机构,监管行之间常用的一种数据交换形式是文件。 这种文件一般是文本文件,文件以换行符分割数据, 一行数据的字段可以由分隔符分割,也可以是固定长度字节数的字段。文件中除了业务数据也可以有文件头文件尾, 文件的文件头一般包含一些汇总信息如总笔数,总金额,或者字段的描述信息等。我们把这种文件叫做结构化的数据文件。

大文件处理,对CPU、IO、网络消耗非常大,在集群环境下通过分片处理可以有效的解决单机瓶颈

Rdf-file组件设计用来在集群环境中处理这种结构化文件的通用组件

组件功能

主要具备如下功能:

  1. 文件个性化参数配置
  2. 文件读
  3. 文件写
  4. 文件切分
  5. 文件合并
  6. 文件多存储操作
  7. 文件校验
  8. 文件排序
  9. 文件多协议(格式)支持
  10. 自定义文件协议
  11. 自动类型转换