关于数据采集配置的功能定义和要求

1、为更好定制采集任务，对平台所有的采集任务进行规则的配置。支持对文件是否合并的配置。

2、支持对采集频率的配置，如分钟级。支持对采集方式的配置如FTP，Flume 等。

3、支持对采集主机及端口可配置。支持多主机配置。支持对数据清洗规则可配置，可动态添加字段清洗条件。

4、支持对采集路径及文件名匹配规则的可配置。如：正则表达式匹配。

5、支持第三方软件进行平台间的数据同步。如OGG 方式。

6、支持校验采集文件是否篡改机制。如：文件MD5 校验。

7、支持对采集数据存储介质可配置。如：消息中间件、HDFS 等。