数据采集工程师岗位职责：负责数据研究、采集、分类、预处理、分类和存储。
数据采集工程师的主要能力要求如下：
a） 专业知识：
1）网络爬虫知识，2）离线数据收集知识，3）实时数据收集知识，4）作业调度知识，5）文件系统数据存储知识，6）关系数据库知识，7）非关系数据库知识，8）数据清洗知识，9）数据ETL知识，10）基本数据库操作知识，11）SQL函数知识， 12）结构化、半结构化和非结构化计算知识，13）分布式计算知识，14）内存计算知识，15）数据结构封装知识，16）关键业务指标知识，17）OLAP系统应用知识，18）数据检索知识，19）交互式计算知识，20）报告制作知识。
b） 专业技能：
1）根据业务需求进行网络化、离线化、实时数据采集
2）您可以使用框架根据调度策略设置调度作业
3）可根据存储策略进行数据存储
4）能够根据业务需求清理缺失数据、嘈杂数据、不一致数据等
5）能够根据业务需求整合不同数据源的数据
6）能够根据业务规则转换数据格式;
7）能够根据数据归一化原则对数据的单位和数值进行标准化
8）能够根据业务需求编写批量和实时数据计算作业
9）能够计算数据标签，并根据数据特征进行汇总
10）能够根据数据指标规则计算关键业务指标;
11）能够基于数据平台搭建在线交易分析系统，并进行专项查询;
12）能够根据搜索引擎创建索引数据库并检索数据
13）能够使用交互式查询工具创建数据接口，并提供外部服务接口
14）能够使用交互式查询平台制作报表和展示图表。
c） 经验：
1）从事该岗位1年以上。
数据采集工程师的中级能力要求如下：
a） 专业知识：
1）信息系统配置知识，2）数据监控和迁移知识，3）数据存储策略知识，4）常用算法和数据结构知识，5）数据分析知识，6）数据倾斜知识，7）大规模并行分析数据库知识，8）数据立方体知识，9）查询引擎知识，10）数据分割知识。
b） 专业技能：
1）可根据业务需求采集网络、离线、实时数据，配置数据缓存和消息队列
2）能够根据业务需求参与制定数据迁移计划;
3）能够制定调度策略;
4）能够制定存储策略，指导初级工程师存储数据;
5）能够编写批量和实时数据计算作业，并根据业务需求优化作业参数
6）能够设计相应的标签库，并根据业务规则对标签进行管理
7）能够根据业务规则设计相应的数据指标计算算法;
8）能够根据业务规则计算关系对象的图形;
9） 能够使用大规模并行分析数据库优化在线交易分析系统的性能
10）能够使用计算引擎优化数据查询效率
11）能够通过计算平台构建检索分析系统。
c） 经验：
1）有一定的收藏相关项目经验;
2）从事该岗位3年以上。
数据采集工程师的高级能力要求如下：
a） 专业知识：
1）数据收集和迁移策略，2）依赖调度原理知识，3）存储架构知识，4）数据算法设计知识，5）数据分区和缓存知识，6）外部程序管道知识，7）计算引擎优化知识，8）索引优化知识，9）数据加盐知识，10）驱动器和执行器知识。
b） 专业技能：
1）能够根据业务场景制定数据采集策略并监控采集情况
2）能够根据业务场景制定数据迁移策略并监控迁移
3）能够根据业务和性能要求设计消息传输和推送方案
4）能够根据业务需求和依赖关系设计调度方案
5）能够根据业务需求和存储应用设计存储策略
6）能够根据业务需求设计离线或实时数据计算算法
7）能够制定数据标签库管理和规范;
8）能够制定数据计算开发流程和规范;
9）能够制定数据查询操作流程和规范
10）能够深入计算引擎优化底层**，提高查询性能;
11）能够制定外部数据接口规范和权限。
c） 经验：
1）有数据收集相关项目经验
2）从事该岗位5年以上。