中科宇图科技股份有限公司
人力资源
社会招聘
数据采集工程师

【数据采集工程师】

(一) 岗位职责:
1、负责关系型和非关系型的数据接入工作;
2、负责调研和收集互联网可采集的数据;
3、负责数据采集、数据传输等的代码编程等工作; 
4、参与数据采集、清洗及数据库设计部分;
5、负责数据采集系统的安全性和稳定性。
(二) 任职要求:
1、计算机、软件工程等相关专业本科及以上学历;
2、熟练使用Java、Python中的至少一种编程语言;
3、精通Scrapy或其他爬虫框架,并可基于其做智能爬虫开发;
4、精通Flume,能够自定义编辑source、sink、channel等并能独立完成个性化采集的开发需求;
5、熟悉kafka,能够把flume采集的数据写入到kafka里;
6、熟悉关系型数据库的开发、Mysql、Mongdb,熟悉Sqoop等关系型数据库或日志采集技术优先;
7、做事严谨,主动、积极,有强烈的事业心及开拓进取心,良好的人格品质与职业操守。

工作地点:北京

简历投递邮箱:anxm@mapuni.com

中科汇联承办,easysite内容管理系统,portal门户,舆情监测,搜索引擎,政府门户,信息公开,电子政务