数据采集工程师 14k-25k

更新于 2021-02-22

3-5年
本科
工作周期:六个月以上
8小时/天
5天/周

职位描述

职责:

工作职责:

1、负责公司的分布式数据采集平台设计和搭建,提供业务数据支持;

2、优化数据采集性能,实时监控数据采集进度和预警,保证数据采集的速度和稳定性,提供解决方案;

3、研究和破解各种反爬策略,具备基本加密算法逆向能力;

任职资格:

1、计算机及相关专业本科或以上学历,掌握Python/Java/C中任意一种编程语言;

2、精通网页抓取原理,有能力从结构化和非结构化的数据中提取信息;

3、熟悉至少一种开源爬虫框架,了解各组件工作流;

4、有能力分析反爬措施并提供解决方案;

5、熟悉多进程、分布式工作架构,有能力开发系统化的解决方案;

6、有js逆向、app逆向经验可优先考虑。

  • 滨江区秋溢路289号(世包大楼5楼) (邮编:310052)