职位描述

职位描述
1、负责各类网站和App端数据抓取和平台搭建；
2、负责对爬取数据进行分类和解析；
3、负责开发高性能抓取架构，支持业务发展；
4、参与爬虫项目的架构设计、研发、编程工作，改进和提升爬虫效率；
5、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；
6、负责后台爬虫数据的分布式存储设计以及代码实现；
7、负责分布式爬虫策略持续优化；


任职要求
1、2年+爬虫经验，至少熟练掌握Python/Go/JS其中一种语言
2、熟悉PC端、移动端数据抓取（有逆向、脱壳等经验），掌握Apktool、Dex2jar、JD-GUI等工具，抓取过主流电商平台和主流App软件；
3、熟悉目前主流的一些爬虫框架
4、有解决复杂的反爬限制实践经验，能解决如图片验证码/滑块/账号限制/ip限制等问题。
5、熟悉Linux平台，熟练掌握Java或Python爬虫框架，熟悉Shell、HTTP协议、HTML、DOM、XPath，掌握Git、Maven、SVN等工具和实践，注重工程规范；
6、具有分布式爬虫开发经验，熟悉浏览器内核，有cef、webkit开发经验更佳；
7.具备丰富的逆向工程经验，尤其在Android、iOS平台的逆向工程经验。有成功逆向过复杂软件数据结构、功能、算法的经历；
8、性格开朗、善于沟通，有良好的自我驱动学习能力，注重效率和团队意识