base 上海 龙阳路这边，叮咚买菜，爬虫， app 逆向有兴趣的私我

职位描述
1 、参与 APP 爬虫项目的架构设计、研发工作，改进和提升爬虫效率，对反反爬虫技术难点攻坚；
2 、设计爬虫策略及系统监控，提升抓取效率和稳定性，参与分布式爬虫和数据采集系统的架构设计和开发
3 、解决各类技术疑难问题，以及日常维护工作
4 、分析结构化和非结构化数据，并对数据抓取、信息提取、去重、清洗
任职资格：
岗位要求：
1 、计算机相关专业本科及以上学历，3 年以上工作经验，二年以上 IOS 或者 Android 开发经验
2 、熟练掌握 Python 并了解 Java 、NodeJS 、Java Script 三种语言任意一种；
3 、丰富的电商数据爬取经验，熟悉各类反爬虫和反反爬虫策略（如模拟登录，IP 问题，动态加载，重定向，数字加密，Javascript 反爬，爬虫策略，防屏蔽规则，App 爬取，验证码识别等），并有丰富的反反爬虫实战经验
4 、精通网页抓取原理及技术，精通正则表达式，熟练从结构化和非结构化的数据中获取信息，精通一种开源爬虫框架，如 scrapy 、webmagic 、nutch 、heritrix 等等，有开发爬虫框架经验优先；
5 、善于独立分析并解决核心问题；
6 、对爬虫有浓厚的兴趣，责任感强，有较好的交流沟通能力和团队合作能力
加分项：
1 、大规模分布式爬虫开发经验、数据分析、机器学习建模能力
2 、有成功搭建过自动化采集集群者优先；
3 、熟悉搜索引擎和个性化相关的机器学习算法相关技术，精通主流分词算法、分类、提取摘要、大 规模网页聚类、索引、检索等相关开发经验者优先
4 、有 appium/stf 群控技术经验的优先，有 APP 安全、逆向等领域经验的优先

我的微信 MTU5MjEyNzk2MDA=