[招聘] [常德] 爬虫工程师

招聘爬虫工程师

• 帮同学发个招聘信息，感兴趣的朋友可以联系我同学。wx：MzkwNTI0MDAy 。
• 前期可以线上聊。公司有提供宿舍。

职位描述：

1. 根据产品需求，负责功能模块设计，编码及单元测试，按时保质保量完成任务；
2. 系统开发基础资源框架的不断升级完善及组件积累；
3. 系统日常维护，优化改进，确保已上线系统运行稳定可靠；
4. 领导交办的其他工作。

任职要求:

1. 实际爬虫工作 2-3 年以上，熟悉 TCP/IP 、HTTP 、HTTPS 等网络协议，熟悉 web 前端，可读懂 is/css/html 等代码；
2. 熟练使用 Python 语言，熟悉常用爬虫框架如 Scrapy 等。熟悉反爬虫技术及破解方法；
3. 熟练使用 selenium ，lxml.bs4 。对 xml ，html 的文本进行抓取解析清理；
4. 熟悉 MySql/PostgreSQL/MongoDB/Redis 等常用数据库或缓存的一种，掌握 Java 、scala 语言优先考虑；
5. 熟悉高并发、高性能的分布式系统的设计及应用对管理网站的 cookie 实效性处理有经验;熟悉 hdfs 各种大数据技术优先。