推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 2345 天前的主题，其中的信息可能已经有所发展或是发生改变。
小弟刚通过自学 python 找到一份爬虫工作，目前做了一个月了。
这一个月在摸清了工作后，自己写了简单的“框架”，每天就往里面填不同的 xpath 解析网页
要不就是用 scrapy，反正也是往里面塞 xpath，感觉如果继续下去对个人的技术水平提高也不大
而且爬虫也有一定的法律风险，未来想跳转到其他方向。
想学习一些新的技能，想请教各位大佬，应该学习一些什么技能比较好呢？
目前我的想法是：
1、python 后端的话，似乎是可以的，自己之前也写过一两个小网站，但市场需求似乎不是很多
2、大数据开发，这块并不十分了解，希望有大佬科普。
3、机器学习 唯一接触到的就是用 cnn 识别了验证码搭了个服务返回识别后的验证码，个人也比较感兴趣，但因为对数学和学历有较高的要求，而我是个渣三本不说，高数还挂过，不确定自己是否有能力
4、学习其他语言 java、Golang，做 web 后端。我明白只掌握 python 一门语言是不够的，但似乎学习一门新语言的学习曲线更陡峭，比较担心因此找不到工作或者不能在短期（ 6-12 个月）之内换工作，而且我自己更喜欢 python 一些。
5、继续做爬虫。看了下招聘网站，高端的爬虫还是要求很多的，做起来也比我现在更有意思一些，但仍然存在法律和就业面狭窄的风险
写的有点碎，感谢各位看完，排名分先后，请大家用力滋我。感谢
这一个月在摸清了工作后，自己写了简单的“框架”，每天就往里面填不同的 xpath 解析网页
要不就是用 scrapy，反正也是往里面塞 xpath，感觉如果继续下去对个人的技术水平提高也不大
而且爬虫也有一定的法律风险，未来想跳转到其他方向。
想学习一些新的技能，想请教各位大佬，应该学习一些什么技能比较好呢？
目前我的想法是：
1、python 后端的话，似乎是可以的，自己之前也写过一两个小网站，但市场需求似乎不是很多
2、大数据开发，这块并不十分了解，希望有大佬科普。
3、机器学习 唯一接触到的就是用 cnn 识别了验证码搭了个服务返回识别后的验证码，个人也比较感兴趣，但因为对数学和学历有较高的要求，而我是个渣三本不说，高数还挂过，不确定自己是否有能力
4、学习其他语言 java、Golang，做 web 后端。我明白只掌握 python 一门语言是不够的，但似乎学习一门新语言的学习曲线更陡峭，比较担心因此找不到工作或者不能在短期（ 6-12 个月）之内换工作，而且我自己更喜欢 python 一些。
5、继续做爬虫。看了下招聘网站，高端的爬虫还是要求很多的，做起来也比我现在更有意思一些，但仍然存在法律和就业面狭窄的风险
写的有点碎，感谢各位看完，排名分先后，请大家用力滋我。感谢
 | 1 lasuar 2019-05-28 14:22:35 +08:00  1 既然你喜欢 Python，那何不做个高级 Pyer 呢； 如果你所在的城市有不少的 python 岗，那就把 django 玩透，再熟悉一下 mysql/redis/mongo，再看点架构设计文档找后端岗不是轻松吗。 |
 | 2 rogwan 2019-05-28 14:26:14 +08:00 via Android 1 爬虫+数据分析的组合，还是前景广阔的。光爬回来，不会分析数据，也还欠缺了点。 |
 | 3 janxin 2019-05-28 14:28:21 +08:00 1 大数据工程师呀 |
 | 4 fank99 OP |
 | 5 wersonliu9527 2019-05-28 14:38:14 +08:00 2 我也是自学了，入职爬虫一年出头，中途也去面了几次后端。基本上都问 mysql 优化问题，大量数据时怎么处理。我说了些理论上的查表优化，接口数据缓存。基本上没下文。还在继续写 xpath 0.0 |
 | 6 andylsr 2019-05-28 14:39:06 +08:00 via Android 1 把爬虫做成一个可扩展的系统呗~一个后台管理全部爬虫任务，基本功能：添加，暂停，删除爬虫，爬虫节点动态扩展，其中会涉及集群操作的很多知识~~/div> |
 | 7 SleipniR 2019-05-28 14:39:36 +08:00 2 对 Python 开发来说，大数据现在一般指 Hadoop/HDFS/ElasticSearch/Kafka/Spark 这个系列的技能，数据分析指 Nympy/Scipy/Pandas/Matploitlib 这个系列的技能。 |
| 8 fank99 OP @wersonliu9527 握手 |
 | 10 fairyto2 2019-05-28 14:45:40 +08:00 @SleipniR 数据分析更重要的是数学建模能力吧，那些只是工具，我会用 sql 会用 excel 也一样能完成任务，但是不会数学不行 |
 | 11 QQ2171775959 2019-05-28 14:48:11 +08:00 这个是需要一个多 IP 和站群服务器来支撑的，那样子的话优化才能起到作用。 |
 | 12 binux 2019-05-28 14:55:20 +08:00 via iPhone 去百度，google |
 | 13 tt67wq 2019-05-28 14:56:02 +08:00 成为一个光荣的运维狗 |
 | 14 BadReese 2019-05-28 15:06:40 +08:00 转近战猎人 |
 | 15 araraloren 2019-05-28 15:15:29 +08:00 转职可以考虑大数据师，技能多，全是 AOE 伤害，就是有点耗蓝 |
 | 16 abb1513 2019-05-28 15:32:07 +08:00 成为一个光荣的运维狗 +1 |
 | 17 Takamine 2019-05-28 15:35:05 +08:00 要么继续走爬虫到 BI 的路，要么转 Web 吧。 我比较推荐前者，诶嘿嘿诶嘿嘿。:rocket: |
 | 18 YOOHUU 2019-05-28 15:40:36 +08:00 成为一个光荣的运维狗 +2 |
 | 19 tikazyq 2019-05-28 15:41:43 +08:00 想要节省爬虫的编写时间，可以参考一下我的开源爬虫平台 Crawlab, https: // github.com/ tikazyq/crawlab Crawlab 是一个专注于爬虫的集成了爬虫管理、任务调度、任务监控、数据分析等模块的分布式爬虫管理平台，非常适合对爬虫管理、爬虫工程化有要求的开发者及企业。 最近开发的可配置爬虫正好解决你配置爬虫的问题，1-3 分钟编写好一个可运行的爬虫。 [我是如何在 3 分钟内开发完一个爬虫的]( https: // juejin.im /post/5ceb4342f265da1bc8540660) |
 | 20 qq976739120 2019-05-28 15:50:10 +08:00 趁年轻,推荐转 java 或者前端 ----杭州 pyer 的忠告 |
 | 21 collector 2019-05-28 16:01:06 +08:00 我也是学习的 python，身边很多人都在用 python 做一些简单的数据分析，根据和他们的交流，他们工作的技术含量不是特别的高，但是目前招聘有提高要求的趋势，web 方面的需求不大，有个在 P2P 做过的，做 flask+数据分析来展示数据的平台，其他的都是不算太难的处理表格的，爬虫的说实话，也没有多少人在做，人在上海，希望和楼主多交流，python 市场还是有点小 |
| 22 collector 2019-05-28 16:02:34 +08:00 @qq976739120 前端现在不是培训班批量生产吗？请问 python 在杭州的行情如何？ |
| 23 qq976739120 2019-05-28 16:04:48 +08:00 @collector 我刚从上海来....来之前也觉得上海市场小,到了杭州发现上海好的多的多 |
| 24 collector 2019-05-28 16:10:28 +08:00 @qq976739120 我曾经想过要去杭州发展呢。。。看来 python 做主力还是差点啊，快要换工作了，压力好大 |
 | 25 la2la 2019-05-28 16:16:44 +08:00 跟我现在的感觉一模一样，爬虫做多了没意思。简单的网站就是体力活，复杂的验证码涉及到机器学习搞不了。目前我打算 学习一下 java，走大数据路线，不知道是否可行。数据分析我也尝试过，发现知道如何建模，比如何使用 pandas 等这些工具更重要，有点烦 |
| 26 lasuar 2019-05-28 16:30:52 +08:00 |
| 27 collector 2019-05-28 16:32:13 +08:00 @la2la 涉及建模就贴近机器学习那边了，对算法和数学要求就高了，间接的对学历要求就高了。。我也打算往大数据发展的。。 |
 | 28 ksedz 2019-05-28 16:36:02 +08:00 不建议转 web 可以考虑大数据、机器学习、转 golang 有机会的话转 Java、C++ 也行 |
| 31 collector 2019-05-28 16:49:51 +08:00 @tikazyq 反爬手段越来越多也越来越高级，做到后面必然涉及到机器学习了，而且爬虫只是获取数据的方式，有了数据又要分析，这又要到数据分析了，所以最后爬虫还是要转的，我是这样觉得的 |
 | 33 NaVient 2019-05-28 17:02:05 +08:00 欢迎成为运维开发 |
| 34 fank99 OP @qq976739120 谢谢，也考虑过 java。不过是不是 python 转 Golang 比 java 更顺滑一些？ @collector 人在成都，上海 Python web 应该比成都好找很多吧？ @la2la 同烦，苦恼 @lasuar 谢谢 @ksedz 可以具体说下不建议做 web 的原因吗？ |
| 35 fank99 OP |
| 36 NaVient 2019-05-28 17:50:09 +08:00 @fank99 #35 之前与你有一样的困惑，现在转做 DevOps 其实大多数时候还是开发，前后端一把梭，只是偏向于内部运维系统，在开发这种系统的时候慢慢学运维就会有感觉了。 |
 | 38 SpiderXiantang 2019-05-28 19:14:44 +08:00 Java 后端 |
| 39 SpiderXiantang 2019-05-28 19:15:04 +08:00 看我 ID 现在在上海做后端 。。。。 |
 | 40 lucays 2019-05-28 19:45:40 +08:00 via Android 我工作一年半主要写写 scrapy, 其他的 django, flask 都做过还做过一点自然语言处理调包的项目…感觉不行爬虫太无聊，骑驴找马找了一个月才成功转了 web 后端…个人感觉自己还是比较失败的我还在上海…还找了这么久，boss 和拉勾很多公司一点都不靠谱 |
 | 41 sazima 2019-05-28 21:42:09 +08:00 python 后端一年多, 目前处于一种迷茫的状态. |
 | 43 stallman 2019-05-28 23:30:30 +08:00 via Android 做爬虫不是长久之计，如果真想往这方面的话可以考虑渗透，网络攻防。做后台感觉 python 在这方面竟争力比 java 差太远了，数据分析倒是没关注。而且现在 python 找工作市场比较饱和，要求变得越来越高了，来自一个做了一年爬虫一年 web 最近找工作的感受 |
 | 44 wbf1013 2019-05-28 23:56:18 +08:00 via iPhone 没人推荐 .net 吗？滑稽 |
 | 45 luzihang 2019-05-29 09:25:17 +08:00 所以 Python 转大数据工程师，是什么路径？先学 Java 吗 |
| 46 fank99 OP @stallman 我也觉得渗透、安全这块的话，python 还是有优势的，就找工作而言。老哥找 web 工作需要哪些技能呢 |
 | 49 fang7781111 2019-05-29 11:30:35 +08:00 安卓逆向开发可以做比 |
 | 50 datou 2019-05-29 15:56:56 +08:00 口才好的话去培训班当讲师 |
 | 52 Untamed 2019-05-30 09:31:54 +08:00 我靠我现在也在自学 python...本来准备转数据分析的，但是感觉技术含量好低，想着先入行再调整方向...看了大家说的我都有点慌...python 被培训班炒的太过了 |
| 55 Untamed 2019-06-04 11:24:43 +08:00 |
 | 56 songkai 2019-06-14 15:44:08 +08:00 python 被国内培训班炒火了，实际上 python 岗位也不多，想要长久还是学学 java、C 吧，做算法是最好的选择。 |
Select Language