V2EX stillzhl 的所有回复第 1 页 / 共 5 页

@JoshOY cpu 用到极限应该是利用率达到 100% ＊核心数，这才算是跑满多核 CPU 了。
@dai269619118 我觉得这里边你问了两个问题：
1 、为什么 8 个线程只用了 10%的 cpu ？
python 由于 GIL 的问题，单个进程里边的多线程并不能真正利用多核 cpu 的新能，不能实现多核上的并行，这能在单个核上并发之行。不过这对于爬虫这种 IO 密集型的程序已经足够了。在等待网络 IO 的时候， cpu 可以并发进行解析网页等计算。
2 、如何提高爬虫的抓取速度？
提高抓取速度的关键就是加快网络 IO ，可以从多个方面来解决这个问题，比如 1 、在本地做 dns 缓存； 2 、增加对页面的并发请求量等等措施。当然这些工作强大的 scrapy 框架已经都考虑到了。你可以自己去 google 里面搜索关于爬虫的 papper 阅读，关键词可以是“ Web Crawler"/"Distribute Web Crawler"等等，爬虫的架构以及性能分析等都很详细。

2015-09-11 20:24:36 +08:00

回复了 smartdie 创建的主题求职今天去面试 ONEAPM（蓝海讯通）的 Python 开发被 HR 恶心到了

@ultimate010 看来你路子很广 :D

2015-09-11 20:23:37 +08:00

回复了 smartdie 创建的主题求职今天去面试 ONEAPM（蓝海讯通）的 Python 开发被 HR 恶心到了

@KotiyaSanae 哎呀被你发现了

2015-09-11 20:23:21 +08:00

回复了 smartdie 创建的主题求职今天去面试 ONEAPM（蓝海讯通）的 Python 开发被 HR 恶心到了

@hantsy 我明显是在开玩笑。。

2015-09-11 18:53:06 +08:00

回复了 smartdie 创建的主题求职今天去面试 ONEAPM（蓝海讯通）的 Python 开发被 HR 恶心到了

我也吐槽一下，昨天上午去参加 oneapm 的面试，二面答的不好，感觉被 pass 了，结果出来一个项目经理和我聊，问我住在哪，目前薪资多少，然后就没进一步谈。当时我以为面试过了，但感觉挺莫名其妙的。结果没过多久就告诉我“不匹配”。我想说，不匹配，为什么要问我现在的薪资，简直厚颜无耻！一万只草泥马在眼前飞过。。。

2015-09-11 18:44:24 +08:00

回复了 smartdie 创建的主题求职今天去面试 ONEAPM（蓝海讯通）的 Python 开发被 HR 恶心到了

是让你去做 DevTest 的。。。

2015-09-01 12:36:01 +08:00

回复了 navins 创建的主题酷工作 LinkedIn 北京招研发、数据分析等职位啦

@navins 简历已发

2015-09-01 11:27:47 +08:00

回复了 kenwell 创建的主题酷工作 [爱奇艺]招聘搜索引擎 C++资深开发工程师

作为沙发，我想问问你们对语言要求很严格么，比如我这种用 python 做后端的，面试这个职位有希望么？ Thx in advance

2015-08-31 12:00:39 +08:00

回复了 navins 创建的主题酷工作 LinkedIn 北京招研发、数据分析等职位啦

hello @navins 能说说是做什么产品么？我对后端的职位比较感兴趣

div class="dock_area">

2015-08-29 11:36:35 +08:00

回复了 xxm459259 创建的主题酷工作 [北京][果壳网]热招研发团队

果壳的技术氛围怎么样？

2015-08-09 09:28:16 +08:00

回复了 uniqueway 创建的主题酷工作 [北京] iOS & Android & Ruby 工程师，老板说不爱旅行的我们不要

诶，你们是不是在去哪儿上做过广告？

2015-07-13 18:22:39 +08:00

回复了 c4pt0r 创建的主题酷工作 [北京][纯技术向 Startup] 招聘第一名前端 Hacker

@c4pt0r 记下了，会持续关注你们团队的，多谢：）

2015-07-13 16:42:38 +08:00

回复了 c4pt0r 创建的主题酷工作 [北京][纯技术向 Startup] 招聘第一名前端 Hacker

@c4pt0r 帮顶！

顺便问问招工程师实习么？本人python/爬虫方向工作3年，但深感技术面狭窄，技术上成长缓慢。若能与水平高的工程师一起工作，可以不考虑报酬，能满足基本的生活需求即可。所以问问可否提供实习机会？

2015-07-03 22:49:40 +08:00

回复了 silvernoo 创建的主题职场话题你会因为公司没活干而辞职吗？

确实会，两个月之前我离职就是因为这个。在刚起步的创业公司，正处在急于实现业务的阶段，而我又是个做服务端开发的，整天没事做又看着小伙伴们很忙，就待不下去了选择离职了。
不过你还是先找leader聊聊，或许有其他的事情可做，没必要非得离职。照我当时的状态完全可以从头学前端，做一些业务什么的，可是我没有，还是有些后悔的。

2015-07-03 22:44:16 +08:00

回复了 stillzhl 创建的主题程序员推荐一个字体相关的 brew cask room

@freefcw 好东西就要拿出来分享

2015-07-03 11:32:38 +08:00

回复了 stillzhl 创建的主题程序员推荐一个字体相关的 brew cask room

@bindiry 哦哦手误了多谢

1 2 3 4 5