python 多核 多进程 多线程 - V2EX
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
ShiehShieh
V2EX    ython

python 多核 多进程 多线程

  •  
  •   ShiehShieh
    ShiehShieh Dec 27, 2014 7700 views
    This topic created in 4154 days ago, the information mentioned may be changed or developed.
    有几个问题我一直不大明白,我说说我的想法,希望大家能指点一下这些认识对不对。

    Python可以利用多核。
    Python的多线程不能利用多核,因为GIL会限制一次只有一个线程。
    Python利用多核的方法之一是根据核心数开相应数量的进程。

    暂时只想到这么多。
    另外希望大家说说python利用多核多线程的一些典型的途径,如果能给个项目参考参考就最好了,或者就是给一个guideline.
    Supplement 1    Dec 27, 2014
    还有就是CPU密集型用多进程,IO密集型用多线程对不对?
    12 replies    2014-12-27 19:51:50 +08:00
    ryd994
        1
    ryd994  
       Dec 27, 2014 via Android
    看你是什么程序了,如果是计算密集那确实Gil限制单线程,不过如果是IO密集的话不成问题,还是可以当多线程用的
    ShiehShieh
        2
    ShiehShieh  
    OP
       Dec 27, 2014
    @ryd994 嗯,这个我知道的,python多线程适合IO密集型。
    imn1
        3
    imn1  
       Dec 27, 2014
    前两句对,最后一句不对

    没什么好例子,等其他大神
    只玩过多进程调用wget,三句:载入multiprocessing.pool.Pool,一个wget命理的list,然后map()搞定
    imn1
        4
    imn1  
       Dec 27, 2014
    切,命令打成命理了
    bigtan
        5
    bigtan  
       Dec 27, 2014   3
    http://segmentfault.com/blog/caspar/1190000000414339

    博主可以看看这个,这个很有意思,效果也不错。我在自己的一篇博文里面试过。

    http://segmentfault.com/blog/bigtan/1190000000486961
    yakczh
        6
    yakczh  
       Dec 27, 2014
    多线程有GIL
    多进程数据共享和同步麻烦

    只有等协程
    skybr
        7
    skybr  
       Dec 27, 2014
    Python的多线程能用到多核, 只要在库里释放GIL锁, 像IO、lxml、numpy之类的都能通过多线程调用多核.
    ShiehShieh
        8
    ShiehShieh  
    OP
       Dec 27, 2014
    @skybr 原来如此,怪不得我跑numpy的时候cpu占用会超过100% T-T,但那还是需要人为去释放GIL是吧?默认多线程是无法发挥多核的是吗?
    ShiehShieh
        9
    ShiehShieh  
    OP
       Dec 27, 2014
    @bigtan 文章看完了,收获颇丰。谢谢。
    ShiehShieh
        10
    ShiehShieh  
    OP
       Dec 27, 2014
    @bigtan 我看了看你的文章,我觉得是因为本身html分析这一部分计算量并不大,主要是IO。
    线程池和进程池都解决了IO阻塞的问题,但是由于本身就不是cpu密集型的任务,所以进程池方法并没有明显的优势。运行时间都在网络下载这些地方了。
    ChanneW
        11
    ChanneW  
       Dec 27, 2014   1
    如果用 Go 重写 Python 的解释器, GIL 问题会不会有改善?
    Shared
        12
    Shared  
       Dec 27, 2014
    @ChanneW 有很多库依赖 GIL,所以嘛会有更大的问题
    About     Help     Advertise     Blog     API     FAQ     Solana     5812 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 48ms UTC 02:50 PVG 10:50 LAX 19:50 JFK 22:50
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86