推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 3940 天前的主题，其中的信息可能已经有所发展或是发生改变。
有几个问题我一直不大明白，我说说我的想法，希望大家能指点一下这些认识对不对。
Python可以利用多核。
Python的多线程不能利用多核，因为GIL会限制一次只有一个线程。
Python利用多核的方法之一是根据核心数开相应数量的进程。
暂时只想到这么多。
另外希望大家说说python利用多核多线程的一些典型的途径，如果能给个项目参考参考就最好了，或者就是给一个guideline.
Python可以利用多核。
Python的多线程不能利用多核，因为GIL会限制一次只有一个线程。
Python利用多核的方法之一是根据核心数开相应数量的进程。
暂时只想到这么多。
另外希望大家说说python利用多核多线程的一些典型的途径，如果能给个项目参考参考就最好了，或者就是给一个guideline.
第 1 条附言 2014-12-27 15:13:03 +08:00
还有就是CPU密集型用多进程，IO密集型用多线程对不对？
 | 1 ryd994 2014-12-27 13:54:33 +08:00 via Android 看你是什么程序了，如果是计算密集那确实Gil限制单线程，不过如果是IO密集的话不成问题，还是可以当多线程用的 |
 | 2 ShiehShieh OP @ryd994 嗯，这个我知道的，python多线程适合IO密集型。 |
 | 3 imn1 2014-12-27 13:56:02 +08:00 前两句对，最后一句不对 没什么好例子，等其他大神 只玩过多进程调用wget，三句：载入multiprocessing.pool.Pool，一个wget命理的list，然后map()搞定 |
| 4 imn1 2014-12-27 13:57:52 +08:00 切，命令打成命理了 |
 | 5 bigtan 2014-12-27 14:02:37 +08:00  3 http://segmentfault.com/blog/caspar/1190000000414339 博主可以看看这个，这个很有意思，效果也不错。我在自己的一篇博文里面试过。 http://segmentfault.com/blog/bigtan/1190000000486961 |
 | 6 yakczh 2014-12-27 15:19:09 +08:00 多线程有GIL 多进程数据共享和同步麻烦 只有等协程 |
 | 7 skybr 2014-12-27 15:34:33 +08:00 Python的多线程能用到多核， 只要在库里释放GIL锁， 像IO、lxml、numpy之类的都能通过多线程调用多核. |
| 8 ShiehShieh OP @skybr 原来如此，怪不得我跑numpy的时候cpu占用会超过100% T-T，但那还是需要人为去释放GIL是吧？默认多线程是无法发挥多核的是吗？ |
| 9 ShiehShieh OP @bigtan 文章看完了，收获颇丰。谢谢。 |
| 10 ShiehShieh OP @bigtan 我看了看你的文章，我觉得是因为本身html分析这一部分计算量并不大，主要是IO。 线程池和进程池都解决了IO阻塞的问题，但是由于本身就不是cpu密集型的任务，所以进程池方法并没有明显的优势。运行时间都在网络下载这些地方了。 |
 | 11 ChanneW 2014-12-27 19:48:16 +08:00 1 如果用 Go 重写 Python 的解释器, GIL 问题会不会有改善? |
Select Language