推荐学习书目 Learn Python the Had Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
如果一个程序需要进行大量的IO操作，应当使用并行还是并发？
wangtianshang 2018-11-04 14:57:14 +08:00 via Android 7798 次点击这是一个创建于 2553 天前的主题，其中的信息可能已经有所发展或是发生改变。
 | 1 HuHui 2018-11-04 15:00:04 +08:00 看具体业务 |
 | 2 wmhx 2018-11-04 15:03:04 +08:00 并行 /并发 有什么区别? |
 | 3 lhx2008 2018-11-04 15:08:31 +08:00 via Android 异步 |
 | 5 misaka19000 2018-11-04 15:10:40 +08:00 并行还是并发不看 IO，要看计算量大不大 |
 | 6 WildCat 2018-11-04 15:17:41 +08:00 揭秘 iPhone 售后的灰色产业链，是什么让苹果每年损失十多亿美元 https://zhuanlan.zhihu.com/p/46463952 「据外媒 The Information 统计，苹果在 2013 年用于全球售后维修的预算为 16 亿美元，但最终花了 37 亿美元来维持业务运营，而中国市场的售后处理占了业务支出的大头。」 |
 | 8 opengps 2018-11-04 16:29:49 +08:00 并行 /并发 是不是这么理解： 并行，多进程甚至多服务器 并发，单进程多线程 对于将来需要扩展的业务，显然必然选择多进程多服务器这种“分布式”，对于仅仅需要多几个线程充分用满当前 cpu，则并发多线程去运行 |
 | 9 mattx 2018-11-04 16:30:25 +08:00 io 的瓶颈在于磁盘, 网卡等, 无法真正的并行, 即使调用上的并发量上去了, 效果也挺差的. 用异步的方式来解决, 降低消耗. |
 | 10 leriou 2018-11-04 16:42:03 +08:00 @wmhx 并行可类比为 2 个人同时去一台饮水机的两个出水口接水, 两个人一个要热水,一个要凉水, 并发类比两个人一起去都要热水 |
 | 11 zjsxwc 2018-11-04 16:48:04 +08:00 via Android 一张嘴同时说中午与英文是并行；说一句中午再说一句英文是并发。 |
 | 12 xmadi 2018-11-04 16:55:45 +08:00 via iPhone 这种咬文嚼字没有意义 |
 | 13 qhxin 2018-11-04 17:26:06 +08:00 erlang 解决烦劳 |
 | 14 likuku 2018-11-04 17:37:32 +08:00 猜你实际上是想问密集 I/O 时 Python 用 多进程 or 多线程？ 假若是问这个，两个都行啊。CPU 密集，则只得用多进程。 |
 | 15 kekxv 2018-11-04 17:51:38 +08:00 via Android 应当用 redis 等玩意 |
 | 16 henglinli 2018-11-04 18:02:03 +08:00 有兴趣可以看看这个，https://sites.google.com/site/1024cores/。 这个人设计了 golang scheduler （我估计 golang 现在任然是这个 scheduler ） https://docs.google.com/document/d/1TTj4T2JO42uD5ID9e89oa0sLKhJYD0Y_kqxDv3I3XMw/edit 我当时只是想看看 lockfree 的，可能你对 Scalable Architecture 这部分更感兴趣。 站在我的水平上，我的意见是并发能达到需求，就不考虑并行。越往底层走，越难 handle，当然也越有意思。 |
 | 17 ltoddy 2018-11-04 18:08:54 +08:00  2 并发是指一次处理多件事。 并行是指一次做多件事。 二者不同，但是有联系。 一个关于结构，一个关于执行。 并发用于制定方案，用来解决可能（但未必）并行的问题。 -- Rob Pike Go 语言的创造者之一 我自己想法是多线程+异步. |
 | 18 zxiso 2018-11-04 18:10:01 +08:00 via Android 大量 io 最好可以通过异步流程，分离 io 部分和逻辑部分。因为整体 io 耗时就摆在那里。。逻辑部分可以做点进度条之类的东西让用户感觉良好就好。。 |
 | 19 feverzsj 2018-11-04 18:10:47 +08:00 都可以 |
 | 20 qwe61655 2018-11-04 19:25:46 +08:00 via iPhone 看情况 |
 | 21 blackjar 2018-11-04 20:13:19 +08:00 这两个冲突吗？ 多进程+协程 |
 | 22 inframe 2018-11-04 23:33:57 +08:00 via iPhone 看起来是 concurrency 和 parallel 的关系 |
 | 23 ArianX 2018-11-05 00:21:49 +08:00 via Android 我一直觉得并行是并发的一种方式 |
 | 24 JCZ2MkKb5S8ZX9pq 2018-11-05 00:44:09 +08:00 网络 IO 多开可能提速，硬盘 IO 能提速嘛？ |
 | 26 glacer 2018-11-05 01:32:53 +08:00 并发就是假的并行... 并行是指多核情况下同时处理多任务，并发是在单核下利用时间片来模拟同时处理多任务。 |
| 27 glacer 2018-11-05 01:34:35 +08:00 回答楼主问题。IO 密集型的程序使用多线程或线程并发即可，这种情况下能最大化利用 CPU。 |
 | 28 sl0000 2018-11-05 08:40:24 +08:00 这个应该使用并法逻辑流的 I/O 多路复用 |
 | 29 checgg 2018-11-05 09:03:16 +08:00 这是啥问题？ 并行和并发的定义是啥，不理解，能否补充一下英文关键词或者具体业务场景？ 大量 IO 是指的磁盘 IO 还是网络 IO ？ |
 | 30 liuminghao233 2018-11-05 09:03:42 +08:00 via iPhone 异步加协程最好了 |
 | 31 Antihank 2018-11-05 09:17:41 +08:00 并发是场景，并行是方法，你怎么并发 IO ？ |
 | 32 xmge 2018-11-05 10:01:39 +08:00 并行 |
 | 33 dychenyi 2018-11-05 10:08:46 +08:00 我做过， 多线程+mmap |
 | 34 lolizeppelin 2018-11-05 13:38:32 +08:00 via Android 看情况 io 上限摆在那里 极限情况下并行并不能超过物理上限 反而因为大量上下文切换降低性能 你试试 多个大量数据的 SQL 文件并行插入 结果插入速度远低于顺序执行这些 sql 文件 但是多个少量 sql 文件 并行插入性能就不错 所以 看情况 |
 | 35 xiangbohua 2018-11-05 21:13:07 +08:00 中间层缓冲，统一 IO 进磁盘，随机 IO 真的废 |
 | 36 wangtianshang OP @glacer 是的 |
Select Language