请求数百万个 URL， C#还是 Python 快且容易实现？

这两门语言你都熟悉，为什么还需要问网友呢

@tulongtou #1 “比较熟悉”只是会用，不确定哪个在这种场景下性能高

瓶颈应该在网络 IO ，用啥语言问题都不大

我扫描过所有 ipv4 段的 80 端口服务，并发上限和开多少线程关系不大。

影响 tcp 连接速度，主要因素是 DNS 的解析，TCP 的三次握手的等待时间。

TCP 有非阻塞模式，设置 fcntl(sock, F_SETFL, O_NONBLOCK);管他服务器什么时候响应，先把 IP 包发出去再说，并发就上去了。

go 协程应该恰好满足你的需求，不知道 python 和 c#实现的如何。
或者固定一个 io 线程，剩下几个线程处理数据

C# + 宇宙第一 IDE 横扫一切

需求比较简单，哪个语言都无所谓。Python 的话，首先你需要调高系统允许最大 socket 连接数，创建 asyncio 线程，每个线程可以并发 1-10k 的访问，然后再将这个线程用 multiprocessing 重复。瓶颈只在于系统 IO ，与应用层实现关系不大

虽然没有并发限制，但服务器带宽还是有限的。假设每个文件 100k ，服务器带宽 100m ，每秒也就 1000 个文件

@theklf4 你这个是 io 密集的需求，语言本身不会成为性能瓶颈

1.容易实现：Python ，原因是可直接白嫖的工具包，比 C#多的多。

2.性能，也就是运行速度：不一定。虽然 C#性能比 Python 高得多，但 Python 可以直接调 C 库加持。

3.稳定性：如果是公司要做正经的工程，并且是多人合作，那么 C#肯定比 Python 好。原因是 Python 语言缺少健壮性的支持，但这不是 Python 的错，胶水语言，比如 js ，都有这类问题。稳健需要强类型+强异常型语言。

4.如果这需求，是我一个人来做，我会这样：

先用 Python 做，但需要把功能分为不同模块。而且实现方法不能用 Python 的原生写法，而需要使用 Java 那一套工程化的结构模式。

然后性能测试，哪个模块是性能瓶颈，用 C 库解决。如果是多人协作，甚至可以用 Redis 当中间库，Python 采集一手数据丢 Redis ，Cpp 从 Redis 拉取数据进行分析处理，并且 URL 的去重也用 Cpp 中间件做。

Python 有开源的 scrapy 你要的需求都有了，直接用不香吗。

当然是你怎么熟悉怎么来。
如果你同时是两门语言的顶尖高手，那么你才有必要去在乎采用哪门语言更高效

python 有现成的 scrapy 爬虫框架，不想用可以自己用 aiohttp + asyncio.Queue

如果你的环境是 windows 的话，dotnet 性能更好，默认情况下就是并行完成端口

用 C# 比较好

爬虫 py 比较合适

@documentzhangx66 .......按你这说法，必须 c#啊，c#性能本身就比 python 高一个数量级，还可以直接调用任何 api, c 库。。。python 还要封装，哪个更方便还要说？

C#做过爬虫挺好的，不过是抓取几万个网页而已。

安全吗,注意法律问题....
两都都可以实现任务,不过考虑到数量级,尽量用性能高一点的语言吧,所以推荐用 c#而不是 python

这两个都能胜任，最大的瓶颈是你的网卡有多少带宽以及对面网站会给你一个 ip 分多少带宽

@Jwyt 说得 c#没我网络库似的。。。。

大部分的业务场景，语言都不是瓶颈

都行，不是瓶颈。Python 性能差不是在 IO 上差

@ly841000 你自己说的 c 库啊。。

c# async await 模式，挺适合这种 IO 密集型任务

语言不重要，协程模型是关键，最适合这件事的我觉得是 go

@Richard14

爬虫其实不需要多进程的，python 的 GIL 本来就不锁 IO, lxml 之类的配套基本也会释放 GIL 锁的......

哪个你写代码快用哪个

首选 golang

Python 请求几百万不是大量级, 带宽足够的情况下, aiohttp + uvloop 大约一小时以内就能搞定(之前爬 fb 380 万页请求开个多核加协程 50 分钟就抓完了), 如果是线程的话并发高了切换开销太大真不如协程, 性能损耗太大了. C# 不了解, 不过也算协程友好的, 熟悉哪个用哪个吧

我选 C#。

爬虫 python 的库多

我可能会选择写一段 shell

这不就是 python 的活嘛

要个屁的线程池啊, 单线程高宽带就行了. 把你这数百万个任务写到一个文件里, 然后直接下载这个文件就好了

@bthulu #36 有的 URL 不到 0.1 秒就请求完了，有的 URL 要等 10 分钟超时，显然爬的不可能是我的网站，有几个万个不同的网站

@theklf4 那就走异步, C#的异步 httpclient 很好用

当然是 C# 在并发、任务调度这块，官方、三方都用很好用的库