1a1a11a

@Lax 谢谢

@jiangzhuo 谢谢

@v2pro 好东西，学习了

@Lax HLL 是什么，三个字母不太好搜，能不能给个名字？谢谢啦！

@bjlbeyond 好像不太对题？还是我没理解到点？

@wmttom 这个主意不错，非常感谢

@binux 我把去重完的 url 写磁盘了和待爬 url 队列写磁盘了，要不内存不一会儿就满，服务器是前兆带宽，我满载了在爬。。。

@jiangzhuo 哦，对，你的数值错了，是 470 亿，单位是 10 亿，不是 1 亿，所以你的计算要再乘以 10

@jiangzhuo 为什么我 72G 的内存刷刷刷就满了 :(，估计有不少费 url ，加上 python 可能比较费内存，你发的这个网址挺好玩的，不知道为什么中间突然降下去了，我一直觉得网页总数是单调增加的，不过从这个网站看，还挺稳定的。