这是一个创建于 4174 天前的主题，其中的信息可能已经有所发展或是发生改变。
行业是图站，单纯lnmp，负载应该没什么问题。上月50，60G日均，最近几天日流量又涨了几十个G，前4天日均85G，今天估计要逼近95G左右，日均uv比ip少个400左右
估计是被什么采集器盯上了，火车头，et，狂人这种怎么对付？
单纯靠log我感觉不现实，refer，ua都可以伪造，
分析ip工作量又感觉太大？
估计是被什么采集器盯上了，火车头，et，狂人这种怎么对付？
单纯靠log我感觉不现实，refer，ua都可以伪造，
分析ip工作量又感觉太大？
 | 1 manhere 2014-05-07 21:03:30 +08:00 防不了，只有图片打水印还能保留一丁点你的站点信息 |
 | 2 lightforce OP @manhere 图片水印，压缩这种我都做了，但还是被人采，郁闷 |
 | 3 licell 2014-05-07 21:20:50 +08:00 只要是中文站，都避免不了这个问题 |
 | 4 codingpp 2014-05-07 21:55:41 +08:00 还得是分析log中的ip吧，几秒钟访问超过限制就封掉 做抓取的表示一般大型网站都是这么屏蔽的 |
| 5 lightforce OP @codingpp 图站要并发req的，我试过limit，影响体验我没加，现在就limit_conn,limit_rate |
 | 6 zhurongx 2014-05-08 11:48:02 +08:00  1 90%的情况下有效的方法： 把速度快，频率高，已经超出人类操作的频率的来源ip进行限制。监控ip访问流量、次数等特性的工具有很多。 剩余10%基本无解的方法： 好的爬虫会有一个ip池，会把请求分散在大量ip服务中转发，隐藏自己速度快频率高的特点，伪装成正常请求。这种情况下，除非你使用限制性逻辑，如积分满多少才可以打开，否则是无解的。 |
Select Language