这是一个创建于 501 天前的主题，其中的信息可能已经有所发展或是发生改变。
之前写了一个小玩具，放到了公网上面，平时几乎没什么人访问，最近流量突增，并且 来来回回就是那几个 ip 。
而且这几个 ip 直接访问的是接口，没有通过页面访问，大概是 50-60 个不同的 ip ，然后间隔一段时间访问(不是短时间内 猛刷接口)，把 50-60ip 封了，又换了另外一批
而且间隔几分钟，突然请求一波，间隔几分钟，突然请求一波。看起来像是肉鸡 ip ，大家对于这种爬虫，有没有什么好的手段可以防止的？
我的初步想法是，每个 ip 一天之内访问 xx 此，用一个 map 或者 redis 记录一下，超过多少次就封禁，但怕容易封错，咨询一下大家的意见
1: ip: 16.163.109.41 2: ip: 18.162.143.19 3: ip: 16.162.55.213 4: ip: 18.166.70.237 5: ip: 43.198.17.104 6: ip: 18.166.67.209 7: ip: 18.162.191.172 8: ip: 18.162.133.58 9: ip: 16.162.255.138 10: ip: 16.162.160.93  | 1 summerwar 2024 年 9 月 12 日 直接访问接口，没有通过页面的，直接查 referer ，如果为空，则直接返回随机假数据 |
 | 2 bigbigeggs OP @summerwar 看了下请求头，什么都有。UA referer 这些全构造了，像一个真人一样，头大 |
| 3 summerwar 2024 年 9 月 12 日 |
 | 4 dilu 2024 年 9 月 12 日 最好的办法就是#3 说的 随机塞一些假数据进去，其他的所有封禁手段只是不断的提高爬虫门槛，反而让对方伪装的更无懈可击 还有一种方法就是如果你不在意你的数据，直接把数据打包提供一个下载链接 对方就不爬了 |
 | 5 AliCN 2024 年 9 月 12 日 1.停接口。 2.接口加认证。 |
| 6 bigbigeggs OP @AliCN 接口不太可能停，认证指的是登录这种？ |
| 7 bigbigeggs OP @dilu 感谢，的确给些假数据，对方就比较迷惑了。的确可以试试这种方法，感觉可以作为迫不得已的一种屈服 |
 | 8 GG668v26Fd55CP5W 2024 年 9 月 12 日 via iPhone 加一层 cloudflare CDN ，请求头有个机器人评分，直接拒绝掉分数低的请求，还不行就启动 cloudflare 盾。 |
 | 9 Rocketer 2024 年 9 月 12 日 via iPhone 蜜罐比封禁好使，可疑请求就给他假数据，无规律的那种。这有两个好处 对误伤的真人来说，内容还是有的，只是看着很奇怪，他会换一个继续看。 对真的爬虫来说，这就是汤里的老鼠屎，他除非上真人逐条看，否则识别不出哪些是假数据，导致整个采集结果不敢用。 |
 | 10 bqzzd 2024 年 9 月 13 日 @bigbigeggs #7 封 IP 是很容易误伤的，反爬也只是增加爬虫的成本，换句话说，人家想搞到你数据，只要你开放怎么都能搞到，所以建议 OP 放宽心，用些成熟的比如 cloudflare 网站护盾、或者一些验证码之类的比较省心，剩下的爬虫只要不影响网站运营就行。另外一些常见的防护： 1.网站不展示全部数据 2.签名验证 3.网站 js 混淆，接口、数据加密 4.验证码、第三方防护 等等 |
 | 11 haoyunyinglai 2024 年 9 月 13 日 找个开源 waf 套上 |
Select Language