今日头条字节跳动的蜘蛛爬虫 Bytespider（流氓至极），如何屏蔽

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 2263 天前的主题，其中的信息可能已经有所发展或是发生改变。

Bytespider 得知来自于头条系。一搜索发现众多小站中招。

几宗罪：

大并发集中式访问，攻击式地采集数据 Bytespider 爬虫虽然不比 Doos，cc，可是对于 web 服务来讲多大的服务（相对来讲）都能拖垮。占满 CPU 带宽等资源。
这家伙不受 robots 规则限制

useragent 为 Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.4988.1224 Mobile Safari/537.36; Bytespider，

我的服务器是 win server 2016,,,IIS 8.0 因业务特殊，没有用 Nginx。。

搜索到的解决方案是：封禁 user-agent ？屏蔽 IP 段？

请教如何在 IIS 中进行相应的设置进行封禁此恶意的抓取？

附图（转载至他站，IIS 日志中类似于此）

第 1 条附言 2019-10-26 12:14:54 +08:00

有出新报道了，防头条蜘蛛，胜于防川。
https://mp.weixin.qq.com/s/X-H3kf_S1D-UUfjjX5F1eg

iis

bytespider

封禁

日志

24 条回复 2019-10-25 02:56:34 +08:00

haoji

2019-10-22 22:01:16 +08:00 via iPhone

别说之前没想过，好像他家的爬虫真的挺占资源的…

xiaomimix5

2019-10-22 22:04:45 +08:00

@haoji 关键是不遵守 robots.txt 的 disallow 规则

wangyzj

2019-10-22 22:12:13 +08:00

好歹人家是爬虫起家的

mamahaha

2019-10-22 22:13:37 +08:00

不是靠内含段子起家的吗？

uyhyygyug1234

2019-10-22 22:18:59 +08:00

如果是 Bytespider 的 ua，返回一点违禁词。。。

TheWalkingDead

2019-10-22 22:26:10 +08:00

花钱找人 DDOS 你们，让他们爬虫进不来。

ddup

2019-10-22 22:28:22 +08:00 via Android

举报他们非法爬取数据

nevin47

2019-10-22 22:35:20 +08:00 via Android

不遵守 robots 一举报一个准啊

jeeyong

2019-10-22 23:00:48 +08:00

报警吧..前段时间刚抓一家公司...
一样的事情...

alocne

2019-10-22 23:01:32 +08:00

防火墙屏蔽
110.249.202.0/24
110.249.201.0/24
111.225.149.0/24
111.225.148.0/24

ClericPy

2019-10-22 23:01:57 +08:00

@uyhyygyug1234 反爬听说过蜜罐藏毒的, 第一次见把自己毒死来灭蚊子的...

em70

2019-10-22 23:08:22 +08:00

@mamahaha 内涵段子里的内容难道是自己写的吗

misaka19000

2019-10-22 23:09:35 +08:00

报警

nyaapass

2019-10-22 23:16:17 +08:00

报警 + 1

leonard916

2019-10-22 23:16:53 +08:00

可以告他们好多程序员都因此收到过传票

jinliming2

2019-10-22 23:51:11 +08:00 via iPhone

丢个 gzip 炸弹过去

dioxide

2019-10-23 00:06:03 +08:00

之前 v2 一帖子说: 某人使用爬头条的内容被头条立案起诉了... 说它是爬虫起家的真不为过.

xiaoz

2019-10-23 02:02:03 +08:00

@uyhyygyug1234 奇淫技巧

zbl430

2019-10-23 09:20:13 +08:00

收集证据，律师函 ->起诉

最恨的手段识别这些 ip，返回错误数据（和真的一样）

zsj950618

2019-10-23 09:33:32 +08:00 via Android

salsa.debian.org 是把屏蔽了它的 ip

110.249.200.0/22, 111.225.148.0/23

反正丢人已经丢到国外了。

humor66

2019-10-23 10:16:44 +08:00

不赶紧爬，怎么做搜索？

cnrting

2019-10-23 12:19:19 +08:00 via iPhone

屏蔽 ip 最简单有效

unclemcz

2019-10-23 13:30:02 +08:00

直接封 IP 吧，我对 Bytespider 的操作是这么处理的，很简单很暴力，只要特定页面记录访客浏览记录（ ua、ip ），程序定期检索访客的 ua，检索到关键字后，将对应的 ip 加到屏蔽列表。

skenan

2019-10-25 02:56:34 +08:00

自己用的..
```
if ($http_user_agent ~* (bytespider|scrapy)) {
return 444;
}
```