新人写博客,前天刚把删除功能做出来,今天一看被 google 爬虫全删掉了 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Cabana
4.01D
V2EX    分享发现

新人写博客,前天刚把删除功能做出来,今天一看被 google 爬虫全删掉了

  Cabana 2017-01-22 15:08:41 +08:00 31995 次点击
这是一个创建于 3251 天前的主题,其中的信息可能已经有所发展或是发生改变。
还以为是谁发现我的地址了,恶作剧给删了呢,一看 nginx 日志才发现
![]( )
应为正在搭也没人知道,就暂时没有做登陆权限什么的,结果被 Google 坑了一把,还好大多都是测试数据只有几篇自己写的。
202 条回复    2017-09-14 10:29:35 +08:00
1  2  3  
haozibi
    101
haozibi  
   2017-01-22 18:23:35 +08:00 via Android
翻页,
haozibi
    102
haozibi  
   2017-01-22 18:23:57 +08:00 via Android
翻页喽
solu
    103
solu  
   2017-01-22 18:24:11 +08:00
本来埋头苦干了一天很郁闷,感谢楼主发帖
Magician
    104
Magician  
   2017-01-22 18:24:13 +08:00 via iPhone
谷歌 怪我咯……
techmoe
    105
techmoe  
   2017-01-22 18:28:37 +08:00 via Android
笑哭了
Twinkle
    106
Twinkle  
   2017-01-22 18:29:55 +08:00
nodin
    107
nodin  
   2017-01-22 18:33:24 +08:00 via iPhone   1
这就是阅后即焚?
mritd
    108
mritd  
   2017-01-22 18:33:55 +08:00 via iPhone
笑喷了 哈哈哈
Cabana
    109
Cabana  
OP
   2017-01-22 18:44:23 +08:00 via Android
@v2exhehehehe 嗯嗯,的确半路出家
learnshare
    110
learnshare  
   2017-01-22 18:49:02 +08:00
GET 应该做幂等操作,删除就用 DELETE 方法,而且无论如何也要做权限限制的
Cabana
    111
Cabana  
OP
   2017-01-22 18:54:47 +08:00 via Android
@lzsadam 大都是生成的无用数据,自己写的几篇也大都是测试而已…
linxl
    112
linxl  
   2017-01-22 19:07:14 +08:00
SEO 做得不错啊
xiaolanglang
    113
xiaolanglang  
   2017-01-22 19:10:40 +08:00   1
用 GET 请求处理删除操作,就算做了鉴权,爬虫是不能操作成功了,但是浏览器的预读功能依然可以啊~
int64ago
    114
int64ago  
   2017-01-22 19:13:51 +08:00
笑得流汗 233
nikoo
    115
nikoo  
   2017-01-22 19:14:43 +08:00
建议楼主起诉 google !

这叫什么不做恶?!
TKKONE
    116
TKKONE  
PRO
   2017-01-22 19:21:08 +08:00
哈???你的 delete 为什么没有进行权限设置?任何人都可以删的话,那就不能怪谷歌了
awolfly9
    117
awolfly9  
   2017-01-22 19:30:05 +08:00
谷歌开发人员开始怀疑人生了
ik
    118
ik  
   2017-01-22 19:36:39 +08:00 via iPhone
哈哈哈 我终于动了 get post 的区别了
why1
    119
why1  
   2017-01-22 19:39:08 +08:00
要求立即停止自动驾驶汽车研发
hljjhb
    120
hljjhb  
   2017-01-22 19:42:04 +08:00
真的笑,笑出声
gongjianwei
    121
gongjianwei  
   2017-01-22 19:43:09 +08:00 via Android
其实我觉得你太可爱了 XD
ELLIA
    122
ELLIA  
   2017-01-22 19:44:32 +08:00
@bao3 你这么说好像没毛病, 23333
Ellison
    123
Ellison  
   2017-01-22 19:45:33 +08:00
哈哈哈哈,年前就靠楼主的笑话了
illuz
    124
illuz  
   2017-01-22 19:54:02 +08:00   1
为何一句「爬虫也是一脸懵逼,爬完后之前的 404 了。。。」能获得这么多感谢,这话很对你们来说很有帮助吗?
某乎既视感。
Vicia
    125
Vicia  
   2017-01-22 20:07:28 +08:00 via iPhone   2
@illuz 看完这句话开心大笑,一扫一天的疲惫和不愉快,不算是一种帮助么?
SPACELAN
    126
SPACELAN  
   2017-01-22 20:08:35 +08:00
@dong3580 哈哈哈 我 outlook 也是,一直以为是验证服务器的问题
MrWii
    127
MrWii  
   2017-01-22 20:24:52 +08:00
哈哈,指着这个段子过年了
caomu
    128
caomu  
   2017-01-22 20:33:12 +08:00 via Android   7
爬虫:我可能爬的是假的网站
leotso
    129
leotso  
   2017-01-22 20:44:48 +08:00
Google: 怪我咯? hhhhh
pljhonglu
    130
pljhonglu  
   2017-01-22 20:52:46 +08:00
哈哈哈,妥妥的年度最佳~
cai314494687
    131
cai314494687  
   2017-01-22 21:51:39 +08:00
直接 GET 就能删除?你写的程序也是牛逼。

你先搞清楚什么情况下用 GET 什么情况下该用 POST 吧
lanjz
    132
lanjz  
   2017-01-22 21:55:59 +08:00
......笑 cry..
chilaoqi
    133
chilaoqi  
   2017-01-22 22:06:21 +08:00
论 HTTP method 的重要性, Get 大法好啊
ayang23
    134
ayang23  
   2017-01-22 22:08:06 +08:00
我是来看回复的
RobertYang
    135
RobertYang  
   2017-01-22 22:46:07 +08:00 via Android
谷歌 bot:怪我咯,我说怎么怕完了就是 404 了
itfanr
    136
itfanr  
   2017-01-22 22:50:19 +08:00 via Android   3
我想起之前同事写的代码 make clean 。把代码也 clean 了…
elvba
    137
elvba  
   2017-01-22 22:58:32 +08:00
今日最佳,留名
seashell
    138
seashell  
   2017-01-22 22:59:55 +08:00
@dong3580 联通的这个鉴权逻辑有点诡异啊,只是打开邮件,又没有点击链接。
smallpath
    139
smallpath  
   2017-01-22 23:05:40 +08:00
哈哈哈哈哈哈哈
xiongbiao
    140
xiongbiao  
   2017-01-22 23:07:06 +08:00
这个厉害了 哈哈
CrispElite
    141
CrispElite  
   2017-01-22 23:08:54 +08:00
哈哈野路子
mN71eOOprFyMsnPx
    142
mN71eOOprFyMsnPx  
   2017-01-22 23:11:02 +08:00
笑得听不下来。
楼主,摸摸头
muteZephyr
    143
muteZephyr  
   2017-01-22 23:13:39 +08:00
厉害了 word 哥
lc4t
    144
lc4t  
   2017-01-22 23:27:07 +08:00
不行了先去笑一会。

楼主记得这种东西要设好权限啊 233333
xjp
    145
xjp  
   2017-01-23 00:04:04 +08:00 via iPhone
哈哈哈哈哈 最佳最佳
fangxing204
    146
fangxing204  
   2017-01-23 00:06:01 +08:00 via Android
哈哈
Immortal
    147
Immortal  
   2017-01-23 00:07:17 +08:00
善意的笑了
jarlyyn
    148
jarlyyn  
   2017-01-23 01:13:59 +08:00   1
1.如果你在用 Google 浏览器,你的测试链接也会上传到 google 爬虫。所以我的测试服务器有专门设置。

2.如果权限系统没做好,可以先用 basic auth 。如果程序中不知道怎么用前台的 nginx/apache 也可以设置。

3.某种角度来说,这类似于 crsf 攻击。就算权限系统做好了,这样依然会有问题。
Zohar
    149
Zohar  
   2017-01-23 01:25:49 +08:00 via Android
@kn007 大半夜笑出声
Tyanboot
    150
Tyanboot  
PRO
   2017-01-23 03:06:47 +08:00 via Android
@itfanr 这个就厉害了。
seeker
    151
seeker  
   2017-01-23 03:16:09 +08:00
谢谢分享。
谁都有萌新的时候。
steveshi
    152
steveshi  
   2017-01-23 04:04:37 +08:00 via iPhone
居然笑醒了
dong3580
    153
dong3580  
   2017-01-23 06:35:37 +08:00 via Android
@SPACELAN
@seashell
你说这开发的有多,邮件服务器肯定会扫描你的邮件的, outlook 是不是应该扫了它链接呗。
Cbdy
    154
Cbdy  
   2017-01-23 07:09:21 +08:00 via Android
起码加个 HTTP BASIC 。。。
xiaodongus
    155
xiaodongus  
   2017-01-23 08:24:43 +08:00 via iPhone
哈哈哈哈哈哈哈哈,爬虫也是一脸懵逼
jy02201949
    156
jy02201949  
   2017-01-23 08:31:06 +08:00
总是有人想着怎么防爬虫,楼主另类的思路带领我们开辟了一条新的道路
skylancer
    157
skylancer  
   2017-01-23 08:35:22 +08:00 via Android
一大早看到这么欢乐的事... 哈哈哈
imnpc
    158
imnpc  
   2017-01-23 08:37:39 +08:00
花式反 bot
ytmsdy
    159
ytmsdy  
   2017-01-23 08:44:05 +08:00
哈哈哈哈,让我先笑一会。。
cougar
    160
cougar  
   2017-01-23 08:45:18 +08:00
有才
rashawn
    161
rashawn  
   2017-01-23 08:50:17 +08:00 via iPhone
厉害了……
cat9life
    162
cat9life  
   2017-01-23 08:55:19 +08:00
哇咔咔 LZ 太有趣了...
simo
    163
simo  
   2017-01-23 09:02:15 +08:00
事故是最好的老师,长点心吧
polun
    164
polun  
   2017-01-23 09:06:08 +08:00
谢谢(*^_^*)
ybh37
    165
ybh37  
   2017-01-23 09:18:59 +08:00
大过年的,出来讲笑话的吧?
simonjinyuliu
    166
simonjinyuliu  
   2017-01-23 09:32:41 +08:00
GET /delete ... 一股莫名的喜感
wbt
    167
wbt  
   2017-01-23 09:43:51 +08:00
hjxx
    168
hjxx  
   2017-01-23 09:47:06 +08:00
想起以前跑数据库迁移脚本 get 请求某个地址 执行歉意的相关代码 结果每次都发现被执行了 2-3 次 后面才发现是万恶的 chrome 预加载 默默的换了 curl / wget
erenno1
    169
erenno1  
   2017-01-23 10:10:14 +08:00
哈哈哈
yivanus
    170
yivanus  
   2017-01-23 10:11:15 +08:00
年终奖没有中奖,全靠这个乐一下了。谢谢楼主。
pwcong
    171
pwcong  
   2017-01-23 10:15:32 +08:00
真感谢你们把生活过成了段子,笑死我
code4life
    172
code4life  
   2017-01-23 10:34:26 +08:00
@1OF7G

感谢指路!
wintercoder
    173
wintercoder  
   2017-01-23 10:35:33 +08:00
火钳刘明
zhouyg
    174
zhouyg  
   2017-01-23 10:45:49 +08:00
已加入 GET vs POST 大全
cst4you
    175
cst4you  
   2017-01-23 10:46:46 +08:00
今日最佳
panlilu
    176
panlilu  
   2017-01-23 10:53:22 +08:00
有点厉害,最近有点郁闷这笑话把我乐醒了
styang
    177
styang  
   2017-01-23 10:54:53 +08:00
今日最佳
shyrock
    178
shyrock  
   2017-01-23 11:05:19 +08:00
只有聪明的谷歌 GET 到了你的 idea 。。。
jadecoder
    179
jadecoder  
   2017-01-23 11:12:23 +08:00
笑 2333 ,下次讲 RESTful 又有例子了
mlhorizon
    180
mlhorizon  
   2017-01-23 11:21:45 +08:00
自毁式反爬虫策略,赞一个,再摸摸头。
argsno
    181
argsno  
   2017-01-23 11:29:24 +08:00
我的锅咯~~~~~~~~~
wly19960911
    182
wly19960911  
   2017-01-23 11:29:51 +08:00
其实可以当爬虫经过的时候把某个页面给隐藏掉直接返回 404 ,使用类似于 lz 这样拿一个瞄链接等爬虫爬,然后过一段时间再恢复应该可以吧。
MXA
    183
MXA  
   2017-01-23 12:48:10 +08:00
@mritd hi , nice too meet U
Jackeriss
    184
Jackeriss  
   2017-01-23 14:05:33 +08:00
19 杀!全场最佳: Google
DualWield
    185
DualWield  
   2017-01-23 14:38:45 +08:00
22333333 今日最佳
cherrypi
    186
cherrypi  
   2017-01-23 15:30:11 +08:00 via iPhone
身经百战的爬虫也是懵逼了!
loddit
    187
loddit  
   2017-01-23 15:31:03 +08:00
@jarlyyn 「 1. 如果你在用 Google 浏览器,你的测试链接也会上传到 google 爬虫」这个有确定的证据吗?
jarlyyn
    188
jarlyyn  
   2017-01-23 15:43:33 +08:00
@loddit

经验和网上的链接

比如


https://news.ycombinator.com/item?id=3034288



另外, baidu 统计也会提交到百度的搜索引擎。
l2003529
    189
l2003529  
   2017-01-23 15:53:43 +08:00 via iPad
笑出声哈哈
run2
    190
run2  
   2017-01-23 16:13:24 +08:00
耿直 boy
Google Bot 说给我钱,然后他就给了 0 , 0
tianice
    191
tianice  
   2017-01-23 16:45:56 +08:00
今日最佳
codeyung
    192
codeyung  
   2017-01-23 16:57:04 +08:00
偷笑 - -
daysv
    193
daysv  
   2017-01-24 08:53:17 +08:00
笑死我了...... 还能这样做的
ZhLTE
    194
ZhLTE  
   2017-01-24 16:09:27 +08:00
@xmumiffy 哈哈哈哈哈哈哈
overlords
    195
overlords  
   2017-01-24 20:34:37 +08:00 via iPhone
第一次知道被蜘蛛删了
r00tt
    196
r00tt  
   2017-01-25 22:21:23 +08:00
楼主好萌,看笑了
Vicer
    197
Vicer  
   2017-01-29 10:38:55 +08:00 via Android
有故事,才会成长
pacino
    198
pacino  
   2017-02-12 18:07:53 +08:00
厉害了
xiaorun
    199
xiaorun  
   2017-02-14 19:39:41 +08:00
robots.txt
henneko
    200
henneko  
   2017-02-16 16:30:56 +08:00 via Android
我感觉 LZ 发明了新的开车技巧
1  2  3  
关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3005 人在线   最高记录 6679       Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 477ms UTC 13:36 PVG 21:36 LAX 05:36 JFK 08:36
Do have faith in what you're doing.
ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86