关于google网站管理工具后台抓取失败一项的疑问

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 5316 天前的主题，其中的信息可能已经有所发展或是发生改变。

我在google网站管理工具后台看到很多 Crawl errors
但问题是这些链接都不是我sitemap里的，在我的网站链接里面也没有此类链接。

我怎么知道是哪个环节出了问题呢？

样式大概如下：

http://www.example.com/0/ 404 (Not found) 1 pages Mar 24, 2011
http://www.example.com/1/ 404 (Not found) 1 pages Mar 21, 2011
http://www.example.com/2/ 404 (Not found) 1 pages Mar 24, 2011
...

http://www.example.com/8/ 404 (Not found) 1 pages Mar 21, 2011
http://www.example.com/9/ 404 (Not found) 1 pages Mar 21, 2011
http://www.example.com/a/ 404 (Not found) 1 pages Mar 21, 2011
http://www.example.com/b/00/ 404 (Not found) 1 pages Mar 24, 2011
http://www.example.com/b/01/ 404 (Not found) 1 pages Mar 24, 2011
http://www.example.com/b/02/ 404 (Not found) 1 pages Mar 21, 2011
...

3 条回复 1970-01-01 08:00:00 +08:00

Livid

MOD

PRO

2011-03-29 00:02:15 +08:00

有可能是这些链接出现在外站。

vising

2011-03-29 00:37:50 +08:00

如果这个域名是以前有人做过站后弃用的，也会存在这样的情况。

pensz

2011-03-29 13:23:21 +08:00

感谢 @Livid 和 @vising 的解释。

找到原因了，在没有使用webmaster tools前一段时间，该域名指向的一个网站的确存在此类的链接。