moonlightpics's recent timeline updates moonlightpics's recent timeline updates | moonlightpicsV2EX member #601248, joined on 2022-11-09 22:51:37 +08:00 |
| 请问大佬们， google 是不能抓取国内的网页了吗？我用的阿里云 DNS， google 一直说无法访问 robots.txt 搜索引擎优化 moonlightpics Feb 7 Lastly replied by moonlightpics | 5 |
moonlightpics's recent replies
Feb 7 Replied to a topic by moonlightpics 搜索引擎优化 请问大佬们， google 是不能抓取国内的网页了吗？我用的阿里云 DNS， google 一直说无法访问 robots.txt |
而且挺搞笑的，他显示我带 www 的域名可以访问 robots ，不带 www 的却不行，，关键我带 www 的是 301 定向到不带 www 的，纳闷.
Feb 7 Replied to a topic by moonlightpics 搜索引擎优化 请问大佬们， google 是不能抓取国内的网页了吗？我用的阿里云 DNS， google 一直说无法访问 robots.txt |
@Kwnthink 就是 google 没法 ping 通我的 robots 。。别的搜索都可以，所以我怀疑是不是 google 不能访问大陆 IP ？但是别的网站收录都挺好的啊，，，奇怪。
Feb 3 Replied to a topic by moonlightpics 搜索引擎优化 请问大佬们， google 是不能抓取国内的网页了吗？我用的阿里云 DNS， google 一直说无法访问 robots.txt |
@Jesmora 不是，我现在把 robots.txt 删了，所以访问 robots.txt 是 404,但是即使删除了 robots.txt ，google 还是没法抓取我的网页。
Select Language