这是一个创建于 1765 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近搜东西时，发现微信的 robots.txt 文件禁止了除首页和几个页面的爬虫索引： https://mp.weixin.qq.com/robots.txt
User-Agent: * Allow: /$ #关于此指令解释在链接 [2] 文末 Allow: /debug/ Allow: /qa/ Allow: /wiki Allow: /cgi-bin/loginpage Allow: /cgi-bin/wx Disallow: / 作为中文互联网最大的内容平台之一，微信竟然只对其他搜索引擎开放了几个页面[1]，如果需要搜微信公众号的文章必须得在微信内，或者腾讯系搜索引擎搜狗内进行搜索，这是否已经涉嫌违反了《反垄断法》？
[1] https://www.google.com/search?q=site:mp.weixin.qq.com
[1] https://www.baidu.com/s?wd=site%3Amp.weixin.qq.com
[2] https://developers.google.com/search/reference/robots_txt
 | 1 PureWhiteWu 2020-12-25 10:36:25 +08:00  4 不涉嫌。 这是知识产权问题。 |
 | 2 lakehylia 2020-12-25 10:44:21 +08:00 3 不涉嫌，这是 WWW 的设计问题，robots.txt 就是一个行业自律协议而已，没有法律效力的。 |
 | 3 takemeaway 2020-12-25 10:49:35 +08:00 14 微信本身就涉嫌垄断了，还需要管 robots 文件？ |
 | 4 captray OP |
 | 5 helionzzz 2020-12-25 10:57:45 +08:00 一个日活 12 亿的软件本身已经处在实质垄断的地位了，不缺你一个行业自律 txt |
 | 6 Jooooooooo 2020-12-25 10:58:10 +08:00 那淘宝也应该开放百度抓取? |
 | 7 longaiwp 2020-12-25 10:58:37 +08:00 4 这个文件完全没有任何违规，但是微信垄断也不需要这个文件来证明，我们从它的行为已经能判断出它垄断了。 |
| 8 PureWhiteWu 2020-12-25 11:05:32 +08:00 @lakehylia robots.txt 有法律效力。 |
| 9 captray OP |
 | 11 luoqeng 2020-12-25 11:35:34 +08:00 1 南山必胜客了解下 |
 | 12 natashahollyz 2020-12-25 11:41:14 +08:00 第一 wx 本身就是垄断了，和 robots 无关 第二 你家不让人进，这不是很正常吗？ |
 | 13 duhongle 2020-12-25 12:43:39 +08:00 robots 可以遵守也可以不遵守。。。关键是你爬取微信文章使用。。。微信直接搞死你 |
 | 14 EminemW 2020-12-25 13:16:31 +08:00 via iPhone 想啥呢？ |
 | 16 glennv2ex 2020-12-25 13:31:02 +08:00 robots 就是个君子协议 |
 | 17 passerbytiny 2020-12-25 14:12:44 +08:00 via Android 如果微信公众号占有市场主导地位，那么这么做是垄断的。在这一点上确实没垄断，因为微信公众号在内容平台市场不具有主导地位，事实上也不可能有任何商业公司能够主导国内的内容平台市场。 |
 | 18 prodcd 2020-12-25 14:56:20 +08:00 https://www.taobao.com/robots.txt User-agent: Baiduspider Disallow: / User-agent: baiduspider Disallow: / |
 | 19 xhpan10 2020-12-25 17:20:20 +08:00 是垄断了。。用户发的文章，他不能去强制决定这篇文章不能被其它搜索引擎收录 |
 | 20 x86 2020-12-25 17:26:50 +08:00 via iPhone 1 写爬虫还理直气壮了咋不要求微信给你个 api 直接调呢 |
 | 24 zhoushiya 2020-12-25 20:30:17 +08:00 求问如果直接在 robots.txt 里写了禁止爬虫的目录，比如后台 admin 目录。。。但是通过网址直接打开 http://xxx.com/robots.txt 不就看到了后台的地址？ |
 | 25 mmdsun 2020-12-25 22:17:01 +08:00 via Android 腾讯：只要我招聘国家退休官员够多，永远别想搞我反垄断。（梗来源于腾讯招要求） |
 | 26 watzds 2020-12-25 22:23:13 +08:00 via Android 说得好！淘宝禁止百度爬商品带的头 |
 | 27 Urutora 2020-12-25 23:55:47 +08:00 via iPhone 整天盯着蚊子吸你血，吸血鬼当没看见，服了。行政机关的垄断算不算垄断呢？怎么没人不服？ |
 | 28 iamsad3508 2020-12-26 08:27:17 +08:00 via Android 1.法律.txt 不改也行 2.以前有 MSN，QQ 不构成垄断。现在有钉钉，说不定还是不能构成垄断呢 3.360 的案子好像是说明 robot 还是有一些效力的吧？ |
| 30 zhoushiya 2020-12-26 12:58:14 +08:00 @dfkjgklfdjg #29 明白了，先禁用所有，然后打开指定目录，多谢 |
Select Language