这是一个创建于 2010 天前的主题，其中的信息可能已经有所发展或是发生改变。
如题，有点急，在线等
 | 1 youngs 2020-04-22 17:13:11 +08:00 你都这么问了，说明你自己都知道有安排进去的风险的 |
 | 2 Cmdhelp 2020-04-22 17:14:42 +08:00 你倒是说什么网站啊， 淘宝京东这么你就大胆爬，就你那点流量人家不 care |
 | 4 radiocontroller 2020-04-22 17:17:22 +08:00 里面个个都是人才，说话又好听，超喜欢里面的感觉 |
 | 5 nellace 2020-04-22 17:19:52 +08:00 via iPhone 值得买的数据不也是爬的嘛，进去了的话前后脚把他也拉进去呗 |
| 6 Cmdhelp 2020-04-22 17:20:30 +08:00 去吧 */p/ allow |
 | 7 magicdu 2020-04-22 17:21:15 +08:00 打工是不可能打工的 |
 | 9 foreverfuck OP User-agent: * Disallow: /fenlei/3cjiadian Disallow: /fenlei/jujiashenghuo Disallow: /fenlei/shishangyundong Disallow: /tag/%E4%BB%80%E4%B9%88%E5%80%BC%E5%BE%97%E4%B9%B0 Disallow: /contact-us Disallow: /baoliao/ Disallow: /*?* Disallow: /*=* Disallow: /jingxuan/xuan* Sitemap: http://www.smzdm.com/sitemap/smzdm_sitemap.xml Sitemap: http://www.smzdm.com/sitemap/smzdm_youhui.xml Sitemap: http://www.smzdm.com/sitemap/smzdm_tag1.xml Sitemap: http://www.smzdm.com/sitemap/smzdm_tag2.xml Sitemap: http://www.smzdm.com/sitemap/smzdm_tag3.xml Sitemap: http://www.smzdm.com/sitemap/smzdm_tag4.xml Sitemap: http://www.smzdm.com/sitemap/smzdm_tag5.xml |
 | 10 EricCartmann 2020-04-22 17:47:30 +08:00 via iPhone 爬人家吃饭的老本是不是有点过分。 |
 | 11 annielong 2020-04-22 17:51:16 +08:00 流量不大，频率不高一般都没事 |
 | 12 zictos 2020-04-22 18:01:39 +08:00 @nellace 部分可能是手动发的吧？现在不止官方的人可以发，用户也可以发布优惠商品。反正他们不数据来源不单一，所以就比单一来源的爬虫更能为自己开脱 |
 | 13 Stain5 2020-04-22 18:03:07 +08:00 爬虫所带来风险主要体现在以下 3 个方面：违反网站意愿，例如网站采取反爬措施后，强行突破其反爬措施；爬虫干扰了被访问网站的正常运营；爬虫抓取了受到法律保护的特定类型的数据或信息。那么作为爬虫开发者，如何在使用爬虫时避免进局子的厄运呢？严格遵守网站设置的 robots 协议；在规避反爬虫措施的同时，需要优化自己的代码，避免干扰被访问网站的正常运行；在设置抓取策略时，应注意编码抓取视频、音乐等可能构成作品的数据，或者针对某些特定网站批量抓取其中的用户生成内容；在使用、传播抓取到的信息时，应审查所抓取的内容，如发现属于用户的个人信息、隐私或者他人的商业秘密的，应及时停止并删除。 作者：freedomer.yu 链接： https://www.zhihu.com/question/291554395/answer/476074383 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 |
 | 14 tanxiaoluo PRO 去星罗好货调一把 API 呗，张大妈旗下平台 |
Select Language