关于云爬虫用户场景和需求的讨论帖

把标换了吧，弄个纵泰的标好么...

另外，爬虫为什么要做云...

想做个好用的通用爬虫嘛，顺便解决数据量大硬盘不够的问题，哈哈

之前用这个爬虫试了一下监控链家每日成交价。。。确实很方便，只用了几分钟就搞定了每天定时监控。。。但是。。。一周后过去看数据，结果发现竟然只保存了最近几次的结果，爬了一周的数据竟然没有保存，每天的邮件推送里面也没把数据推送过来，只是给个链接让自己过去取数据。。。虽然是免费服务吧，但是感觉数据应该按量计费而不是按次计费

已抓取数据免费保存 1 周，付费用户保存 30 天。。。

唔。。这样的计费模式如何

爬取直接转 rss/atom

额，好奇你们这“使用范例”，是怎么根据用户的浏览器历史自动生成的吗？

感觉这行越来越泛滥了。。技术倒都是前几年的

你能把淘宝的各种商品爬下来吗？

做这块的太多了，做好了，分一杯羹是可以的；但是市场规模估计玄乎。

@wyntergreg 做好是可以 cache 住目站的力 跟某些大博主提倡大家用 rss 一道理 不我得服目前做得是很一般

@jccg90 这个稍微有点苦衷，之前邮件出了点问题，现在这样是过渡一下。
按理说一周的数据是保存了的，我在后台再看一下。

@akira 还是只能按量收费，时间不是主要问题。

@GreatMartial 对，不一样地点不一样。

@alexapollo 第四周忙东忙西的，技术上好多还没上。

@jyf 关键就是应用场景，我觉得应用场景还需要思考。

@GrahamCloud 应用场景思考这个不能闭门造车 最好的办法就是产品好用 前期免费给大家随便用 从用户的行为中去分析大众需求

@jyf 说得对，现在定制个人服务免费，网站功能是全免费的目前。

@jyf 啊，说错了，定制个人服务收费，网站功能全免费。

@jccg90 感觉怪不好意思的，求加微信 Zaoshuio

@GrahamCloud 哈。。。没事，当时就是随手测试一下，也不是真的需要抓数据。。。感觉这种服务还是挺方便的，如果我要用的话，一般就是用这种服务做简单的页面监控用，比如就监控某个页面的某几个数据，每天定时抓下来，并保存下来。 再高级点的功能就是，把每次抓到的数据聚合一下，出个表格之类的。但是只能保存最近 10 次的结果，这个就不太友好了，可以把限制改一下，比如限制保存的记录行数或者空间占用之类的。。。毕竟我每天抓几次数据，每次就存几个数，多存一些也不会额外占用资源吧


我用这种服务的话，一般都在抓很简单的，数据量很小东西的时候。。。复杂的需求或者规模大的需求，一般也不会用这种服务了

@jccg90 其实是没有删掉还在服务器上，之前出了个问题，就是定时任务邮件无法取消的 bug ，所以先这样过渡，实在不好意思。

@firefox12 我用着还行。。

@lslqtz 谢谢支持，哈哈，欢迎探讨

@jccg90

即刻？

@bestkayle 不是，就随便讨论

这东西开源么？对爬虫也比较感兴趣

建议商业模式:

工具和储存都免费开放给大家,让人用你们的工具去抓取有价值数据,然后提供一个市场来交易数据,你们从中抽成

试用了一下，首先觉得邮件注册的确很友好，但是可能不能限制用户使用...同样比较赞同按使用量计费

这个字体 我能吐槽吗？

@warjiang 目前不开源

@em70 想法好棒！

@KenGe 谢谢您的时间和耐心，谢谢。

使用了一下，前端做的还是很不错的，不过之前在 v2 也看到很多人在做了，持续观望 ing

功能还是太弱了，还不能接入 sdk ，抓取速度真的好一般，如果是给一些互联网公司运营和编辑用还可以，如果想给开发者用的话，还是先开源吧

@em70 数据堂就在做这些事情，卖数据、抽取规则还有数据 API 接口

春风得意，自我感觉良好，真是呵呵哒。
试用了一下，就感觉是个玩具。
不说其他，就说神箭手云爬虫，你们跟别人差的也不是一点半点

@SlipStupig 给不会编程的做一点简单的应用可以， api 定制是将来的方向。

@wangxiaoer 刚开始一个多月，肯定有差距啦。

@wangxiaoer 有建议直接提，这本来也是个讨论帖，也欢迎提 bug 。

只能爬取当前页吗？如果我想爬取所有分页的数据怎么做？

分页的数据没办法爬，我就放弃了。还是继续做神箭手的付费用户吧。。还有什么云爬虫，求推荐。

http://www.gamersky.com/handbook/201507/618347_5.shtml

什么元素都选不了。

能不能特定的检测某个数据变化呢 比如 epub.sipo.gov.cn 我想追踪每天发明专利公开和授权的数量变化 设定了这个网页抓取不到数据啊

桌面版的开源程序： https://github.com/ferventdesert/Hawk

和造数功能接近，很好用，可以参考。

@phantom1124 爬取分页在你的工作台里设置规则可以做。

@hanbing135 我们可以把现在的 bug 修复以后专门帮你自定义。

@xycool 分页现在其实是完全可以爬的，在你的控制台的设置规则里。

@iannil 很强大，感谢。

爬虫这个问题，和 ad block 工具某些方面有点类似，其目的都是帮助用户舍弃“无效信息”，直接获取“有效信息”
但争议性非常大，建议还是低调，盈利以服务性质为主，而不能以内容作为衡量
做得好，还可美其名为“聚合”，做不好、做大了还是难免成为被告的

@imn1 是啊，说得有道理。

为啥页数只能是 1-100 ？

@graetdk url 总量不能太大，目前

@GrahamCloud 不能用正则匹配吧？是不是需要复制所有的分页 rl 。

@GrahamCloud 哦哦。昨天那个设置页码的页面没有弹出来，我以为不能设置分页。现在可以弹出来了。。如果有文档就好了。

@xycool 分页现在除了总量有限制，要改进的看来还有很多。

神箭手

支持需要登录后才能爬取的页面么?

@hcymk2 现在还不支持。

@hcymk2
@xycool
@graetdk 新的界面要出来了，谢谢大家的意见。

基础服务肯定要稳定： ip 库（可分价格档）、自动打码、允许小号模拟登录、 api 导出、 api 种子导入。

前三个月功能迭代上心血很多，稳定性上确实……只能说逐步改进，这周马上又要出一个更好的新版了。
如果还愿意赏脸。吼吼

@orzcc 求加微信 Zaoshuio

@orzcc 求给您发红包

404 啦

@zjw60320 现在还 404 么

@GrahamCloud 我这还是 404 哎。。

今天还是 404

@hoocok 求问哪个，我这边测了好多个都正常运行

@GrahamCloud 低级错误 超链接变成了 t/www.zaoshu.io ...