推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 4850 天前的主题，其中的信息可能已经有所发展或是发生改变。
我要实现一个图片下载程序，思路是这样的：
webpy
前台输入图片地址保存到数据库，后台有一个守护程序。发现有新的未下载的图片，马上下载。
现在想问的是 webpy 框架 自身可以实现这个守护程序吗？
说简明一点：webpy启动的时候，下载图片的程序也运行。
webpy
前台输入图片地址保存到数据库，后台有一个守护程序。发现有新的未下载的图片，马上下载。
现在想问的是 webpy 框架 自身可以实现这个守护程序吗？
说简明一点：webpy启动的时候，下载图片的程序也运行。
 | 1 sykp241095 2012-07-17 10:35:18 +08:00 可以，但没有这么做的 |
 | 2 zzWinD OP @sykp241095 谢谢你的回复， 请问什么方法才更适合我的需求？ |
| 3 sykp241095 2012-07-17 10:48:45 +08:00 You need a standalone consumer. |
 | 4 judezhan 2012-07-17 11:55:53 +08:00 ...我实在是没明白你的意思。一个cronjob+shell脚本就搞定了吧？还是我曲解了你的意思？ |
 | 5 shellex 2012-07-17 12:25:20 +08:00 @zzWinD 的意思是需要一个web介面提交下载地址，让呼叫一个下载程序去下载。 如果是我的话，我也会用一个独立程序来处理下载的事宜。你可以让这个下载程序访问数据库获得需要下载的任务，也可以让那个web暴露一个API提供任务给下载程序。 |
| 6 zzWinD OP |
 | 7 messense 2012-07-17 15:31:55 +08:00 也许需要用 python-rq 或者 celery 这样的Task Queue？ |
| 8 shellex 2012-07-17 16:04:24 +08:00 @zzWinD 这和webpy无关。web部分也不应该处理这种任务。如果是Linux配合cron或者自己做个daemon就可以了。 |
 | 9 arzon 2012-07-17 16:11:06 +08:00 @zzWinD 典型的生产者-消费者的需求. 可以用线程+队列解决. 随应用服务器初始化一个消费者线程和生产队列. 提交地址时将地址放入队列. 消费者线程依次从队列中取出地址进行下载保存. |
 | 10 jamiesun 2012-07-17 23:26:10 +08:00 |
| 11 zzWinD OP |
 | 12 Archangel_SDY 2012-07-18 11:51:26 +08:00 做过一个类似的, 前台用js bookmarklet提交请求, 后台用celery处理下载, 队列用rabbitmq. webpy的话用在处理前台请求和管理页比较合适. |
 | 13 lanbing 2012-07-18 15:10:09 +08:00 |
 | 14 ilessd 2012-07-18 15:14:11 +08:00 可以考 https://chrome.google.com/webstore/detail/hgndabfigagmapbcgdcmbcbmemkchlid?hl=zh-TW 使用 aria2c 的 rpc server |
 | 15 ipconfiger 2012-07-18 16:10:27 +08:00 $sudo pip install celery 一切没烦恼 |
 | 16 cyberscorpio 2012-07-18 20:40:48 +08:00 一般来说，可能你得提交两个地址。除了图片的 URL 之外，还要 HTTP_REFERER，否则很多网站会返回 403... |
| 17 jamiesun 2012-07-19 22:17:19 +08:00 |
 | 18 shiweifu 2012-07-20 10:32:04 +08:00 cronjob + Python + 一个kv(k是文件地址,v是保存的路径) |
 | 19 bigzhu 2012-07-24 10:34:22 +08:00 我做的 http://digzhu.com 其实有部分功能用到你说的这个. 我这个站是用来推荐网站的. 输入 url,然后抓取站点截图. 正好也是用 web.py 开发的. 确实得用另外的程序来抓. python 就判断下抓过没有,还有转换下图片大小等杂事. |
 | 22 darklowly 2012-09-22 19:56:06 +08:00 直接创建一个后台线程就可以了。 |
 | 23 mckelvin 2012-09-22 20:04:12 +08:00 如果LZ嫌cron麻烦的话可以tmux开一个panel直接写轮询呀 |
 | 24 clowwindy 2012-09-22 20:07:44 +08:00 |
 | 25 xi4nyu 2012-09-25 10:00:55 +08:00 异步+队列. |
Select Language