请问我现在想用 django + celery 做定时任务从外部拉取数据后写库。
但是如果我的项目为了做负载均衡同时部署在两台服务器上，那么定时任务就会执行两次。
这种情况应该怎么避免？
推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
This topic created in 2696 days ago, the information mentioned may be changed or developed.
 | 1 DonaidTrump Dec 24, 2018 via iPhone celery 只在一台服务器上跑就好了 |
 | 2 lanqing Dec 24, 2018 celery 不是可以分布式的么,, 为啥会执行两次呀 你是不是将你的项目完完全全复制了一份 用了两个 celery |
 | 3 leisurelylicht OP |
| 4 leisurelylicht OP @tulongtou 是说 celery 的 beat 和 work 只在一台服务器上启动就行吗 |
| 5 lanqing Dec 24, 2018 beat 启动后,会将任务丢到 redis 中, 很多机器上中的某一个 worker 会执行这个任务 只要 url 一样就可以实现,我单独写 celery 是这样的 django-celery 应该差不多 |
| 6 lanqing Dec 24, 2018 只需一个 beat,worker 可以多个 |
| 7 leisurelylicht OP @lanqing celery 定时任务的启动不是由 django 发起的，是由 beat 发起的？我还以为定时任务是由 Django 发起丢给 beat 然后再分配执行的呢。 |
| 8 leisurelylicht OP @lanqing 但是 django 不是直接连 redis 或 rabbitmq 的吗？难道定时任务的发起不是 django->redis->beat 这个流程吗 |
 | 9 gnozix Dec 24, 2018 celery 怎么会是和 Django 一起呢，celery 应该都是单独部署的吧 |
| 10 lanqing Dec 24, 2018 关于定时任务这个由谁发起的,我不能定论. 但是 django 中有两种写定时任务的方法,一种是 settings 中直接配置(我觉得你是这种),还有一种是动态添加 ``` CELERYBEAT_SCHEDULER = 'djcelery.schedulers.DatabaseScheduler' ``` 所有的定时任务都是又这个 Scheduler 调度的,添加任务删除任务的时候,这个 Scheduler 都能自动更新(其实就是读表,可以在数据库找到表 crontab,xxx 等表) 这个 Scheduler 将任务丢到 redis 中,worker 就知道有任务了,就执行了,其实跟 django 我觉得没任何关系 |
| 11 leisurelylicht OP @lanqing 我好像明白了。我之前因为在启动 celery 时要指定 django app 所以误以为是由 django 做的任务发起。其实这个只是为了获取相关配置。 |
 | 12 kernelG Dec 24, 2018 我大概知道你说的意思，如你所说，两个机器的任务其实是互斥的。 其实你这里的逻辑就有问题。 如果你是为了做分布式，那么两台机器都做定时任务本来就是正确的啊，为什么会互斥呢？ 如果你说的是同一个任务，不应该被重复执行两次，那么你应该引入一个队列弹出的机制 总之你应该理顺一下思路，我感觉你是有点模糊的。一楼答案就说的很好，如果不想两个一起跑，你只跑一个机器就行了啊 |
Select Language