有没有这样一种任务队列系统，自己独立运行，配置一下就可以执行有先后顺序的任务，同级任务可以并行执行
wudicgi 2021-08-25 13:34:04 +08:00 1638 次点击这是一个创建于 1516 天前的主题，其中的信息可能已经有所发展或是发生改变。
以“下载收藏夹中的所有视频”为例，会有这样几个任务:
1. 获取收藏夹的列表
2. 获取收藏夹中视频的列表
3. 下载视频
4. 对下载得到的文件进行处理 (合并分段视频等)
5. 将视频移动到指定位置，并将信息添加到数据库中
1, 2, 3, 4, 5 按顺序执行，同时期望 1, 2 同一时间最多运行一个任务，3 可以同时运行多个，4, 5 在每个 3 完成后依次运行
每个任务通过调用程序完成就行，这些程序自己写
像这种任务队列的需求有没有什么现成的程序可以用？感觉应该有，但这方面了解的少，不知道用什么关键词搜
1. 获取收藏夹的列表
2. 获取收藏夹中视频的列表
3. 下载视频
4. 对下载得到的文件进行处理 (合并分段视频等)
5. 将视频移动到指定位置，并将信息添加到数据库中
1, 2, 3, 4, 5 按顺序执行，同时期望 1, 2 同一时间最多运行一个任务，3 可以同时运行多个，4, 5 在每个 3 完成后依次运行
每个任务通过调用程序完成就行，这些程序自己写
像这种任务队列的需求有没有什么现成的程序可以用？感觉应该有，但这方面了解的少，不知道用什么关键词搜
 | 1 wudicgi OP 这样的工作我以前都是用 PHP 直接写的，每个任务搞个 php 脚本 纯手动操作，执行完一级的任务，再执行下一级，有没有错误全靠人工判断 如果有一个通用的任务队列框架可用，可以把数据的输出输出和错误处理都标准化 而且像下载文件调用 youtube-dl 这种操作，在 PHP 里调用外部程序感觉可控的东西少，有异常时处理不方便 |
 | 2 ss098 2021-08-25 14:08:15 +08:00 |
| 3 wudicgi OP @ss098 感谢, 看了下 laravel 的 queues, 应该可以实现这种功能，但它貌似是在 PHP 程序内部用的 现在我理想中的程序是跑外部程序的，每个任务启动起来就是一个进程， 有一个 Web 页面或客户端程序可以看这些进程的运行状态，加上简单的控制， 不知道有没有人做过这种程序，就怕自己写完发现早有了 |
 | 4 aborigine 2021-08-25 15:03:27 +08:00 airflow 可以用，哈哈哈哈 |
 | 5 ruiyi1994 2021-08-25 15:12:28 +08:00 |
 | 6 lithiumii 2021-08-25 15:24:20 +08:00 via Android rq |
 | 7 triptipstop 2021-08-25 16:13:22 +08:00 XXLJOB |
Select Language