airflow 使用问题

之前在论坛问过定时任务的监控问题，发现 airflow。

现在要做数据清洗和数据挖掘的工作，发现 airflow 非常适合用来做调度。但是遇到一些问题：

使用体验

airflow 重启很慢，开始的时候总误认为服务没有启动成功

问题

在 airflow web 界面点击了 Run，但是 job 一直处于 running 状态

比较费解，是按照 使用 Airflow 替代你的 crontab 的流程操作的。 不知道是不是有人也遇到过类似问题。

服务上的两个进程也都正常运行

[root@user_portrait 2018-03-26]# ps -aux | grep airflow airflow 9871 0.4 0.0 324724 55788 ? S 02:23 0:22 /usr/bin/python2 /usr/bin/airflow scheduler airflow 9882 1.9 0.1 946824 78132 ? S 02:23 1:31 /usr/bin/python2 /usr/bin/airflow webserver airflow 9908 0.0 0.0 318008 55220 ? S 02:23 0:04 gunicorn: master [airflow-webserver] airflow 20250 2.7 0.1 1036560 75780 ? Sl 03:38 0:02 [ready] gunicorn: worker [airflow-webserver] airflow 20273 3.8 0.1 1036560 75780 ? Sl 03:39 0:02 [ready] gunicorn: worker [airflow-webserver] airflow 20366 7.0 0.1 1036560 73740 ? Sl 03:39 0:02 [ready] gunicorn: worker [airflow-webserver] airflow 20516 25.7 0.1 1036560 73740 ? Sl 03:40 0:02 [ready] gunicorn: worker [airflow-webserver]