Запитання з тегом «airflow-scheduler»

1
Планувальник повітряних потоків не запускається з виконавця кубернетів
Я використовую https://github.com/helm/charts/tree/master/stable/airflow helm діаграму та будуючи puckle/docker-airflowзображення v1.10.8 із встановленими на ньому кубернетами та використовуючи це зображення в кермовій діаграмі, але я продовжую отримувати File "/usr/local/bin/airflow", line 37, in <module> args.func(args) File "/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py", line 1140, in initdb db.initdb(settings.RBAC) File "/usr/local/lib/python3.7/site-packages/airflow/utils/db.py", line 332, in initdb dagbag = models.DagBag() File "/usr/local/lib/python3.7/site-packages/airflow/models/dagbag.py", …

1
Як запустити завдання Airflow лише тоді, коли новий розділ / дані, які можна змінити в таблиці AWS athena, використовуючи DAG в python?
У мене є сценарій, як показано нижче: Запустити a Task 1і Task 2лише тоді, коли нові дані для них доступні у вихідній таблиці (Athena). Тригер для Task1 і Task2 повинен відбуватися при новому розділі даних через день. Тригер Task 3тільки після завершення Task 1таTask 2 Запустити Task 4лише завершенняTask 3 …
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.