Запитання з тегом «airflow»

Проблема Чи існує спосіб Airflow створити такий робочий процес, щоб кількість завдань B. * була невідомою до завершення завдання A? Я розглядав підтеги, але схоже, що він може працювати лише зі статичним набором завдань, які повинні бути визначені при створенні Dag. Чи спрацюють тригери dag? І якщо так, то будь …

98 python  workflow  airflow 

після свіжої установки за допомогою pip install apache-airflowбудь-яких спроб запуску потоку повітря закінчиться помилкою імпорту python: Traceback (most recent call last): File "/Users/\*/env/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory File "/Users/\*/env/lib/python3.7/site-packages/airflow/bin/cli.py", line 70, in <module> from airflow.www.app import (cached_app, create_app) File "/Users/\*/env/lib/python3.7/site-packages/airflow/www/app.py", line 26, in <module> from flask_wtf.csrf …

19 python  flask  airflow  werkzeug 

Установка зроблена належним чином. db, ініційований належним чином і при спробі запуску веб-сервера показує таку помилку. Я перевстановив усе, але все ще не працює. Буду вдячний, якщо мені хтось допоможе. Вихід консолі: $:~/airflow# airflow webserver -p 8080 ____________ _____________ ____ |__( )_________ __/__ /________ __ ____ /| |_ /__ ___/_ …

16 airflow 

Я використовую https://github.com/helm/charts/tree/master/stable/airflow helm діаграму та будуючи puckle/docker-airflowзображення v1.10.8 із встановленими на ньому кубернетами та використовуючи це зображення в кермовій діаграмі, але я продовжую отримувати File "/usr/local/bin/airflow", line 37, in <module> args.func(args) File "/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py", line 1140, in initdb db.initdb(settings.RBAC) File "/usr/local/lib/python3.7/site-packages/airflow/utils/db.py", line 332, in initdb dagbag = models.DagBag() File "/usr/local/lib/python3.7/site-packages/airflow/models/dagbag.py", …

12 kubernetes  airflow  kubernetes-helm  airflow-scheduler 

Зачинено. Це питання не відтворюється або було викликане помилками друку . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно було тематичним для переповнення стека. Закрито 3 місяці тому . Я отримую вище помилки, коли я пробую airflow -version та airflow initdb File "/home/ravi/sandbox/bin/airflow", line 26, in …

12 python  airflow 

Я намагаюся перемістити файли s3 з відра, що не видаляє (тобто я не можу видалити файли) в GCS за допомогою повітряного потоку. Я не можу гарантувати, що нові файли будуть там щодня, але я повинен перевіряти наявність нових файлів щодня. моя проблема - динамічне створення підданих. Якщо є файли ARE, …

10 python  airflow  directed-acyclic-graphs 

У мене є сценарій, як показано нижче: Запустити a Task 1і Task 2лише тоді, коли нові дані для них доступні у вихідній таблиці (Athena). Тригер для Task1 і Task2 повинен відбуватися при новому розділі даних через день. Тригер Task 3тільки після завершення Task 1таTask 2 Запустити Task 4лише завершенняTask 3 …

9 python  airflow  amazon-athena  directed-acyclic-graphs  airflow-scheduler