«airflow» etiketlenmiş sorular

Sorun Airflow'da, Görev A tamamlanana kadar B görevlerinin sayısının bilinmeyeceği bir iş akışı oluşturmanın bir yolu var mı? Alt etiketlere baktım, ancak görünen o ki, yalnızca Dag oluşturma sırasında belirlenmesi gereken statik bir görevler dizisi ile çalışabilir. Hançer tetikleyicileri çalışır mı? Ve eğer öyleyse, lütfen bir örnek verin. Görev A …

101 python  workflow  airflow 

yeni bir kurulumdan sonra pip install apache-airflow, hava akışı sonunu bir python içe aktarma hatasıyla çalıştırma girişimleri: Traceback (most recent call last): File "/Users/\*/env/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory File "/Users/\*/env/lib/python3.7/site-packages/airflow/bin/cli.py", line 70, in <module> from airflow.www.app import (cached_app, create_app) File "/Users/\*/env/lib/python3.7/site-packages/airflow/www/app.py", line 26, in <module> from …

19 python  flask  airflow  werkzeug 

Kurulum düzgün yapıldı. db düzgün başlatılır ve web sunucusunu başlatmaya çalışırken aşağıdaki hatayı gösterir. Her şeyi yeniden kurdum ama hala çalışmıyor. Biri bana yardım ederse sevinirim. Konsol çıkışı: $:~/airflow# airflow webserver -p 8080 ____________ _____________ ____ |__( )_________ __/__ /________ __ ____ /| |_ /__ ___/_ /_ __ /_ __ …

16 airflow 

Kapalı. Bu soru yeniden üretilemiyor veya yazım hatalarından kaynaklanıyor . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Soruyu Yığın Taşması için konuyla ilgili olacak şekilde güncelleyin . 3 ay önce kapalı . Hava akımı -version ve hava akımı initdb denediğimde yukarıdaki hatayı alıyorum File "/home/ravi/sandbox/bin/airflow", line 26, …

12 python  airflow 

Kullandığım kullanıyorum https://github.com/helm/charts/tree/master/stable/airflow dümen grafiği ve v1.10.8 bina puckle/docker-airflowüzerinde yüklü Kubernetes ile görüntü ve dümen grafikte bu görüntüyü kullanarak Ama almaya devam File "/usr/local/bin/airflow", line 37, in <module> args.func(args) File "/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py", line 1140, in initdb db.initdb(settings.RBAC) File "/usr/local/lib/python3.7/site-packages/airflow/utils/db.py", line 332, in initdb dagbag = models.DagBag() File "/usr/local/lib/python3.7/site-packages/airflow/models/dagbag.py", line 95, in …

12 kubernetes  airflow  kubernetes-helm  airflow-scheduler 

Hava akışı kullanarak GCS için "silinmeyen" bir kova (yani dosyaları silemezsiniz) s3 dosyaları taşımak için çalışıyorum. Yeni dosyaların her gün orada olacağı garanti edilemez, ancak her gün yeni dosyaları kontrol etmeliyim. benim sorunum, alt verilerin dinamik oluşturulmasıdır. ARE dosyaları varsa, alt günlüklere ihtiyacım var. NOT dosyaları yoksa, alt günlüklere ihtiyacım …

10 python  airflow  directed-acyclic-graphs 

Aşağıdaki gibi bir scenerio var: A Task 1ve Task 2yalnızca yeni veriler kaynak tabloda (Athena) kullanılabilir olduğunda tetikleyin . Görev1 ve Görev2 için tetikleyici, gün içinde yeni bir veri bölümü olduğunda gerçekleşmelidir. Tetik Task 3sadece tamamlanması üzerine Task 1veTask 2 Tetikleyicinin Task 4yalnızcaTask 3 Kodum from airflow import DAG from …

9 python  airflow  amazon-athena  directed-acyclic-graphs  airflow-scheduler