«directed-acyclic-graphs» etiketlenmiş sorular



1
dosya adlarına göre üst veri tabanından dinamik alt veriler oluşturmaya çalışmak
Hava akışı kullanarak GCS için "silinmeyen" bir kova (yani dosyaları silemezsiniz) s3 dosyaları taşımak için çalışıyorum. Yeni dosyaların her gün orada olacağı garanti edilemez, ancak her gün yeni dosyaları kontrol etmeliyim. benim sorunum, alt verilerin dinamik oluşturulmasıdır. ARE dosyaları varsa, alt günlüklere ihtiyacım var. NOT dosyaları yoksa, alt günlüklere ihtiyacım …

1
Airflow görevini yalnızca AWS athena tablosundaki yeni bölüm / veriler python'da DAG kullanarak tetiklendiğinde nasıl tetikleyebilirim?
Aşağıdaki gibi bir scenerio var: A Task 1ve Task 2yalnızca yeni veriler kaynak tabloda (Athena) kullanılabilir olduğunda tetikleyin . Görev1 ve Görev2 için tetikleyici, gün içinde yeni bir veri bölümü olduğunda gerçekleşmelidir. Tetik Task 3sadece tamamlanması üzerine Task 1veTask 2 Tetikleyicinin Task 4yalnızcaTask 3 Kodum from airflow import DAG from …
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.