«etl» etiketlenmiş sorular

Ubuntu'da PostgreSQL 9.1 kullanıyorum. VACUUM ANALYZEHala programlanmış mı , yoksa tüm ihtiyaçlara cevap verebilecek kadar otomatik boşluk var mı? Cevap "duruma bağlı" ise, o zaman: Büyük bir veritabanına sahibim (30 GiB sıkıştırılmış boşaltma boyutu, 200 GiB veri dizini) Veritabanına ETL yapıyorum, haftada 3 milyon satıra yaklaşıyor En sık değişiklik yapılan …

38 postgresql  etl  vacuum 

ETL sürecimizin bir parçası olarak, verilerin en son yüklenmesinden bu yana sütunlardan herhangi birinin gerçekten değişip değişmediğini anlamak için satırları raporlama veritabanına göre sıralamayı karşılaştırıyoruz. Karşılaştırma tablonun benzersiz anahtarına ve diğer tüm sütunların bir tür karma değerine dayanmaktadır. Şu anda kullanmak HASHBYTESile SHA2_256algoritma ve birçok eşzamanlı çalışan iş parçacığı tüm …

29 sql-server  sql-server-2016  etl  sql-clr  hashing 

Soru: Seçilmiş ifadelerden yaklaşık 45 bin alıntı içeren bir senaryom var. Denemeye çalıştığımda, hafızamın tükendiğini belirten bir hata mesajı alıyorum. Bu betiğin çalışmasını nasıl sağlayabilirim? Bağlam: Bir uygulamanın, müşterinin kullandığı başka bir uygulama ile iyi çalışmasını sağlamak için bazı yeni veri alanları eklendi. İstemciden, mevcut veri öğelerini bu yeni alanların …

28 sql-server  sql-server-2005  etl 

Kapalı. Bu soru konu dışı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Soruyu , Veritabanı Yöneticileri Yığın Değişimi için açık olacak şekilde güncelleyin . 4 yıl önce kapandı . Pentaho'yu alıp çağırmadan önce bile Pentaho Veri Entegrasyonunu kullanıyordum. Son ücretsiz sürüme sahibim. Geçenlerde kendi web sitelerine …

26 etl 

Şirketimin bir ETL (ekstrakt-dönüştürme-yük) işlemi yerine bir ELT (ekstrakt-yük-dönüştürme) işlemi kullandığını fark ettim. İki yaklaşımdaki farklılıklar nelerdir ve hangi durumlarda biri diğerinden "daha iyi" olur? Bazı örnekler verebilirseniz harika olur.

19 data-warehouse  etl  business-intelligence 

ETL süreci yapıyoruz. Her şey söylendiğinde ve yapıldığında, aynı olması gereken bir sürü tablo var. Bu tabloların (iki farklı sunucuda) aslında aynı olduğunu doğrulamanın en hızlı yolu nedir? Hem şemadan hem de veriden söz ediyorum. Tabloda bir karma yapabilir miyim, tek tek bir dosya veya dosya grubunda yapabileceğim gibi - …

13 sql-server  sql-server-2008-r2  etl  except 

Analizime dayanarak, veri ambarımız için eksiksiz bir boyutsal model 200'den fazla kaynak tablodan çıkarılmasını gerektirecektir. Bu tablolardan bazıları artımlı bir yükün parçası olarak çıkarılacak ve diğerleri tam yük olacaktır. Not etmek gerekirse, hepsi aynı şemaya sahip yaklaşık 225 kaynak veritabanına sahibiz. Gördüğüm kadarıyla, OLE DB kaynağı ve OLE DB hedefi …

12 sql-server  sql-server-2005  ssis  data-warehouse  etl 

PostgreSQL için oldukça yeniyim, daha önce hiç kullanmadan büyük bir dağıtım yapmadım. Ancak, kurumsal çözümlerde iyi bir deneyime sahibim ve PostgreSQL kullanarak öğrendiklerimin bazılarını uygulamaya çalışıyorum. Çok sayıda veri ve trafiği işleyecek boyutta bir sitem var. Altyapı, EC2 örnekleri ve EBS hacimleri kullanılarak amazon (AWS) kullanılarak oluşturulacaktır. Tasarım, analiz ve …

11 postgresql  data-warehouse  etl 

Şu anda veri ambarımız için ETL oluşturma sürecindeyim. SSIS 2008 kullanıyoruz, ancak en önemlisi bileşenlerin yeniden kullanılmasındaki zorluk olan sorunlarla karşılaşıyoruz. Her tablo için ayrı paketlerimiz vardır ve her paket bir üst paketten bir dizi değişken girdi olarak alır. Bu giriş değişkenlerinde değişiklik yaptığımız için, her pakete girmemiz gerekiyor (şimdi …

10 sql-server  etl