«data-warehouse» etiketlenmiş sorular

Veri Ambarı modellemesinin (Star, Snowflake) baskın topolojileri akılda bir-çok ilişkilerle tasarlanmıştır. Sorgu okunabilirliği, performansı ve yapısı, bu modelleme şemalarında çoktan çoğa ilişkiyle karşılaştığında ciddi şekilde düşer. Bir veri ambarındaki boyutlar arasında veya olgu tablosu ile bir boyut deposu arasında bir çoktan çoğa ilişki kurmanın bazı yolları nelerdir ve gerekli ayrıntı …

25 database-design  data-warehouse 

Şirketimin bir ETL (ekstrakt-dönüştürme-yük) işlemi yerine bir ELT (ekstrakt-yük-dönüştürme) işlemi kullandığını fark ettim. İki yaklaşımdaki farklılıklar nelerdir ve hangi durumlarda biri diğerinden "daha iyi" olur? Bazı örnekler verebilirseniz harika olur.

19 data-warehouse  etl  business-intelligence 

Ben bir veri ambarı dizinleri kullanarak performans ayarlama. SQL Server 2014 için oldukça yeniyim.Microsoft aşağıdakileri açıklar: "Kümelenmiş sütun deposu dizinini, büyük veri ambarı olgu tablolarını saklama standardı olarak görüyoruz ve çoğu veri ambarı senaryosunda kullanılmasını bekliyoruz. Kümelenmiş sütun deposu dizini güncellenebilir olduğundan, iş yükünüz çok sayıda ekleme, güncelleme, ve silme …

18 sql-server  foreign-key  data-warehouse  sql-server-2014  columnstore 

Bir kullanırken sistem sürümü belirlenmiş zamansal tablo (SQL Server 2016 yılında yeni), bu özellik büyük bir ilişkisel veri ambarında Boyutları değiştirme yavaşça işlemek için kullanılan sorgu yazma ve performans etkileri nelerdir? Örneğin, Customerbir Postal Codesütun ile 100.000 satırlık bir boyutum ve yabancı anahtar sütunlu Salesbir milyar dolarlık bir olgu tablosum …

17 sql-server  data-warehouse  slowly-changing-dimension  sql-server-2016  temporal-tables 

Kapalı. Bu soru konu dışı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Soruyu , Veritabanı Yöneticileri Stack Exchange için konuyla ilgili olacak şekilde güncelleyin . 5 yıl önce kapalı . Bu sorunun henüz sorulmamış olduğunu merak ediyorum. Google'ın benim için yüksek kaliteli bir araç göstermeyen çok …

16 tools  data-warehouse  database-agnostic  business-intelligence 

Bazen halka açık veri kümelerini Postgres dB'leri biçiminde indiriyorum. Bu veri kümeleri, zaman içinde depo sahibi tarafından güncellenir / değiştirilir / genişletilir. OLD ve YENİ Postgres veritabanı arasındaki farkları gösterebilen bir Postgres komutu veya aracı (ideal olarak FOSS) var mı? (Çalışma varsayımı, girdilerin% 95'inin değişmediği ve tabloların ve ilişkilerin de …

14 postgresql  data-warehouse 

API istekleri günlüğünü depolamak için büyük bir veri deposunda dinamik alanları ve değerleri desteklemem gerekiyor, kullanıcı durumum tüm API istekleri sorgu dizesini saklamalı ve gelecekte onlara karşı sorgulama yapabilmem (yani yalnızca depolama, bu yüzden onlar için damla kullanamam) Örneğin http://example.com/?action=test&foo=abc&bar=def... Tüm field => valueeşlemeleri saklamam gerekiyor (action => test), (foo …

13 database-design  data-warehouse  eav  star-schema  redshift 

Analizime dayanarak, veri ambarımız için eksiksiz bir boyutsal model 200'den fazla kaynak tablodan çıkarılmasını gerektirecektir. Bu tablolardan bazıları artımlı bir yükün parçası olarak çıkarılacak ve diğerleri tam yük olacaktır. Not etmek gerekirse, hepsi aynı şemaya sahip yaklaşık 225 kaynak veritabanına sahibiz. Gördüğüm kadarıyla, OLE DB kaynağı ve OLE DB hedefi …

12 sql-server  sql-server-2005  ssis  data-warehouse  etl 

SQL Server'da 200 GB veri ambarım var. Bazı sorgular için gerçekten yavaş yürütme süreleri yaşıyorum; örneğin . deleteile basit bir sorgu için 12 saat inner join. Yürütme planları ile biraz araştırma yaptıktan sonra, WITH FULLSCANseçeneği kullanarak sorguda yer alan 2 tablonun istatistiklerini güncelledim . Sorgu şimdi bir saniyeden daha kısa …

12 sql-server  data-warehouse  statistics 

Bir veri martının / deposunun yapı taşlarını tasarlamaya başlıyoruz ve tüm zaman dilimlerini destekleyebilmemiz gerekiyor (müşterilerimiz dünyanın her yerinden). Çevrimiçi (ve kitaplarda) tartışma okumaktan, ortak bir çözüm, ayrı bir tarih ve saat boyutunun yanı sıra olgu tablolarında bir zaman damgasına sahip olmak gibi görünüyor. Ancak, yanıtlamakta zorlandığım soru, tarih ve …

12 sql-server-2012  data-warehouse  datetime  timezone 

Okuduğum bazı SQL Server veri sıkıştırma literatüründe, yazma maliyetinin normalde gerekenin yaklaşık dört katına çıktığı belirtiliyor. Ayrıca, bunun veri sıkıştırmanın birincil dezavantajı olduğu ve salt okunur bir arşiv veritabanı için performansın (birkaç istisna hariç)% 100 doldurulmuş sayfaların veri sıkıştırması kullanılarak artırılacağını ima ettiği görülmektedir. Yukarıdaki ifadeler doğru mu? Veri sıkıştırma …

11 sql-server  sql-server-2012  data-warehouse  compression 

PostgreSQL için oldukça yeniyim, daha önce hiç kullanmadan büyük bir dağıtım yapmadım. Ancak, kurumsal çözümlerde iyi bir deneyime sahibim ve PostgreSQL kullanarak öğrendiklerimin bazılarını uygulamaya çalışıyorum. Çok sayıda veri ve trafiği işleyecek boyutta bir sitem var. Altyapı, EC2 örnekleri ve EBS hacimleri kullanılarak amazon (AWS) kullanılarak oluşturulacaktır. Tasarım, analiz ve …

11 postgresql  data-warehouse  etl 

Oracle Exadata'da (11gR2), nispeten kaslı bir veritabanımız var. cpu_count 24 parallel_server_instances 2'dir parallel_threads_per_cpu 2'dir Oracle Enterprise Manager'da (OEM) gözlem yaparak, seri olarak yürütülen sorgular nedeniyle performansın korkunç olduğunu belirledik. Bunu çözmek için tüm tablolar, somutlaştırılmış görünümler ve indeksler paralellikten faydalanmak üzere değiştirildi. Örneğin: ALTER TABLE SOME_TABLE PARALLEL (DEGREE DEFAULT INSTANCES …

11 oracle  data-warehouse 

Birçok zaman dilimi için verilere karşı raporlamayı destekleyecek bir veri ambarı tasarımını optimize etmeye çalışıyoruz. Örneğin, bir saatlik etkinlik (milyonlarca satır) için, günün saatine göre gruplandırılmış etkinliği göstermesi gereken bir raporumuz olabilir. Ve elbette günün o saati, verilen zaman dilimi için "yerel" saat olmalıdır. UTC'yi ve bir yerel saati desteklediğimizde …

10 sql-server  database-design  data-warehouse  reporting  timezone 

100 TB raporlama veritabanı kurulumu için 'zarfın arkası' hesaplaması üzerinde çalışıyorum. Buradaki uzmanlardan düşünceler arıyorum. Önerilen ortam: Depolama Kapasitesi ~ 100 TB Tablolar ~ 200, 1 GB ile 5 TB arasında değişen boyutlar. ortalama boyut 100GB-200GB arasında olabilir ETL - işler 10 milyondan 500 bayta kadar birleştirme anahtarları ile 10 …

10 oracle  database-recommendation  data-warehouse