ELT sürecinin ETL üzerinden kullanılmasını destekleyen argümanlar nelerdir?


19

Şirketimin bir ETL (ekstrakt-dönüştürme-yük) işlemi yerine bir ELT (ekstrakt-yük-dönüştürme) işlemi kullandığını fark ettim.
İki yaklaşımdaki farklılıklar nelerdir ve hangi durumlarda biri diğerinden "daha iyi" olur? Bazı örnekler verebilirseniz harika olur.

Yanıtlar:


13

ETL vs ELT hakkında birçok tartışma var.

ETL ve ELT arasındaki temel fark, İşlemin gerçekleştiği yerdir Verilerin ETL işleminde ETL aracında (genellikle bir seferde ve bellekte kayıt olur) verilerin ELT işlemesi veritabanı motorunda gerçekleşir

Veriler aynıdır ve her iki yöntemde de verinin nihai sonuçları elde edilebilir.

çok size ve ortamınıza bağlıdır Güçlü bir Veritabanı motorunuz ve iyi bir donanımınız varsa ve üzerinde ağır işlem yapabiliyorsanız, ELT sizin için iyidir, Meşgul bir veri ambarı motorunuz varsa ve işlemden kurtulmanız gerekiyorsa ETL için.

ETL aracının size ETL (T) gibi her iki seçeneği de sunduğunu unutmayın, ETL aracında Dönüşüm'ü ve Veritabanı motorunda da dönüşüm yapabilirsiniz

ancak ELT yalnızca veritabanı motorunda dönüştürme seçeneğiniz vardır, ancak Veritabanlarının belirli bir zamandaki ETL araçlarından daha fazla set tabanlı işlemlerde daha iyi olduğunu bilmelisiniz.

Benzer bir soru üzerine sorulan SO ama ETL ve de güzel destekleyici Madde ELT vs ETL karşılaştırarak, ama ELT lehine


10

Neredeyse bir anlambilim meselesi. Bu konuda tartışmalarda çok fazla sıcak hava açığa çıkıyor, ancak ikisi arasında bir ayrımın gerçek felsefi derinliği olduğuna gerçekten ikna olmadım.

Bir düzeyde, son olarak yüklemeden önce ETL'yi istemci tarafındaki bir araçta verileri dönüştürmek olarak görebilirsiniz; ELT, verilerin formatta nispeten küçük bir değişiklikle bir tür hazırlama alanına aktarıldığını ima eder. Daha sonra 'Dönüşüm' gerçekleşir.

Bunlar çok kabarık tanımlar ve çok çeşitli teknik mimarilere uygulanabilir ve her iki terimin de tanımlanabileceği birçok olası tasarım vardır.

Tüm dönüşüm ve iş mantığının az çok homojen bir kod tabanına inşa edilebileceği bir mimariden yanayım ve dönüşüm mantığının oldukça karmaşık olduğu birçok sistem yaptım. Bu, verileri indirmek için sadece ETL aracını kullanma eğilimindeydi ve daha sonra dönüşümün tamamı saklı yordamlarda yapıldı. Tartışmalı olarak bu, ETL veya ELT olarak tanımlanabilir, ancak fark sadece anlambilimden biridir.

Bununla birlikte, bazı araçlar çok veritabanı merkezlidir (örneğin Oracle Veri Entegratörü genellikle ELT aracı olarak adlandırılır). Bu görünüme abone olursanız, veriler bir hazırlama alanına inerken ve daha sonra SQL veya PL / SQL koduyla (araç tarafından oluşturulabiliyorsa) dönüştürülmeden önce 'Ayıkla' ve 'Yükle' gerçekleşiyor el yazılı). Konuştuğum birkaç kişi ODI'nin temel değerini OWB değil gibi görüyor.

Informatica Powercentre veya MS SQL Server Entegrasyon Hizmetleri gibi bir istemci tarafı aracı kullanıyorsanız, araç, veri istemci tarafına kapsamlı bir dönüştürme yapabilir. Ascential Datastage ve Ab Initio gibi bazı ETL araçları, hız için düz dosyalar ve bellek içi veri yapıları ile çok çalışmak üzere tasarlanmıştır. Bu tür mimaride, dönüşüm yüklenmeden önce yapılmıştır. Belki de bu tür bir mimari kesinlikle 'ETL' olarak sınıflandırılabilir, ancak tüm gerçek işlerin bir grup saklı prosedür kodu tarafından yapıldığı birçok araç merkezli proje gördüm.

Çeşitli araçların ve mimari yaklaşımların avantajları vardır, ancak 'ETL' ve 'ELT' yaklaşımlarının esası hakkında kapsamlı bir açıklama yapamazsınız, çünkü terimler o kadar geniştir ki fark neredeyse anlamsızdır. Bazı araç ve mimarilerin belirli avantajları olabilir - örneğin, Ab Initio'nun düz dosyaları yoğun kullanımı, büyük veri hacimlerinde önemli bir performans avantajı sağlar.

Uygulamada, 'ETL' ve 'ELT' arasındaki ayrımı yapmak, sistem gereksinimleri, platform ve teknik mimari hakkında daha derin bir tartışmaya girmeden oldukça anlamsızdır.


1

Aynı zamanda bir para meselesi. Belirttiğiniz gibi veri hacimlerinin yüksek olduğu yerlerde, Ab Initio ve DataStage Paralel Genişletici gibi düz dosya tabanlı çözümler gerçekten daha hızlıdır, ancak orta ila yüksek altı rakamlı önermeler olabilir. IRI CoSort (ELT karşılaştırmalarına göre) çok ETL merkezlidir ve karmaşık bir Hadoop uygulaması dışında dönüşüm hacmini dosya sistemi hızıyla ele almanın tek uygun fiyatlı yolu. Ben de donanım (genellikle ELT aletleri ve bellek içi DBs de yapar) soruna atma, hem de maliyet açısından ölçeksiz düşünüyorum.

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.