Hadoop ile ilgili projem için hadoop dosya formatlarından birini kullanmayı planlıyorum. Parkenin sütun tabanlı sorgulama için ve tam tarama için veya tüm sütun verilerine ihtiyacımız olduğunda avro için verimli olduğunu anlıyorum !
Devam etmeden ve dosya formatlarından birini seçmeden önce, birinin diğerine göre dezavantajlarının / dezavantajlarının neler olduğunu anlamak istiyorum. Bunu bana basit terimlerle açıklayan var mı?
Yanıtlar:
Henüz karar vermediyseniz, devam edip verileriniz için Avro şemaları yazardım. Tamamlandıktan sonra, Avro konteyner dosyaları ve Parquet dosyaları arasında seçim yapmak, değiştirmek kadar basittir; örneğin,
job.setOutputFormatClass(AvroKeyOutputFormat.class);
AvroJob.setOutputKeySchema(MyAvroType.getClassSchema());
için
job.setOutputFormatClass(AvroParquetOutputFormat.class);
AvroParquetOutputFormat.setSchema(job, MyAvroType.getClassSchema());
Parquet formatı, yazma tarafında biraz daha hesaplama açısından yoğun görünmektedir - örneğin, arabelleğe alma için RAM ve verileri sipariş etmek için CPU gerektirir, ancak G / Ç, depolama ve aktarım maliyetlerini azaltmalı ve verimli hale getirmelidir. özellikle sütunların yalnızca bir bölümünü ele alan SQL benzeri (örneğin, Hive veya SparkSQL) sorgularla okur.
Bir projede, şema çok kapsamlı ve iç içe (oldukça hiyerarşik bazı nesne yönelimli sınıflardan türetilmiş) ve 1000'lerce Parke sütunuyla sonuçlandığı için Parquet'ten Avro konteynerlerine geri döndüm. Buna karşılık, satır gruplarımız gerçekten geniş ve sığdı, bu da her grubun son sütunundaki az sayıda satırı işlemeden önce sonsuza kadar sürdüğü anlamına geliyordu.
Daha normalize / mantıklı veriler için henüz Parquet kullanma şansım olmadı, ancak iyi kullanıldığında önemli performans iyileştirmelerine izin verdiğini anlıyorum.
Avro, Satır tabanlı bir formattır. Verileri bir bütün olarak almak istiyorsanız, Avro'yu kullanabilirsiniz.
Parke, Sütun tabanlı bir formattır. Verileriniz çok sayıda sütundan oluşuyorsa ancak bir sütun alt kümesiyle ilgileniyorsanız, Parquet'i kullanabilirsiniz.
HBase, verilerin sık sık güncellenmesi söz konusu olduğunda yararlıdır. Avro geri çağırmada hızlı, Parquet çok daha hızlı.
Avro
Parke
Gönderen bir HDF'ler veri depolama Format- Avro vs Parke ve daha Seçimi
Hem Avro hem de Parquet, "kendi kendini tanımlayan" depolama formatlarıdır, yani verileri bir dosyada depolarken hem verileri hem meta veri bilgilerini hem de şemayı katıştırır. Her iki depolama biçiminin kullanımı kullanım durumuna bağlıdır. Sizin durumunuzda hangi formatın en uygun olacağını seçebileceğiniz temeli üç husus oluşturur:
Okuma / Yazma işlemi : Parquet, sütun tabanlı bir dosya formatıdır. İndekslemeyi destekler. Bu nedenle, bir kez yazma ve okuma yoğun, karmaşık veya analitik sorgulama, düşük gecikmeli veri sorguları için uygundur. Bu genellikle son kullanıcılar / veri bilimcileri tarafından kullanılır.
Bu arada, satır tabanlı bir dosya formatı olan Avro, en iyi yazma yoğun işlemler için kullanılır. Bu genellikle veri mühendisleri tarafından kullanılır. Her ikisi de farklı şekillerde yapsalar da serileştirme ve sıkıştırma formatlarını destekler.
Araçlar : Parke, Impala için çok uygundur. (Impala, bir veya birkaç harici depolama motorunda bulunan veriler üzerinde nasıl çalışılacağını bilen bir Massive Parallel Processing (MPP) RDBM SQL sorgu motorudur.) Yine Parquet, karmaşık / etkileşimli sorgulama ve hızlı (düşük gecikme süresi) ) HDFS'de veri üzerinden çıktı verir. Bu, CDH (Cloudera Distribution Hadoop) tarafından desteklenmektedir. Hadoop, Apache'nin Optimize Edilmiş Sütun Sütun (ORC) formatlarını destekler (seçimler Hadoop dağıtımına bağlıdır), Avro ise Spark işleme için en uygunudur.
Şema Evrimi : Bir DB şemasını geliştirmek, DB'nin yapısını, dolayısıyla verilerini ve dolayısıyla sorgu işlemesini değiştirmek anlamına gelir.
Hem Parquet hem de Avro, şema evrimini farklı derecelerde destekler.
Parquet, örneğin sütun eklemek gibi "ekleme" işlemleri için iyidir, ancak dizin tarafından "okuma" yapılmadıkça sütunları yeniden adlandırmak için uygun değildir.
Avro, Sütunları eklemek, silmek ve genellikle değiştirmek için Parquet'e göre daha uygundur. Tarihsel olarak Avro, Parquet'e göre daha zengin bir şema evrimi olanakları sağlamıştır ve şema evrim yetenekleri bulanıklaşma eğiliminde olmasına rağmen, Avro, Parquet ile karşılaştırıldığında bu alanda hala parlamaktadır.
Anlayışınız doğru. Hatta DWH'mizde veri geçişi sırasında benzer bir durumla karşılaştık. Elimizdeki disk tasarrufu AVro ile elde ettiğimizin neredeyse iki katı olduğu için Avro yerine Parquet'i seçtik. Ayrıca, sorgu işleme süresi Avro'dan çok daha iyiydi. Ancak evet, sorgularımız toplama, sütun tabanlı işlemler vb. Temelliydi, bu nedenle Parke tahmin edilebileceği gibi açık bir kazanan oldu.
CDH dağıtımından Hive 0.12 kullanıyoruz. Hive + Parquet ile ilgili sorunlar yaşadığınızı söylediniz, bunlar nedir? Hiç karşılaşmadık.
Silver Blaze, örnek bir kullanım durumu ile güzel bir açıklama yaptı ve Parke'nin kendisi için en iyi seçim olduğunu açıkladı. Gereksinimlerinize bağlı olarak birini diğerinin üzerinde düşünmek mantıklıdır. Zaman uzayı karmaşıklığı karşılaştırması ile birlikte farklı diğer dosya formatlarının kısa bir açıklamasını da yapıyorum. Umarım yardımcı olur.
Hive'da kullanabileceğiniz birçok dosya biçimi vardır. Dikkate değer sözler AVRO, Parquet'dir. RCFile ve ORC. Bu dosya biçimlerinin performansını ve alan kullanımını karşılaştırmak isterseniz başvurabileceğiniz çevrimiçi olarak kullanabileceğiniz bazı iyi belgeler vardır. Sizi harekete geçirecek bazı yararlı bağlantıları takip eder.
MapR'den gelen bu bağlantı [Yine de Parke konusunu tartışmıyorlar]
Yukarıda verilen bağlantılar sizi harekete geçirecek. Umarım bu, sorgunuza cevap verir.
Teşekkürler!
Sadece Parke hakkında bir açıklama için, buraya bakabilirsiniz: http://bigdata.devcodenote.com/2015/04/parquet-file-format.html
Çok yakında Avro ve 2 arasında bir karşılaştırma yazmayı planlıyorum. Bittiğinde buraya gönderecek.