«parquet» etiketlenmiş sorular

Apache Parquet'in özellikleri: Kendinden açıklayan Sütunlu biçim Dil bağımsız Avro, Sıra Dosyaları, RC Dosyası vb. İle karşılaştırıldığında Biçimlere genel bir bakış istiyorum. Zaten okudum: Impala Hadoop Dosya Biçimleriyle Nasıl Çalışır, biçimler hakkında bazı bilgiler verir, ancak bu biçimlerin her birinde verilere erişimin ve verilerin depolanmasının nasıl yapıldığını bilmek istiyorum. Parkenin …

137 file  hadoop  hdfs  avro  parquet 

Her ikisi de veri analiz sistemlerinde kullanım için sütunlu (disk) depolama formatlarıdır . Her ikisi de entegre edilmiştir Apache Ok ( pyarrow piton paket) ile eşleşecek şekilde tasarlanmıştır Ok sütunlu bir bellek analiz tabaka olarak kullanılır. Her iki format nasıl farklılık gösterir? Pandalarla çalışırken her zaman tüyü tercih etmeli misiniz? …

95 python  pandas  parquet  feather  pyarrow 

Hadoop ile ilgili projem için hadoop dosya formatlarından birini kullanmayı planlıyorum. Parkenin sütun tabanlı sorgulama için ve tam tarama için veya tüm sütun verilerine ihtiyacımız olduğunda avro için verimli olduğunu anlıyorum ! Devam etmeden ve dosya formatlarından birini seçmeden önce, birinin diğerine göre dezavantajlarının / dezavantajlarının neler olduğunu anlamak istiyorum. …

92 hadoop  avro  parquet 

Hive ile kullanılabilen depolama formatları üzerinde birkaç test yapıyorum ve ana seçenekler olarak Parquet ve ORC'yi kullanıyorum. ORC'yi bir kez varsayılan sıkıştırmayla ve bir kez de Snappy ile dahil ettim. ORC'ye kıyasla Parquet'in zaman / mekan karmaşıklığında daha iyi olduğunu belirten birçok belge okudum, ancak testlerim geçtiğim belgelerin tam tersi. …

88 hadoop  hive  parquet  snappy  orc