Spark'da çıktı dizininin üzerine nasıl yazılır

Her dakika için bir veri seti üreten bir kıvılcım akışı uygulamam var. İşlenen verilerin sonuçlarını kaydetmem / üzerine yazmam gerekiyor.

Veri kümesinin üzerine yazmaya çalıştığımda org.apache.hadoop.mapred.FileAlreadyExistsException yürütmeyi durduruyor.

Spark özelliğini ayarladım set("spark.files.overwrite","true"), ancak şans yok.

Kıvılcım dosyalarının üzerine nasıl yazılır veya önceden silinir?

GÜNCELLEME: Kullanmayı Dataframesve buna benzer bir şeyi önerin ... .write.mode(SaveMode.Overwrite) ....

Kullanışlı pezevenk:

implicit class PimpedStringRDD(rdd: RDD[String]) {
    def write(p: String)(implicit ss: SparkSession): Unit = {
      import ss.implicits._
      rdd.toDF().as[String].write.mode(SaveMode.Overwrite).text(p)
    }
  }

Daha eski sürümler için deneyin

yourSparkConf.set("spark.hadoop.validateOutputSpecs", "false")
val sc = SparkContext(yourSparkConf)

1.1.0'da, --conf bayrağıyla birlikte spark-submit betiğini kullanarak conf ayarlarını yapabilirsiniz.

UYARI (eski sürümler): @piggybox'a göre, Spark'ta yalnızca dosyalarını yazmak için ihtiyaç duyduğu dosyaların üzerine yazacağı bir hata var, part-diğer dosyalar kaldırılmadan bırakılacak.

çünkü df.save(path, source, mode)kaldırıldı, ( http://spark.apache.org/docs/1.5.0/api/scala/index.html#org.apache.spark.sql.DataFrame )

df.write.format(source).mode("overwrite").save(path)
df.write'ın DataFrameWriter olduğu yerde kullanın

'kaynak' ("com.databricks.spark.avro" | "parke" | "json") olabilir

Parametrenin dokümantasyonu şunu spark.files.overwritesöyler: " SparkContext.addFile()Hedef dosya var olduğunda ve içeriği kaynağınkilerle eşleşmediğinde eklenen dosyaların üzerine yazılıp yazılmayacağı ." Bu nedenle, saveAsTextFiles metodu üzerinde etkisi yoktur.

Dosyayı kaydetmeden önce bunu yapabilirsiniz:

val hadoopConf = new org.apache.hadoop.conf.Configuration()
val hdfs = org.apache.hadoop.fs.FileSystem.get(new java.net.URI("hdfs://localhost:9000"), hadoopConf)
try { hdfs.delete(new org.apache.hadoop.fs.Path(filepath), true) } catch { case _ : Throwable => { } }

Aas burada açıklanmıştır: http://apache-spark-user-list.1001560.n3.nabble.com/How-can-I-make-Spark-1-0-saveAsTextFile-to-overwrite-existing-file-td6696. html

Gönderen pyspark.sql.DataFrame.save belgelerinde (şu anda 1.3.1 at) belirtebilirsiniz mode='overwrite'bir DataFrame kaydederken:

myDataFrame.save(path='myPath', source='parquet', mode='overwrite')

Bunun kalan bölüm dosyalarını bile kaldıracağını doğruladım. Öyleyse, başlangıçta 10 bölüm / dosya söylediyseniz, ancak daha sonra klasörün üzerine yalnızca 6 bölümlü bir DataFrame yazdıysanız, ortaya çıkan klasörde 6 bölüm / dosya olacaktır.

Mod seçenekleri hakkında daha fazla bilgi için Spark SQL belgelerine bakın .

df.write.mode('overwrite').parquet("/output/folder/path")python kullanarak bir parke dosyasının üzerine yazmak istiyorsanız çalışır. Bu, kıvılcım 1.6.2'de. API, sonraki sürümlerde farklı olabilir

  val jobName = "WordCount";
  //overwrite the output directory in spark  set("spark.hadoop.validateOutputSpecs", "false")
  val conf = new 
  SparkConf().setAppName(jobName).set("spark.hadoop.validateOutputSpecs", "false");
  val sc = new SparkContext(conf)

Kaydetme işlevinin bu aşırı yüklenmiş sürümü benim için çalışıyor:

yourDF.save (outputPath, org.apache.spark.sql.SaveMode.valueOf ("Üzerine Yaz"))

Yukarıdaki örnek, mevcut bir klasörün üzerine yazacaktır. Savemode bu parametreleri de alabilir ( https://spark.apache.org/docs/1.4.0/api/java/org/apache/spark/sql/SaveMode.html ):

Ekleme : Ekleme modu, bir DataFrame'i bir veri kaynağına kaydederken, veri / tablo zaten mevcutsa, DataFrame içeriğinin mevcut verilere eklenmesinin beklendiği anlamına gelir.

ErrorIfExists : ErrorIfExists modu, bir DataFrame'i bir veri kaynağına kaydederken, veriler zaten mevcutsa bir istisna atılmasının beklendiği anlamına gelir.

Yoksay : Yoksay modu, bir DataFrame'i bir veri kaynağına kaydederken, veri zaten mevcutsa, kaydetme işleminin DataFrame içeriğini kaydetmemesi ve mevcut verileri değiştirmemesinin beklendiği anlamına gelir.

Kendi özel çıktı formatınızı kullanmak istiyorsanız, RDD ile de istenen davranışı elde edebilirsiniz.

Aşağıdaki sınıflara bir göz atın: FileOutputFormat , FileOutputCommitter

Dosya çıktı biçiminde, çıktı dizininin var olup olmadığını kontrol eden checkOutputSpecs adında bir yönteme sahipsiniz. FileOutputCommitter'da, genellikle verileri geçici dizinden son yerine aktaran commitJob'a sahipsiniz.

Henüz doğrulayamadım (birkaç boş dakikam olur olmaz bunu yapacağım) ama teorik olarak: FileOutputFormat'ı genişletirsem ve checkOutputSpecs'i dizinde istisna oluşturmayan bir yönteme geçersiz kılarsam ve İstediğim mantığı gerçekleştirmek için (örneğin bazı dosyaları geçersiz kılın, diğerlerini ekleyin) RDD'lerle de istenen davranışı elde edebileceğimden, özel çıktı işleyicimin commitJob yöntemi.

Çıktı biçimi şuna aktarılır: saveAsNewAPIHadoopFile (bu, dosyaları gerçekten kaydetmek için saveAsTextFile olarak adlandırılan yöntemdir). Ve Çıktı kaydedicisi, uygulama düzeyinde yapılandırılır.