Kıvılcım veri çerçevesinin boş olup olmadığı nasıl kontrol edilir?

Şu anda boş df.count > 0olup olmadığını kontrol etmek için kullanmalıyım DataFrame. Ama biraz verimsiz. Bunu yapmanın daha iyi bir yolu var mı?

Teşekkürler.

Not: Boş olup olmadığını kontrol etmek istiyorum, böylece yalnızca DataFrameboş değilse kaydediyorum

Spark 2.1.0, benim önerim kullanımına olacağını head(n: Int)veya take(n: Int)birlikte isEmptybiri size niyet en net sahiptir hangisi.

df.head(1).isEmpty
df.take(1).isEmpty

Python eşdeğeri ile:

len(df.head(1)) == 0  # or bool(df.head(1))
len(df.take(1)) == 0  # or bool(df.take(1))

Kullanılması df.first()ve df.head()hem dönecektir java.util.NoSuchElementExceptionDataFrame boşsa. doğrudan first()arar head(), hangi arar head(1).head.

def first(): T = head()
def head(): T = head(1).head

head(1)Bir Dizi döndürür, dolayısıyla bu Dizinin alınması DataFrame boş olduğunda headneden olur java.util.NoSuchElementException.

def head(n: Int): Array[T] = withAction("head", limit(n).queryExecution)(collectFromPlan)

Bunun yerine çağırmak head(), kullanmak head(1)dizisini almak için doğrudan ve sonra kullanabilirsiniz isEmpty.

take(n)aynı zamanda eşdeğerdir head(n)...

def take(n: Int): Array[T] = head(n)

Ve ( yöntemdeki uyarı ) limit(1).collect()ile eşdeğerdir , bu nedenle aşağıdakilerin tümü eşdeğerdir, en azından benim söyleyebileceğim kadarıyla ve DataFrame boşken bir istisna yakalamak zorunda kalmayacaksınız.head(1)limit(n).queryExecutionhead(n: Int)java.util.NoSuchElementException

df.head(1).isEmpty
df.take(1).isEmpty
df.limit(1).collect().isEmpty

Bunun daha eski bir soru olduğunu biliyorum, bu yüzden umarım Spark'ın daha yeni bir sürümünü kullanan birine yardımcı olur.

Ben sadece altta yatan şeyi kavramayı söyleyebilirim RDD. Scala'da:

df.rdd.isEmpty

Python'da:

df.rdd.isEmpty()

Olduğu söyleniyor, tüm bunlar çağrı take(1).length, yani Rohan'ın cevapladığı şeyi yapacak ... belki biraz daha açık?

Tek bir satırın olup olmadığını görmek için head()(veya first()) işlevlerinden yararlanabilirsiniz DataFrame. Eğer öyleyse boş değildir.

Spark 2.4.0'dan beri var Dataset.isEmpty.

It adlı uygulama geçerli:

def isEmpty: Boolean = 
  withAction("isEmpty", limit(1).groupBy().count().queryExecution) { plan =>
    plan.executeCollect().head.getLong(0) == 0
}

A'nın DataFrameartık Scala'da bir sınıf olmadığını, yalnızca bir tür takma adı olduğunu unutmayın (muhtemelen Spark 2.0 ile değiştirildi):

type DataFrame = Dataset[Row]

Eğer yaparsan df.count > 0. Tüm yürütücülerdeki tüm bölümlerin sayılarını alır ve bunları Sürücü'de toplar. Milyonlarca satırla uğraşırken bu biraz zaman alır.

Bunu yapmanın en iyi yolu yapmak df.take(1)ve boş olup olmadığını kontrol etmektir . Bu, java.util.NoSuchElementExceptiondenemek için çok daha iyi dönecek df.take(1).

Veri çerçevesi take(1), bittiğinde boş bir satır yerine bir hata döndürür . Hatayı attığı belirli kod satırlarını vurguladım.

Java kullanıcıları için bunu bir veri kümesinde kullanabilirsiniz:

public boolean isDatasetEmpty(Dataset<Row> ds) {
        boolean isEmpty;
        try {
            isEmpty = ((Row[]) ds.head(1)).length == 0;
        } catch (Exception e) {
            return true;
        }
        return isEmpty;
}

Bu, tüm olası senaryoları kontrol eder (boş, boş).

Scala'da yöntemleri ve DataFrame API'sine eklemek için implicits kullanabilirsiniz ; bu, kodu okumak için biraz daha hoş hale getirir.isEmpty()nonEmpty()

object DataFrameExtensions {
  implicit def extendedDataFrame(dataFrame: DataFrame): ExtendedDataFrame = 
    new ExtendedDataFrame(dataFrame: DataFrame)

  class ExtendedDataFrame(dataFrame: DataFrame) {
    def isEmpty(): Boolean = dataFrame.head(1).isEmpty // Any implementation can be used
    def nonEmpty(): Boolean = !isEmpty
  }
}

Burada başka yöntemler de eklenebilir. Örtük dönüştürmeyi import DataFrameExtensions._kullanmak için, genişletilmiş işlevselliği kullanmak istediğiniz dosyada kullanın. Daha sonra yöntemler doğrudan şu şekilde kullanılabilir:

val df: DataFrame = ...
if (df.isEmpty) {
  // Do something
}

Aynı soruyu sordum ve 3 ana çözümü test ettim:

1. df! = boş df.count> 0
2. df.head (1) .isEmpty () @ hulin003'ün önerdiği gibi
3. df.rdd.isEmpty @ Justin Pihony'nin önerdiği gibi

ve tabii ki 3 çalışır, ancak performans açısından, işte bulduğum şey, bu yöntemleri kendi makinemdeki aynı DF üzerinde yürütme süresi içinde çalıştırırken:

1. ~ 9366ms sürer
2. ~ 5607ms sürer
3. ~ 1921ms sürer
   

bu nedenle en iyi çözümün @Justin Pihony'nin önerdiği gibi df.rdd.isEmpty olduğunu düşünüyorum

Bunu bazı durumlarda buldum:

>>>print(type(df))
<class 'pyspark.sql.dataframe.DataFrame'>

>>>df.take(1).isEmpty
'list' object has no attribute 'isEmpty'

bu "uzunluk" için aynıdır veya take () 'i başlık () ile değiştirin

Kullanabileceğimiz sorun için [Çözüm].

>>>df.limit(2).count() > 1
False

Pypsark kullanıyorsanız şunları da yapabilirsiniz:

len(df.head(1)) > 0

PySpark'ta, bunu bool(df.head(1))bir değer elde etmek için de kullanabilirsiniz True.False

FalseVeri çerçevesi satır içermiyorsa döndürür

df1.take(1).length>0

takeYöntem, bir dizi büyüklüğü sıfıra eşit olacak şekilde ise, satır dizi döndürür, hiçbir kayıt vardır df.

dataframe.limit(1).count > 0

Bu aynı zamanda bir işi de tetikliyor, ancak tek bir kayıt seçtiğimiz için, milyar ölçekli kayıtlarda bile zaman tüketimi çok daha düşük olabilir.

Gönderen: https://medium.com/checking-emptiness-in-distributed-objects/count-vs-isempty-surprised-to-see-the-impact-fa70c0246ee0

Bunu şu şekilde yapabilirsiniz:

val df = sqlContext.emptyDataFrame
if( df.eq(sqlContext.emptyDataFrame) )
    println("empty df ")
else 
    println("normal df")