Bir pyspark veri çerçevesindeki tüm sayısal değerleri sabit bir değerle değiştirme

'Null' öğeler ve sayısal öğelerden oluşan bir pyspark veri çerçevesi düşünün. Genel olarak, sayısal elemanlar farklı değerlere sahiptir. Veri çerçevesinin tüm sayısal değerlerini sabit bir sayısal değerle değiştirmek nasıl mümkündür (örneğin, 1 değeriyle)? Şimdiden teşekkürler!

Pyspark veri çerçevesi örneği:

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 0.04 & 1 & 1.35 \\ 2 & -1 & null & -1.2 \\ 3 & null & 1.2 & null \end{array}$$

Sonuç şöyle olmalıdır:

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 1 & 1 & 1 \\ 2 & 1 & null & 1 \\ 3 & null & 1 & null \end{array}$$

Sorununuza göre, aydınlatılmış kullanımı daha kolay olabilir . Bunu dene-

from pyspark.sql.functions import lit
new_df = df.withColumn('column_name', lit(1))

Umarım yardımcı olur!

Kullanmak lit, sütunun tüm değerlerini verilen değere dönüştürür.

Bunu yalnızca veri çerçevesinin boş olmayan değerleri için yapmak için, her sütunun boş olmayan değerlerini filtrelemeniz ve değerinizi değiştirmeniz gerekir. whenbunu başarmanıza yardımcı olabilir.

from pyspark.sql.functions import when   

df.withColumn('c1', when(df.c1.isNotNull(), 1))
  .withColumn('c2', when(df.c2.isNotNull(), 1))
  .withColumn('c3', when(df.c3.isNotNull(), 1))

Bunun sonucu:

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 1 & 1 & 1 \\ 2 & 1 & null & 1 \\ 3 & null & 1 & null \end{array}$$

Eğer çok başka bir değer olan null değerleri değiştirmek istiyorsanız Ayrıca, kullanabilirsiniz otherwisebirlikte when. Diyelim ki 0oraya ima etmek istiyorsunuz :

from pyspark.sql.functions import when   

df.withColumn('c1', when(df.c1.isNotNull(), 1).otherwise(0))
  .withColumn('c2', when(df.c2.isNotNull(), 1).otherwise(0))
  .withColumn('c3', when(df.c3.isNotNull(), 1).otherwise(0))

Bunun sonucu:

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 1 & 1 & 1 \\ 2 & 1 & 0 & 1 \\ 3 & 0 & 1 & 0 \end{array}$$

Birden çok sütununuz varsa bu daha kolay olurdu:

from pyspark.sql.functions import when   
cols = df.columns # list of all columns
for col in cols:
    df= df.withColumn(col, when(df[col]>0,1).otherwise(0))