Belirli bir sütundaki değeri NaN olan Pandas DataFrame satırları nasıl bırakılır

Ben bu var DataFrameve sadece EPSsütun olmayan kayıtları istiyorum NaN:

>>> df
                 STK_ID  EPS  cash
STK_ID RPT_Date                   
601166 20111231  601166  NaN   NaN
600036 20111231  600036  NaN    12
600016 20111231  600016  4.3   NaN
601009 20111231  601009  NaN   NaN
601939 20111231  601939  2.5   NaN
000001 20111231  000001  NaN   NaN

... yani df.drop(....)elde edilen veri çerçevesini almak gibi bir şey :

                  STK_ID  EPS  cash
STK_ID RPT_Date                   
600016 20111231  600016  4.3   NaN
601939 20111231  601939  2.5   NaN

Bunu nasıl yaparım?

Düşmeyin, EPS'nin NA olmadığı satırları alın:

df = df[df['EPS'].notna()]

Bu soru zaten çözüldü, ama ...

... Wouter'un orijinal yorumunda önerilen çözümü de düşünün . Eksik verileri işleme yeteneği dropna(), pandalara açıkça yerleştirilmiştir. Manuel olarak yapılmasına kıyasla potansiyel olarak geliştirilmiş performansın yanı sıra, bu işlevler de yararlı olabilecek çeşitli seçeneklerle birlikte gelir.

In [24]: df = pd.DataFrame(np.random.randn(10,3))

In [25]: df.iloc[::2,0] = np.nan; df.iloc[::4,1] = np.nan; df.iloc[::3,2] = np.nan;

In [26]: df
Out[26]:
          0         1         2
0       NaN       NaN       NaN
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

In [27]: df.dropna()     #drop all rows that have any NaN values
Out[27]:
          0         1         2
1  2.677677 -1.466923 -0.750366
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295

In [28]: df.dropna(how='all')     #drop only if ALL columns are NaN
Out[28]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

In [29]: df.dropna(thresh=2)   #Drop row if it does not have at least two values that are **not** NaN
Out[29]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

In [30]: df.dropna(subset=[1])   #Drop only if NaN in specific column (as asked in the question)
Out[30]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

Ayrıca, satırlar yerine sütunları bırakmak da dahil olmak üzere başka seçenekler de bulunmaktadır ( http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.dropna.html adresindeki dokümanlara bakın ).

Oldukça kullanışlı!

Bunun zaten cevaplandığını biliyorum, ama sadece Aman'ın (bu harikaydı) genel açıklamasının aksine bu özel soruya tamamen panda çözümü için ve başka birinin bunun üzerine olması durumunda:

import pandas as pd
df = df[pd.notnull(df['EPS'])]

Bunu kullanabilirsiniz:

df.dropna(subset=['EPS'], how='all', inplace=True)

Tüm çözümlerden en basitleri:

filtered_df = df[df['EPS'].notnull()]

Yukarıdaki çözüm np.isfinite () kullanmaktan daha iyidir

Dataframe yöntemini null veya ters isnull veya numpy.isnan kullanabilirsiniz :

In [332]: df[df.EPS.notnull()]
Out[332]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN


In [334]: df[~df.EPS.isnull()]
Out[334]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN


In [347]: df[~np.isnan(df.EPS)]
Out[347]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN

Basit ve kolay yol

df.dropna(subset=['EPS'],inplace=True)

kaynak: https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.dropna.html

şu gerçeği kullanan başka bir çözüm np.nan != np.nan:

In [149]: df.query("EPS == EPS")
Out[149]:
                 STK_ID  EPS  cash
STK_ID RPT_Date
600016 20111231  600016  4.3   NaN
601939 20111231  601939  2.5   NaN

Başka bir sürüm:

df[~df['EPS'].isna()]

Çok sayıda sütuna sahip veri kümelerinde, kaç sütun boş değer içerdiğini ve kaç sütunun bulunmadığını görmek daha da iyidir.

print("No. of columns containing null values")
print(len(df.columns[df.isna().any()]))

print("No. of columns not containing null values")
print(len(df.columns[df.notna().all()]))

print("Total no. of columns in the dataframe")
print(len(df.columns))

Örneğin, veri çerçevemde, 19'u en az bir boş değer içeren 82 sütun içeriyordu.

Ayrıca , daha fazla boş değere sahip olanlara bağlı olarak sütunları ve satırları otomatik olarak kaldırabilirsiniz.
Bunu akıllıca yapan kod aşağıdadır:

df = df.drop(df.columns[df.isna().sum()>len(df.columns)],axis = 1)
df = df.dropna(axis = 0).reset_index(drop=True)

Not: Yukarıdaki kod, tüm null değerlerinizi kaldırır. Boş değerler istiyorsanız, bunları daha önce işleyin.

O eklenebilir '&' ek koşullar eklemek için kullanılabilir, örn.

df = df[(df.EPS > 2.0) & (df.EPS <4.0)]

İfadeleri değerlendirirken pandaların parantez gerektirdiğine dikkat edin.

Nedense, daha önce gönderilen cevapların hiçbiri benim için işe yaramadı. Bu temel çözüm şunları yaptı:

df = df[df.EPS >= 0]

Tabii ki negatif sayılar içeren satırlar da düşecek. Eğer bunları istiyorsanız, muhtemelen bunu daha sonra eklemek akıllıdır.

df = df[df.EPS <= 0]

Çözümlerden biri

df = df[df.isnull().sum(axis=1) <= Cutoff Value]

Başka bir yol olabilir

df= df.dropna(thresh=(df.shape[1] - Cutoff_value))

Umarım bunlar faydalıdır.