Pandalar veri çerçevesinde tamamı sıfır olan satırları bırak

pandas dropna()Bazı veya tüm sütunların NA's olarak ayarlandığı satırları kaldırmak için işlevselliği kullanabilirim . Tüm sütunların 0 değerine sahip olduğu satırları bırakmak için eşdeğer bir işlev var mı?

P   kt  b   tt  mky depth
1   0   0   0   0   0
2   0   0   0   0   0
3   0   0   0   0   0
4   0   0   0   0   0
5   1.1 3   4.5 2.3 9.0

Bu örnekte, ilk 4 satırı veri çerçevesinden çıkarmak istiyoruz.

Teşekkürler!

Bunun vektörleştirilmiş bir şekilde güzel bir şekilde ifade edilebileceği ortaya çıktı:

> df = pd.DataFrame({'a':[0,0,1,1], 'b':[0,1,0,1]})
> df = df[(df.T != 0).any()]
> df
   a  b
1  0  1
2  1  0
3  1  1

Tek satırlık. Transpoze gerek yok:

df.loc[~(df==0).all(axis=1)]

Ve simetriyi sevenler için bu da işe yarar ...

df.loc[(df!=0).any(axis=1)]

Bu soruyu yaklaşık ayda bir ararım ve her zaman yorumlardan en iyi yanıtı çıkarmam gerekir:

df.loc[(df!=0).any(1)]

Teşekkürler Dan Allan!

Sıfırları ile değiştirin nanve ardından tüm girişleri içeren satırları olarak bırakın nan. Bundan sonra nansıfırlarla değiştirin .

import numpy as np
df = df.replace(0, np.nan)
df = df.dropna(how='all', axis=0)
df = df.replace(np.nan, 0)

Bence bu çözüm en kısa:

df= df[df['ColName'] != 0]

Bunu ararken yardımcı olduğunu bulduğum birkaç çözüm, özellikle daha büyük veri kümeleri için:

df[(df.sum(axis=1) != 0)]       # 30% faster 
df[df.values.sum(axis=1) != 0]  # 3X faster 

@ U2EF1'deki örneğe devam ederek:

In [88]: df = pd.DataFrame({'a':[0,0,1,1], 'b':[0,1,0,1]})

In [91]: %timeit df[(df.T != 0).any()]
1000 loops, best of 3: 686 µs per loop

In [92]: df[(df.sum(axis=1) != 0)]
Out[92]: 
   a  b
1  0  1
2  1  0
3  1  1

In [95]: %timeit df[(df.sum(axis=1) != 0)]
1000 loops, best of 3: 495 µs per loop

In [96]: %timeit df[df.values.sum(axis=1) != 0]
1000 loops, best of 3: 217 µs per loop

Daha büyük bir veri kümesinde:

In [119]: bdf = pd.DataFrame(np.random.randint(0,2,size=(10000,4)))

In [120]: %timeit bdf[(bdf.T != 0).any()]
1000 loops, best of 3: 1.63 ms per loop

In [121]: %timeit bdf[(bdf.sum(axis=1) != 0)]
1000 loops, best of 3: 1.09 ms per loop

In [122]: %timeit bdf[bdf.values.sum(axis=1) != 0]
1000 loops, best of 3: 517 µs per loop

import pandas as pd

df = pd.DataFrame({'a' : [0,0,1], 'b' : [0,0,-1]})

temp = df.abs().sum(axis=1) == 0      
df = df.drop(temp)

Sonuç:

>>> df
   a  b
2  1 -1

lambdaBelirli bir satırdaki tüm değerlerin olup olmadığını kontrol etmek için hızlı bir işlevi kullanabilirsiniz 0. Ardından, bunu uygulamanın sonucunu lambdayalnızca bu koşulla eşleşen veya eşleşmeyen satırları seçmenin bir yolu olarak kullanabilirsiniz:

import pandas as pd
import numpy as np

np.random.seed(0)

df = pd.DataFrame(np.random.randn(5,3), 
                  index=['one', 'two', 'three', 'four', 'five'],
                  columns=list('abc'))

df.loc[['one', 'three']] = 0

print df
print df.loc[~df.apply(lambda row: (row==0).all(), axis=1)]

Getiri:

              a         b         c
one    0.000000  0.000000  0.000000
two    2.240893  1.867558 -0.977278
three  0.000000  0.000000  0.000000
four   0.410599  0.144044  1.454274
five   0.761038  0.121675  0.443863

[5 rows x 3 columns]
             a         b         c
two   2.240893  1.867558 -0.977278
four  0.410599  0.144044  1.454274
five  0.761038  0.121675  0.443863

[3 rows x 3 columns]

Başka bir alternatif:

# Is there anything in this row non-zero?
# df != 0 --> which entries are non-zero? T/F
# (df != 0).any(axis=1) --> are there 'any' entries non-zero row-wise? T/F of rows that return true to this statement.
# df.loc[all_zero_mask,:] --> mask your rows to only show the rows which contained a non-zero entry.
# df.shape to confirm a subset.

all_zero_mask=(df != 0).any(axis=1) # Is there anything in this row non-zero?
df.loc[all_zero_mask,:].shape

bu benim için çalışıyor new_df = df[df.loc[:]!=0].dropna()

Benim için bu kod: df.loc[(df!=0).any(axis=0)] işe yaramadı. Kesin veri kümesini döndürdü.

Bunun yerine, df.loc[:, (df!=0).any(axis=0)]veri kümesindeki 0 değerli tüm sütunları kullandım ve bıraktım

İşlev, veri .all()kümemdeki sıfır değerleri olan tüm sütunları bıraktı.

df = df [~( df [ ['kt'  'b'   'tt'  'mky' 'depth', ] ] == 0).all(axis=1) ]

Bu komutu mükemmel şekilde çalıştığını deneyin.

Herhangi bir satırda 0 değerine sahip tüm sütunları bırakmak için:

new_df = df[df.loc[:]!=0].dropna()