Bir veri çerçevesi sütunundaki hatalı değerleri NaN'ler ile değiştirmek istiyorum.
mydata = {'x' : [10, 50, 18, 32, 47, 20], 'y' : ['12', '11', 'N/A', '13', '15', 'N/A']}
df = pd.DataFrame(mydata)
df[df.y == 'N/A']['y'] = np.nan
Yine de, son satır başarısız olur ve bir df kopyası üzerinde çalıştığı için bir uyarı verir. Peki bunu halletmenin doğru yolu nedir? İloc veya ix ile birçok çözüm gördüm ama burada bir boole koşulu kullanmam gerekiyor.
Yanıtlar:
sadece şunu kullan replace:
In [106]:
df.replace('N/A',np.NaN)
Out[106]:
x y
0 10 12
1 50 11
2 18 NaN
3 32 13
4 47 15
5 20 NaN
Denediğiniz şeye zincir indeksleme denir: http://pandas.pydata.org/pandas-docs/stable/indexing.html#indexing-view-versus-copy
locOrijinal dF üzerinde çalıştığınızdan emin olmak için kullanabilirsiniz :
In [108]:
df.loc[df['y'] == 'N/A','y'] = np.nan
df
Out[108]:
x y
0 10 12
1 50 11
2 18 NaN
3 32 13
4 47 15
5 20 NaN
Kullanmak replacesorunu çözecek gibi görünse de, bir alternatif önermek isterim. Sütundaki sayısal ve bazı dize değerlerinin karışımında, dizelerin np.nan ile değiştirilmemesi, ancak tüm sütunun uygun hale getirilmesi sorunu. Bahse girerim, orijinal sütun büyük olasılıkla bir nesne türündedir
Name: y, dtype: object
Gerçekten ihtiyacınız olan şey, onu sayısal bir sütun haline getirmektir (uygun türe sahip olacak ve oldukça hızlı olacaktır), tüm sayısal olmayan değerler NaN ile değiştirilmiştir.
Bu nedenle, iyi bir dönüşüm kodu,
pd.to_numeric(df['y'], errors='coerce')
errors='coerce'Sayısal bir değere ayrıştırılamayan dizeleri NaN olmaya zorlamak için belirtin . Sütun türü
Name: y, dtype: float64
Değiştir'i kullanabilirsiniz:
df['y'] = df['y'].replace({'N/A': np.nan})
Ayrıca inplaceparametresinin farkında olun replace. Şunun gibi bir şey yapabilirsiniz:
df.replace({'N/A': np.nan}, inplace=True)
Bu, bir kopya oluşturmadan df'deki tüm örnekleri değiştirecektir.
Benzer şekilde, boş dize veya Yok değeri gibi diğer bilinmeyen değer türleriyle karşılaşırsanız:
df['y'] = df['y'].replace({'': np.nan})
df['y'] = df['y'].replace({None: np.nan})
Referans: En Son Pandalar - Değiştirin
Pandas 1.0.0'dan itibaren, veri çerçevenizde boş değerler oluşturmak için artık numpy kullanmanız gerekmiyor. Bunun yerine, sadece pandas.NA'yı (pandas._libs.missing.NAType türünde) kullanabilirsiniz, bu nedenle veri çerçevesi içinde boş olarak değerlendirilir, ancak veri çerçevesi bağlamı dışında boş olmaz.
df.loc[df.y == 'N/A',['y']] = np.nan
Bu, sorununuzu çözer. Double [] ile, DataFrame'in bir kopyası üzerinde çalışıyorsunuz. Değiştirebilmek için bir aramada tam konum belirlemeniz gerekir.
Bu parçacıkları deneyebilirsiniz.
[16] 'da: verilerim = {' x ': [10, 50, 18, 32, 47, 20],' y ': [' 12 ',' 11 ',' Yok ',' 13 ',' 15 ',' Yok ']}
[17] 'de: df = pd.DataFrame (mydata)
[18] 'de: df.y [df.y == "N / A"] = np.nan
Çıkış [19]: df
xy
0 10 12
1 50 11
2 18 NaN
3 32 13
4 47 15
5 20 NaN
df.replace ('columnvalue', np.NaN, inplace = True)