sklearn ile ölçeklenen pandalar veri çerçevesi sütunları

Karışık tip sütunlara sahip bir panda veri çerçevem ​​var ve sklearn'ın min_max_scaler'ını bazı sütunlara uygulamak istiyorum. İdeal olarak, bu dönüşümleri yerinde yapmak isterdim, ancak bunu yapmanın bir yolunu henüz bulamadım. Çalışan şu kodu yazdım:

import pandas as pd
import numpy as np
from sklearn import preprocessing

scaler = preprocessing.MinMaxScaler()

dfTest = pd.DataFrame({'A':[14.00,90.20,90.95,96.27,91.21],'B':[103.02,107.26,110.35,114.23,114.68], 'C':['big','small','big','small','small']})
min_max_scaler = preprocessing.MinMaxScaler()

def scaleColumns(df, cols_to_scale):
    for col in cols_to_scale:
        df[col] = pd.DataFrame(min_max_scaler.fit_transform(pd.DataFrame(dfTest[col])),columns=[col])
    return df

dfTest

    A   B   C
0    14.00   103.02  big
1    90.20   107.26  small
2    90.95   110.35  big
3    96.27   114.23  small
4    91.21   114.68  small

scaled_df = scaleColumns(dfTest,['A','B'])
scaled_df

A   B   C
0    0.000000    0.000000    big
1    0.926219    0.363636    small
2    0.935335    0.628645    big
3    1.000000    0.961407    small
4    0.938495    1.000000    small

Bu dönüşümü yapmanın tercih edilen / en verimli yolu bu mu merak ediyorum. Df.apply'i kullanmanın daha iyi bir yolu var mı?

Çalışmak için aşağıdaki kodu alamadığıma da şaşırdım:

bad_output = min_max_scaler.fit_transform(dfTest['A'])

Ölçekleyiciye bir veri çerçevesinin tamamını iletirsem, çalışır:

dfTest2 = dfTest.drop('C', axis = 1) good_output = min_max_scaler.fit_transform(dfTest2) good_output

Ölçekleyiciye bir dizi geçirmenin neden başarısız olduğu kafam karıştı. Yukarıdaki tam çalışma kodumda, ölçekleyiciye bir dizi geçirmeyi ve ardından veri çerçevesi sütununu = ölçeklenmiş seriye ayarlamayı ummuştum. Bu sorunun birkaç yerde daha sorulduğunu gördüm, ancak iyi bir cevap bulamadım. Burada neler olup bittiğini anlamak için herhangi bir yardım çok takdir edilecektir!

Önceki sürümlerin pandasbunu engellediğinden emin değilim, ancak şimdi aşağıdaki kod parçası benim için mükemmel çalışıyor ve kullanmak zorunda kalmadan tam olarak istediğiniz şeyi üretiyorapply

>>> import pandas as pd
>>> from sklearn.preprocessing import MinMaxScaler


>>> scaler = MinMaxScaler()

>>> dfTest = pd.DataFrame({'A':[14.00,90.20,90.95,96.27,91.21],
                           'B':[103.02,107.26,110.35,114.23,114.68],
                           'C':['big','small','big','small','small']})

>>> dfTest[['A', 'B']] = scaler.fit_transform(dfTest[['A', 'B']])

>>> dfTest
          A         B      C
0  0.000000  0.000000    big
1  0.926219  0.363636  small
2  0.935335  0.628645    big
3  1.000000  0.961407  small
4  0.938495  1.000000  small

Bunun gibi?

dfTest = pd.DataFrame({
           'A':[14.00,90.20,90.95,96.27,91.21],
           'B':[103.02,107.26,110.35,114.23,114.68], 
           'C':['big','small','big','small','small']
         })
dfTest[['A','B']] = dfTest[['A','B']].apply(
                           lambda x: MinMaxScaler().fit_transform(x))
dfTest

    A           B           C
0   0.000000    0.000000    big
1   0.926219    0.363636    small
2   0.935335    0.628645    big
3   1.000000    0.961407    small
4   0.938495    1.000000    small

Pir'in yorumunda bahsedildiği gibi - .apply(lambda el: scale.fit_transform(el))yöntem aşağıdaki uyarıyı verecektir:

Kullanımdan Kaldırma Uyarı: 1d dizileri veri olarak geçirmek 0.17'de kullanımdan kaldırıldı ve 0.19'da ValueError'ı yükseltecek. Verilerinizin tek bir özelliği varsa X.reshape (-1, 1) veya tek bir örnek içeriyorsa X.reshape (1, -1) kullanarak verilerinizi yeniden şekillendirin.

Sütunlarınızı numpy dizilerine dönüştürmek işi yapmalıdır (StandardScaler'ı tercih ederim):

from sklearn.preprocessing import StandardScaler
scale = StandardScaler()

dfTest[['A','B','C']] = scale.fit_transform(dfTest[['A','B','C']].as_matrix())

- Kasım 2018'i Düzenle (Pandalar için test edildi 0.23.4 ) -

Rob Murray'in yorumlarda bahsettiği gibi, pandaların mevcut (v0.23.4) sürümünde .as_matrix()geri dönüyor FutureWarning. Bu nedenle, şu şekilde değiştirilmelidir .values:

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()

scaler.fit_transform(dfTest[['A','B']].values)

- Mayıs 2019'u Düzenle (Pandalar için test edildi 0.24.2 ) -

Joelostblom'un yorumlarda belirttiği gibi, "Çünkü bunun yerine 0.24.0kullanılması tavsiye edilir .".to_numpy().values

Güncellenen örnek:

import pandas as pd
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
dfTest = pd.DataFrame({
               'A':[14.00,90.20,90.95,96.27,91.21],
               'B':[103.02,107.26,110.35,114.23,114.68],
               'C':['big','small','big','small','small']
             })
dfTest[['A', 'B']] = scaler.fit_transform(dfTest[['A','B']].to_numpy())
dfTest
      A         B      C
0 -1.995290 -1.571117    big
1  0.436356 -0.603995  small
2  0.460289  0.100818    big
3  0.630058  0.985826  small
4  0.468586  1.088469  small

df = pd.DataFrame(scale.fit_transform(df.values), columns=df.columns, index=df.index)

Bu, amortisman uyarıları olmadan çalışmalıdır.

Bunu pandasyalnızca kullanarak yapabilirsiniz :

In [235]:
dfTest = pd.DataFrame({'A':[14.00,90.20,90.95,96.27,91.21],'B':[103.02,107.26,110.35,114.23,114.68], 'C':['big','small','big','small','small']})
df = dfTest[['A', 'B']]
df_norm = (df - df.min()) / (df.max() - df.min())
print df_norm
print pd.concat((df_norm, dfTest.C),1)

          A         B
0  0.000000  0.000000
1  0.926219  0.363636
2  0.935335  0.628645
3  1.000000  0.961407
4  0.938495  1.000000
          A         B      C
0  0.000000  0.000000    big
1  0.926219  0.363636  small
2  0.935335  0.628645    big
3  1.000000  0.961407  small
4  0.938495  1.000000  small

Bunun çok eski bir yorum olduğunu biliyorum ama yine de:

Tek köşeli (dfTest['A'])parantez kullanmak yerine çift ​​parantez kullanın (dfTest[['A']]).

yani: min_max_scaler.fit_transform(dfTest[['A']]).

Bunun istenen sonucu vereceğine inanıyorum.