object
Sütunların type
verileri bir pandas
işlevle dönüştürmeyi zorlaştırdığını biliyorum . Böyle bir veriyi aldığımda aklıma gelen ilk şey sütunları 'düzleştirmek' ya da iç içe geçmekti.
Bu tür sorular için kullanıyorum pandas
ve python
işlev görüyorum . Yukarıdaki çözümlerin hızı konusunda endişeleriniz varsa, user3483203'ün cevabını kontrol edin , çünkü kullanıyor numpy
ve çoğu zaman numpy
daha hızlı. Tavsiye ederim Cpython
ve numba
eğer hız önemliyse.
Yöntem 0 [pandalar> = 0.25] Pandalar 0.25'ten
başlayarak, yalnızca bir sütunu patlatmanız gerekiyorsa , işlevi kullanabilirsiniz :pandas.DataFrame.explode
df.explode('B')
A B
0 1 1
1 1 2
0 2 1
1 2 2
Sütunda boş list
veya bir NaN
olan bir veri çerçevesi verildi. Boş bir liste bir soruna neden olmaz, ancak bir listenin NaN
birlist
df = pd.DataFrame({'A': [1, 2, 3, 4],'B': [[1, 2], [1, 2], [], np.nan]})
df.B = df.B.fillna({i: [] for i in df.index}) # replace NaN with []
df.explode('B')
A B
0 1 1
0 1 2
1 2 1
1 2 2
2 3 NaN
3 4 NaN
Yöntem 1
apply + pd.Series
(anlaşılması kolay ancak performans açısından önerilmez.)
df.set_index('A').B.apply(pd.Series).stack().reset_index(level=0).rename(columns={0:'B'})
Out[463]:
A B
0 1 1
1 1 2
0 2 1
1 2 2
Yöntem 2 Oluşturucu ile
kullanarak veri çerçevenizi yeniden oluşturun (performansta iyi, birden çok sütunda iyi değil)repeat
DataFrame
df=pd.DataFrame({'A':df.A.repeat(df.B.str.len()),'B':np.concatenate(df.B.values)})
df
Out[465]:
A B
0 1 1
0 1 2
1 2 1
1 2 2
Yöntem 2.1
, örneğin A'nın yanı sıra A.1'e sahibiz ..... An Yukarıdaki yöntemi ( Yöntem 2 ) hala kullanırsak , sütunları birer birer yeniden oluşturmak bizim için zor.
: Çözüm join
ya merge
ile index
sonra 'içi çelikten kurtar' tek sütunlara
s=pd.DataFrame({'B':np.concatenate(df.B.values)},index=df.index.repeat(df.B.str.len()))
s.join(df.drop('B',1),how='left')
Out[477]:
B A
0 1 1
0 2 1
1 1 2
1 2 2
Öncekiyle tamamen aynı sütun sırasına ihtiyacınız varsa reindex
, sonuna ekleyin .
s.join(df.drop('B',1),how='left').reindex(columns=df.columns)
Yöntem 3
yeniden oluşturunlist
pd.DataFrame([[x] + [z] for x, y in df.values for z in y],columns=df.columns)
Out[488]:
A B
0 1 1
1 1 2
2 2 1
3 2 2
İkiden fazla sütun varsa, kullanın
s=pd.DataFrame([[x] + [z] for x, y in zip(df.index,df.B) for z in y])
s.merge(df,left_on=0,right_index=True)
Out[491]:
0 1 A B
0 0 1 1 [1, 2]
1 0 2 1 [1, 2]
2 1 1 2 [1, 2]
3 1 2 2 [1, 2]
Yöntem 4 veya
kullanarakreindex
loc
df.reindex(df.index.repeat(df.B.str.len())).assign(B=np.concatenate(df.B.values))
Out[554]:
A B
0 1 1
0 1 2
1 2 1
1 2 2
#df.loc[df.index.repeat(df.B.str.len())].assign(B=np.concatenate(df.B.values))
Yöntem 5
, liste yalnızca benzersiz değerler içerdiğinde:
df=pd.DataFrame({'A':[1,2],'B':[[1,2],[3,4]]})
from collections import ChainMap
d = dict(ChainMap(*map(dict.fromkeys, df['B'], df['A'])))
pd.DataFrame(list(d.items()),columns=df.columns[::-1])
Out[574]:
B A
0 1 1
1 2 1
2 3 2
3 4 2
Yüksek performans için
kullanılan Yöntem 6numpy
:
newvalues=np.dstack((np.repeat(df.A.values,list(map(len,df.B.values))),np.concatenate(df.B.values)))
pd.DataFrame(data=newvalues[0],columns=df.columns)
A B
0 1 1
1 1 2
2 2 1
3 2 2
Temel işlevi kullanan Yöntem 7itertools
cycle
ve chain
: Sadece eğlence için saf python çözümü
from itertools import cycle,chain
l=df.values.tolist()
l1=[list(zip([x[0]], cycle(x[1])) if len([x[0]]) > len(x[1]) else list(zip(cycle([x[0]]), x[1]))) for x in l]
pd.DataFrame(list(chain.from_iterable(l1)),columns=df.columns)
A B
0 1 1
1 1 2
2 2 1
3 2 2
Birden çok sütuna genelleme
df=pd.DataFrame({'A':[1,2],'B':[[1,2],[3,4]],'C':[[1,2],[3,4]]})
df
Out[592]:
A B C
0 1 [1, 2] [1, 2]
1 2 [3, 4] [3, 4]
Kendini tanımlama işlevi:
def unnesting(df, explode):
idx = df.index.repeat(df[explode[0]].str.len())
df1 = pd.concat([
pd.DataFrame({x: np.concatenate(df[x].values)}) for x in explode], axis=1)
df1.index = idx
return df1.join(df.drop(explode, 1), how='left')
unnesting(df,['B','C'])
Out[609]:
B C A
0 1 1 1
0 2 2 1
1 3 3 2
1 4 4 2
Sütun Bazında Yuva Açma
Yukarıdaki tüm yöntem bahsediyor dikey unnesting ve liste tüketmek gerek yaparsanız, patlayabilir yatay , görüşün pd.DataFrame
yapıcı
df.join(pd.DataFrame(df.B.tolist(),index=df.index).add_prefix('B_'))
Out[33]:
A B C B_0 B_1
0 1 [1, 2] [1, 2] 1 2
1 2 [3, 4] [3, 4] 3 4
Güncellenen işlev
def unnesting(df, explode, axis):
if axis==1:
idx = df.index.repeat(df[explode[0]].str.len())
df1 = pd.concat([
pd.DataFrame({x: np.concatenate(df[x].values)}) for x in explode], axis=1)
df1.index = idx
return df1.join(df.drop(explode, 1), how='left')
else :
df1 = pd.concat([
pd.DataFrame(df[x].tolist(), index=df.index).add_prefix(x) for x in explode], axis=1)
return df1.join(df.drop(explode, 1), how='left')
Test Çıkışı
unnesting(df, ['B','C'], axis=0)
Out[36]:
B0 B1 C0 C1 A
0 1 2 1 2 1
1 3 4 3 4 2