pandaların benzersiz değerleri birden çok sütun

df = pd.DataFrame({'Col1': ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
                   'Col2': ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
                   'Col3': np.random.random(5)})

'Sütun1' ve 'Sütun2'nin benzersiz değerlerini döndürmenin en iyi yolu nedir?

İstenilen çıktı

'Bob', 'Joe', 'Bill', 'Mary', 'Steve'

pd.unique bir girdi dizisinden veya DataFrame sütunundan veya dizinden benzersiz değerleri döndürür.

Bu işlevin girdisinin tek boyutlu olması gerekir, bu nedenle birden çok sütunun birleştirilmesi gerekir. En basit yol, istediğiniz sütunları seçmek ve ardından değerleri düzleştirilmiş bir NumPy dizisinde görüntülemektir. Tüm operasyon şöyle gözüküyor:

>>> pd.unique(df[['Col1', 'Col2']].values.ravel('K'))
array(['Bob', 'Joe', 'Bill', 'Mary', 'Steve'], dtype=object)

ravel()Çok boyutlu bir dizinin bir görünümünü (mümkünse) döndüren bir dizi yöntemi olduğuna dikkat edin. Argüman 'K', yönteme, öğelerin bellekte saklandığı sıraya göre diziyi düzleştirmesini söyler (pandalar genellikle alttaki dizileri Fortran-bitişik sırayla depolar ; sütunlar satırlardan önce). Bu, yöntemin varsayılan 'C' sırasını kullanmaktan önemli ölçüde daha hızlı olabilir.

Alternatif bir yol, sütunları seçip şunlara iletmektir np.unique:

>>> np.unique(df[['Col1', 'Col2']].values)
array(['Bill', 'Bob', 'Joe', 'Mary', 'Steve'], dtype=object)

Kullanmaya gerek yok ravel()Yöntem çok boyutlu dizileri işlediği burada . Öyle bile olsa, bu, pd.uniquebenzersiz değerleri tanımlamak için bir hashtable yerine sıralama tabanlı bir algoritma kullandığından muhtemelen daha yavaş olacaktır .

Hızdaki fark, daha büyük DataFrame'ler için önemlidir (özellikle yalnızca birkaç benzersiz değer varsa):

>>> df1 = pd.concat([df]*100000, ignore_index=True) # DataFrame with 500000 rows
>>> %timeit np.unique(df1[['Col1', 'Col2']].values)
1 loop, best of 3: 1.12 s per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel('K'))
10 loops, best of 3: 38.9 ms per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel()) # ravel using C order
10 loops, best of 3: 49.9 ms per loop

DataFrameSütunlarında birkaç basit dizeyle bir kurdum :

>>> df
   a  b
0  a  g
1  b  h
2  d  a
3  e  e

İlgilendiğiniz sütunları birleştirebilir ve uniqueişlevi çağırabilirsiniz :

>>> pandas.concat([df['a'], df['b']]).unique()
array(['a', 'b', 'd', 'e', 'g', 'h'], dtype=object)

In [5]: set(df.Col1).union(set(df.Col2))
Out[5]: {'Bill', 'Bob', 'Joe', 'Mary', 'Steve'}

Veya:

set(df.Col1) | set(df.Col2)

Numpy v1.13 + kullanan güncellenmiş bir çözüm , birden çok sütun kullanılıyorsa , ekseni np.unique içinde belirtmeyi gerektirir , aksi takdirde dizi örtük olarak düzleştirilir.

import numpy as np

np.unique(df[['col1', 'col2']], axis=0)

Bu değişiklik Kasım 2016'da tanıtıldı: https://github.com/numpy/numpy/commit/1f764dbff7c496d6636dc0430f083ada9ff4e4be

Non pandasçözeltisi: kullanılmasında ().

import pandas as pd
import numpy as np

df = pd.DataFrame({'Col1' : ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
              'Col2' : ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
               'Col3' : np.random.random(5)})

print df

print set(df.Col1.append(df.Col2).values)

Çıktı:

   Col1   Col2      Col3
0   Bob    Joe  0.201079
1   Joe  Steve  0.703279
2  Bill    Bob  0.722724
3  Mary    Bob  0.093912
4   Joe  Steve  0.766027
set(['Steve', 'Bob', 'Bill', 'Joe', 'Mary'])

pandaları, uygulayan ve tabii ki lambda işlevlerini seven bizler için:

df['Col3'] = df[['Col1', 'Col2']].apply(lambda x: ''.join(x), axis=1)

işte başka bir yol

import numpy as np
set(np.concatenate(df.values))

list(set(df[['Col1', 'Col2']].as_matrix().reshape((1,-1)).tolist()[0]))

Çıktı ['Mary', 'Joe', 'Steve', 'Bob', 'Bill'] olacaktır