DataFrame'deki dizeler, ancak dtype nesnedir

Pandalar neden bana nesnelerim olduğunu söylüyor, ancak seçili sütundaki her öğe bir dizedir - açık dönüştürmeden sonra bile.

Bu benim DataFrame'im:

<class 'pandas.core.frame.DataFrame'>
Int64Index: 56992 entries, 0 to 56991
Data columns (total 7 columns):
id            56992  non-null values
attr1         56992  non-null values
attr2         56992  non-null values
attr3         56992  non-null values
attr4         56992  non-null values
attr5         56992  non-null values
attr6         56992  non-null values
dtypes: int64(2), object(5)

Beş tanesi dtype object. Bu nesneleri açıkça dizelere dönüştürüyorum:

for c in df.columns:
    if df[c].dtype == object:
        print "convert ", df[c].name, " to string"
        df[c] = df[c].astype(str)

Sonra, df["attr2"]hala var dtype objectolmasına rağmen, type(df["attr2"].ix[0]ortaya strdoğru olan.

Pandalar, int64ve float64ve arasında ayrım yapar object. Hayır olmadığında arkasındaki mantık nedir dtype str? Neden strkapsam dahilindedir object?

Dtype nesnesi NumPy'den gelir, bir ndarray'deki öğenin türünü tanımlar. Bir ndarray'deki her eleman bayt olarak aynı boyuta sahip olmalıdır. İnt64 ve float64 için bunlar 8 bayttır. Ancak dizeler için dizenin uzunluğu sabit değildir. Dolayısıyla, pandalar dizelerin baytlarını doğrudan ndarray'e kaydetmek yerine, ndarray nesnesini kullanır, bu da nesnelere işaretçileri kaydeder, bu nedenle bu tür dtype ndarray nesnedir.

İşte bir örnek:

• int64 dizisi 4 int64 değeri içerir.
• nesne dizisi, 3 dize nesnesine 4 işaretçi içerir.

@ HYRY'nin cevabı harika. Sadece biraz daha içerik sağlamak istiyorum ..

Diziler , verileri bitişik , sabit boyutlu bellek blokları olarak depolar . Bu özelliklerin bir araya gelmesi, dizileri veri erişimi için ışık hızında yapan şeydir. Örneğin, bilgisayarınızın 32 bitlik bir tamsayı dizisini nasıl depolayabileceğini düşünün [3,0,1].

Bilgisayarınızdan dizideki 3. öğeyi getirmesini isterseniz, başlangıçta başlayacak ve ardından 3. öğeye ulaşmak için 64 bit boyunca atlayacaktır. Tam olarak kaç bit atlanacağını bilmek dizileri hızlı yapan şeydir .

Şimdi dizelerin sırasını düşünün ['hello', 'i', 'am', 'a', 'banana']. Dizeler, boyutları değişen nesnelerdir, bu nedenle onları bitişik bellek bloklarında saklamaya çalışırsanız, sonuç böyle görünür.

Artık bilgisayarınız, rastgele istenen bir öğeye erişmek için hızlı bir yola sahip değil. Bunun üstesinden gelmenin anahtarı işaretçiler kullanmaktır. Temel olarak, her dizeyi rastgele bir bellek konumunda saklayın ve diziyi her dizenin bellek adresiyle doldurun. (Bellek adresleri yalnızca tam sayılardır.) Yani şimdi işler şöyle gözüküyor

Şimdi, bilgisayarınızdan 3. elemanı almasını isterseniz, tıpkı daha önce olduğu gibi, 64 bit üzerinden atlayabilir (bellek adreslerinin 32 bitlik tam sayılar olduğu varsayılırsa) ve ardından dizgiyi almak için fazladan bir adım atabilir.

NumPy için zorluk, işaretçilerin gerçekte dizeleri işaret ettiğinin garantisinin olmamasıdır. Bu yüzden dtype'ı 'nesne' olarak rapor eder.

Utanmazca, bunu başlangıçta tartıştığım kendi blog makalemi ekleyeceğim .

Kabul edilen cevap güzel. Belgelere atıfta bulunan bir cevap vermek istedim . Belgeler şunu söylüyor:

Pandalar, dizeleri depolamak için nesne dtype'yi kullanır.

Önde gelen yorumun dediği gibi "Endişelenmeyin; böyle olması gerekiyor." (Kabul edilen yanıt "neden" i açıklamakta harika bir iş çıkarsa da; dizeler değişken uzunluktadır)

Ancak dizeler için dizenin uzunluğu sabit değildir.

1.0.0 (Ocak 2020) sürümünden itibaren, pandalar, üzerinden dize türleri için birinci sınıf destek sağlayan deneysel bir özellik olarak tanıtıldı pandas.StringDtype.

Hala görüyor olacağım ederken object, varsayılan olarak, yeni tip a belirterek kullanılabilir dtypeait pd.StringDtypeveya basitçe 'string':

>>> pd.Series(['abc', None, 'def'])
0     abc
1    None
2     def
dtype: object
>>> pd.Series(['abc', None, 'def'], dtype=pd.StringDtype())
0     abc
1    <NA>
2     def
dtype: string
>>> pd.Series(['abc', None, 'def']).astype('string')
0     abc
1    <NA>
2     def
dtype: string