Pandalar DataFrame'e meta bilgi / meta veri ekleme

Pandaların DataFrame'ine bazı meta bilgiler / meta veriler eklemek mümkün müdür?

Örneğin, verileri ölçmek için kullanılan aletin adı, sorumlu alet vb.

Çözümlerden biri, bu bilgilerle bir sütun oluşturmak olabilir, ancak her satırda tek bir bilgi parçasını depolamak boşa gider!

Elbette, çoğu Python nesnesi gibi, bir şuna yeni nitelikler ekleyebilirsiniz pandas.DataFrame:

import pandas as pd
df = pd.DataFrame([])
df.instrument_name = 'Binky'

Bununla birlikte, bir DataFrame için özellik ekleyebilirsiniz kullanımın oldukça işlemleri (örneğin DataFrame üzerinde gerçekleştirilen groupby, pivot, joinveya locyeni bir DataFrame döndürebilir sadece birkaç isim) olmadan ekli meta veriler. Pandalar, DataFrames'e eklenmiş meta verileri yaymak için henüz sağlam bir yönteme sahip değildir .

Meta verilerin bir dosyada saklanması mümkündür. Meta verilerin bir HDF5 dosyasında nasıl saklanacağına dair bir örneği burada bulabilirsiniz .

Pandalar 1.0'dan itibaren, muhtemelen daha önce, artık bir Dataframe.attrsözellik var. Deneyseldir, ancak gelecekte isteyeceğiniz şey muhtemelen budur. Örneğin:

import pandas as pd
df = pd.DataFrame([])
df.attrs['instrument_name'] = 'Binky'

Buradaki belgelerde bulun .

Bunu denemek to_parquetve sonra from_parquet, kalıcı görünmüyor, bu yüzden kullanım durumunuzla bunu kontrol ettiğinizden emin olun.

Bu sorunla kendim karşılaştım. Pandalar 0.13'ten itibaren, DataFrame'ler, yeni DataFrame'leri döndüren işlevler aracılığıyla kalıcı olan bir _metadata özniteliğine sahiptir. Ayrıca serileştirmeden sağ kurtulmuş gibi görünüyor (sadece json'u denedim, ancak hdf'nin de kapsandığını hayal ediyorum).

Pek sayılmaz. @Unutbu'nun bahsettiği gibi DataFrame sınıfına meta veriler içeren öznitelikler ekleyebilseniz de, birçok DataFrame yöntemi yeni bir DataFrame döndürür, bu nedenle meta verileriniz kaybolur. Veri çerçevenizi düzenlemeniz gerekiyorsa, en iyi seçenek meta verilerinizi ve DataFrame'inizi başka bir sınıfta sarmalamak olacaktır. GitHub'daki bu tartışmaya bakın: https://github.com/pydata/pandas/issues/2485

Şu anda meta verileri daha iyi destekleyecek bir MetaDataFrame nesnesi eklemek için açık bir çekme isteği var .

DataFrame nesnesine rastgele öznitelikler eklemenin en iyi yanıtı iyidir, ancak bir sözlük, liste veya tuple kullanırsanız, "Pandalar sütunların yeni bir öznitelik adıyla oluşturulmasına izin vermez" hatası verir. Aşağıdaki çözüm, rastgele öznitelikleri depolamak için çalışır.

from types import SimpleNamespace
df = pd.DataFrame()
df.meta = SimpleNamespace()
df.meta.foo = [1,2,3]

Diğer yanıtlarda ve yorumlarda belirtildiği gibi _metadata, genel API'nin bir parçası değildir, bu nedenle onu bir üretim ortamında kullanmak kesinlikle iyi bir fikir değildir. Ancak yine de bir araştırma prototipinde kullanmak ve çalışmayı durdurursa değiştirmek isteyebilirsiniz. Ve şu anda groupby/ ile çalışıyor apply, bu da yardımcı oluyor. Bu bir örnek (diğer cevaplarda bulamadığım bir örnek):

df = pd.DataFrame([1, 2, 2, 3, 3], columns=['val']) 
df.my_attribute = "my_value"
df._metadata.append('my_attribute')
df.groupby('val').apply(lambda group: group.my_attribute)

Çıktı:

val
1    my_value
2    my_value
3    my_value
dtype: object

Buna oldukça geç gelince, I / O üzerinde devam etmek için meta verilere ihtiyacınız varsa bunun faydalı olabileceğini düşündüm. Bunu başarmak için kullandığım h5io adında nispeten yeni bir paket var .

Biri veri çerçevesi olan birkaç yaygın format için HDF5'ten hızlı bir okuma / yazma yapmanıza izin vermelidir. Böylece, örneğin, bir sözlüğe bir veri çerçevesi koyabilir ve meta verileri sözlüğe alanlar olarak dahil edebilirsiniz. Örneğin:

save_dict = dict(data=my_df, name='chris', record_date='1/1/2016')
h5io.write_hdf5('path/to/file.hdf5', save_dict)
in_data = h5io.read_hdf5('path/to/file.hdf5')
df = in_data['data']
name = in_data['name']
etc...

Başka bir seçenek de xray gibi bazı yönlerden daha karmaşık olan bir projeye bakmak olabilir , ancak meta verileri kullanmanıza izin verdiğini ve bir DataFrame'e dönüştürmenin oldukça kolay olduğunu düşünüyorum.

Ben bulduk @choldgraf tarafından belirtildiği gibi xarray verilerini karşılaştırarak ve birkaç dataframes arasındaki sonuçlar çizdirirken meta bağlanması için mükemmel bir araç olduğunu.

Çalışmamda, genellikle birkaç ürün yazılımı revizyonunun ve farklı test senaryolarının sonuçlarını karşılaştırıyoruz ve bu bilgileri eklemek şu kadar basit:

df = pd.read_csv(meaningless_test)
metadata = {'fw': foo, 'test_name': bar, 'scenario': sc_01}
ds = xr.Dataset.from_dataframe(df)
ds.attrs = metadata

Bir çözüm arıyordum ve pandalar çerçevesinin özelliğe sahip olduğunu buldum attrs

pd.DataFrame().attrs.update({'your_attribute' : 'value'})
frame.attrs['your_attribute']

Bu özellik, onu her geçtiğinizde her zaman çerçevenize yapışacaktır!

Aynı sorunu yaşıyordum ve meta verilerle bir sözlükten yeni, daha küçük bir DF oluşturmak için bir geçici çözüm kullandım:

    meta = {"name": "Sample Dataframe", "Created": "19/07/2019"}
    dfMeta = pd.DataFrame.from_dict(meta, orient='index')

Bu dfMeta daha sonra orijinal DF'nizle birlikte turşu vb.

Turşu dosyasında birden çok nesneyi kaydetme ve yükleme bölümüne bakın (Lutz'un cevabı) turşu kullanarak birden fazla veri çerçevesini kaydetme ve geri alma konusunda mükemmel yanıt