Django QuerySet'i Pandalar DataFrame'e dönüştürme

Bir Django QuerySet'i pandalara DataFrameşu şekilde dönüştüreceğim:

qs = SomeModel.objects.select_related().filter(date__year=2012)
q = qs.values('date', 'OtherField')
df = pd.DataFrame.from_records(q)

Çalışıyor, ancak daha verimli bir yol var mı?

import pandas as pd
import datetime
from myapp.models import BlogPost

df = pd.DataFrame(list(BlogPost.objects.all().values()))
df = pd.DataFrame(list(BlogPost.objects.filter(date__gte=datetime.datetime(2012, 5, 1)).values()))

# limit which fields
df = pd.DataFrame(list(BlogPost.objects.all().values('author', 'date', 'slug')))

Yukarıdakiler aynı şeyi nasıl yaptığım. En kullanışlı ek, hangi alanlarla ilgilendiğinizi belirlemektir. İlgilendiğiniz mevcut alanların yalnızca bir alt kümesiyse, bu, tahmin ettiğim gibi bir performans artışı sağlar.

Django Pandas bunu oldukça düzgün bir şekilde çözer: https://github.com/chrisdev/django-pandas/

BENİOKU'dan:

class MyModel(models.Model):
    full_name = models.CharField(max_length=25)
    age = models.IntegerField()
    department = models.CharField(max_length=3)
    wage = models.FloatField()

from django_pandas.io import read_frame
qs = MyModel.objects.all()
df = read_frame(qs)

Sorgu kümesini values_list () üzerinde dönüştürmek, doğrudan values ​​() 'dan daha fazla bellek açısından verimli olacaktır. Yöntem values ​​(), dikte listesinin bir sorgu kümesini (anahtar: değer çiftleri) döndürdüğünden, values_list () yalnızca tuple listesini (saf veri) döndürür. Yaklaşık% 50 bellek tasarrufu sağlar, sadece pd.DataFrame () 'i çağırdığınızda sütun bilgilerini ayarlamanız yeterlidir.

Yöntem 1:
    queryset = models.xxx.objects.values ​​("A", "B", "C", "D")
    df = pd.DataFrame (list (sorgu kümesi)) ## çok fazla bellek tüketir
    #df = pd.DataFrame.from_records (sorgu kümesi) ## çalışıyor ancak bellek kullanımında fazla değişiklik yok

Yöntem 2:
    queryset = models.xxx.objects.values_list ("A", "B", "C", "D")
    df = pd.DataFrame (liste (sorgu kümesi), sütunlar = ["A", "B", "C", "D"]) ## bu% 50 bellek tasarrufu sağlar
    #df = pd.DataFrame.from_records (sorgu kümesi, sütunlar = ["A", "B", "C", "D"]) ## Çalışmıyor. Veri türü ile çöktü sorgu kümesi değil liste.

Bunu projemde> 1 milyon satır verisi ile test ettim, tepe bellek 2G'den 1G'ye düşürüldü.

Django perspektifinden (aşina değilim pandas) bu sorun değil. Tek endişem, çok sayıda kaydınız varsa, hafıza sorunlarıyla karşılaşabileceğinizdir. Durum böyle olsaydı, bu bellek verimli sorgu kümesi yineleyicisinin satırları boyunca bir şey gerekli olurdu. (Yazılan pasaj, akıllıca kullanımınıza izin vermek için biraz yeniden yazmayı gerektirebilir .values()).

Model_to_dict kullanabilirsiniz

import datetime
from django.forms import model_to_dict
pallobjs = [ model_to_dict(pallobj) for pallobj in PalletsManag.objects.filter(estado='APTO_PARA_VENTA')] 
df = pd.DataFrame(pallobjs)
df.head()