Перетворення Django QuerySet у pandas DataFrame

Я збираюся перетворити набір Django QuerySet на панду DataFrameнаступним чином:

qs = SomeModel.objects.select_related().filter(date__year=2012)
q = qs.values('date', 'OtherField')
df = pd.DataFrame.from_records(q)

Це працює, але чи є більш ефективний спосіб?

import pandas as pd
import datetime
from myapp.models import BlogPost

df = pd.DataFrame(list(BlogPost.objects.all().values()))
df = pd.DataFrame(list(BlogPost.objects.filter(date__gte=datetime.datetime(2012, 5, 1)).values()))

# limit which fields
df = pd.DataFrame(list(BlogPost.objects.all().values('author', 'date', 'slug')))

Вище сказано, як я роблю те саме. Найбільш корисним доповненням є вказівка, які поля вас цікавлять. Якщо це лише підмножина доступних полів, які вас цікавлять, то це, на мою думку, підвищить продуктивність.

Django Pandas вирішує це досить акуратно: https://github.com/chrisdev/django-pandas/

З README:

class MyModel(models.Model):
    full_name = models.CharField(max_length=25)
    age = models.IntegerField()
    department = models.CharField(max_length=3)
    wage = models.FloatField()

from django_pandas.io import read_frame
qs = MyModel.objects.all()
df = read_frame(qs)

Перетворення набору запитів на values_list () буде ефективнішим для пам'яті, ніж безпосередньо у values ​​(). Оскільки метод values ​​() повертає набір запитів зі списку dict (ключ: пари значень), values_list () повертає лише список кортежу (чисті дані). Це заощадить близько 50% пам'яті, потрібно лише встановити інформацію про стовпець під час виклику pd.DataFrame ().

Спосіб 1:
    queryset = models.xxx.objects.values ​​("A", "B", "C", "D")
    df = pd.DataFrame (list (queryset)) ## споживає багато пам'яті
    #df = pd.DataFrame.from_records (набір запитів) ## працює, але особливих змін у використанні пам'яті немає

Спосіб 2:
    queryset = models.xxx.objects.values_list ("A", "B", "C", "D")
    df = pd.DataFrame (список (набір запитів), стовпці = ["A", "B", "C", "D"]) ## це заощадить 50% пам'яті
    #df = pd.DataFrame.from_records (набір запитів, стовпці = ["A", "B", "C", "D"]) ## Це не працює. Збій з типом даних є набором запитів, а не списком.

Я перевірив це на своєму проекті, що містить> 1 мільйон рядків даних, пік пам'яті зменшено з 2G до 1G.

З точки зору Джанго (я не знайомий pandas), це нормально. Мене турбує лише те, що якщо у вас дуже велика кількість записів, у вас можуть виникнути проблеми з пам’яттю. Якби це було так, потрібно було б щось на зразок цього ефективного ітератора запитів набору пам’яті . (Описаний фрагмент може вимагати певного переписування, щоб ви могли розумно використовувати його .values()).

Можливо, ви можете використовувати model_to_dict

import datetime
from django.forms import model_to_dict
pallobjs = [ model_to_dict(pallobj) for pallobj in PalletsManag.objects.filter(estado='APTO_PARA_VENTA')] 
df = pd.DataFrame(pallobjs)
df.head()