Як поєднати два чи більше набори запитів у режимі перегляду Джанго?

Я намагаюся створити пошук сайту Django, який я будую, і в цьому пошуку я шукаю в трьох різних моделях. І щоб отримати сторінку на сторінці результатів пошуку, я хотів би використовувати загальний вигляд object_list для відображення результатів. Але для цього мені потрібно об'єднати 3 запити в один.

Як я можу це зробити? Я спробував це:

result_list = []            
page_list = Page.objects.filter(
    Q(title__icontains=cleaned_search_term) | 
    Q(body__icontains=cleaned_search_term))
article_list = Article.objects.filter(
    Q(title__icontains=cleaned_search_term) | 
    Q(body__icontains=cleaned_search_term) | 
    Q(tags__icontains=cleaned_search_term))
post_list = Post.objects.filter(
    Q(title__icontains=cleaned_search_term) | 
    Q(body__icontains=cleaned_search_term) | 
    Q(tags__icontains=cleaned_search_term))

for x in page_list:
    result_list.append(x)
for x in article_list:
    result_list.append(x)
for x in post_list:
    result_list.append(x)

return object_list(
    request, 
    queryset=result_list, 
    template_object_name='result',
    paginate_by=10, 
    extra_context={
        'search_term': search_term},
    template_name="search/result_list.html")

Але це не працює. Я отримую помилку, коли намагаюся використовувати цей список у загальному вікні. У списку відсутній атрибут клонування.

Хто - небудь знає , як я можу об'єднати три списки, page_list, article_listі post_list?

Об’єднання наборів запитів у список є найпростішим підходом. Якщо база даних все одно буде потрапляти для всіх наборів запитів (наприклад, тому, що результат потрібно сортувати), це не призведе до додаткових витрат.

from itertools import chain
result_list = list(chain(page_list, article_list, post_list))

Використання itertools.chainшвидше, ніж циклічне записування кожного списку та додавання елементів один за одним, оскільки itertoolsреалізовано в C. Це також забирає менше пам'яті, ніж перетворення кожного набору запитів у список перед об'єднанням.

Тепер можна сортувати отриманий список, наприклад, за датою (як вимагається в коментарі hasen j до іншої відповіді). sorted()Функція зручно приймає генератор і повертає список:

result_list = sorted(
    chain(page_list, article_list, post_list),
    key=lambda instance: instance.date_created)

Якщо ви використовуєте Python 2.4 або новішої версії, ви можете використовувати attrgetterзамість лямбда. Я пам'ятаю, як читав про це, як проходив швидше, але я не бачив помітної різниці швидкостей для списку мільйонів елементів.

from operator import attrgetter
result_list = sorted(
    chain(page_list, article_list, post_list),
    key=attrgetter('date_created'))

Спробуйте це:

matches = pages | articles | posts

Він зберігає всі функції наборів запитів, що приємно, якщо ви хочете order_byчи подібні.

Зверніть увагу: це не працює на наборах запитів двох різних моделей.

Пов'язані, для змішування querysets з однієї і тієї ж моделі, або для аналогічних полів з декількох моделей, починаючи з Django 1.11 qs.union()метод також доступний:

union()

union(*other_qs, all=False)

Нове у Django 1.11 . Використовує оператор UNION SQL для об'єднання результатів двох або більше QuerySets. Наприклад:

>>> qs1.union(qs2, qs3)

Оператор UNION за замовчуванням вибирає лише окремі значення. Щоб дозволити повторювані значення, використовуйте аргумент all = True.

union (), intersection () та відмінності () повертають екземпляри моделі типу першого QuerySet, навіть якщо аргументами є QuerySets інших моделей. Передача різних моделей працює до тих пір, поки список SELECT однаковий у всіх QuerySets (принаймні типи, імена не мають значення, якщо типи в одному порядку).

Крім того, в отриманому QuerySet дозволені лише LIMIT, OFFSET та ORDER BY (тобто нарізання та order_by ()). Крім того, бази даних встановлюють обмеження щодо операцій, дозволених у комбінованих запитах. Наприклад, більшість баз даних не дозволяють LIMIT або OFFSET у комбінованих запитах.

https://docs.djangoproject.com/en/1.11/ref/models/querysets/#django.db.models.query.QuerySet.union

Ви можете використовувати QuerySetChainклас нижче. Використовуючи його з пагінатором Django, він повинен звертатися до бази даних із COUNT(*)запитами для всіх наборів запитів і SELECT()запитів лише для тих наборів запитів, записи яких відображаються на поточній сторінці.

Зауважте, що вам потрібно вказати, template_name=якщо ви використовуєте QuerySetChainзагальні представлення даних, навіть якщо всі ланцюгові набори запитів використовують однакову модель.

from itertools import islice, chain

class QuerySetChain(object):
    """
    Chains multiple subquerysets (possibly of different models) and behaves as
    one queryset.  Supports minimal methods needed for use with
    django.core.paginator.
    """

    def __init__(self, *subquerysets):
        self.querysets = subquerysets

    def count(self):
        """
        Performs a .count() for all subquerysets and returns the number of
        records as an integer.
        """
        return sum(qs.count() for qs in self.querysets)

    def _clone(self):
        "Returns a clone of this queryset chain"
        return self.__class__(*self.querysets)

    def _all(self):
        "Iterates records in all subquerysets"
        return chain(*self.querysets)

    def __getitem__(self, ndx):
        """
        Retrieves an item or slice from the chained set of results from all
        subquerysets.
        """
        if type(ndx) is slice:
            return list(islice(self._all(), ndx.start, ndx.stop, ndx.step or 1))
        else:
            return islice(self._all(), ndx, ndx+1).next()

У вашому прикладі використання буде:

pages = Page.objects.filter(Q(title__icontains=cleaned_search_term) |
                            Q(body__icontains=cleaned_search_term))
articles = Article.objects.filter(Q(title__icontains=cleaned_search_term) |
                                  Q(body__icontains=cleaned_search_term) |
                                  Q(tags__icontains=cleaned_search_term))
posts = Post.objects.filter(Q(title__icontains=cleaned_search_term) |
                            Q(body__icontains=cleaned_search_term) | 
                            Q(tags__icontains=cleaned_search_term))
matches = QuerySetChain(pages, articles, posts)

Тоді використовуйте matchesз пагінатором, як ви використовували result_listу своєму прикладі.

itertoolsМодуль був введений в Python 2.3, тому вона повинна бути доступна у всіх версіях Python Django працює під управлінням .

Важливим недоліком вашого поточного підходу є його неефективність із великими наборами результатів пошуку, оскільки вам доведеться щоразу знімати весь набір результатів із бази даних, навіть якщо ви маєте намір відображати лише одну сторінку результатів.

Для того, щоб витягнути з бази даних лише ті об’єкти, які вам справді потрібні, вам потрібно використовувати пагинацію в QuerySet, а не в списку. Якщо ви це зробите, Django фактично нарізає QuerySet перед виконанням запиту, тому SQL-запит використовуватиме OFFSET та LIMIT, щоб отримати лише записи, які ви будете фактично відображати. Але ви не можете цього зробити, якщо не зможете якимось чином забити свій пошук в одному запиті.

Враховуючи, що всі три ваші моделі мають поля заголовка та тіла, чому б не використати успадкування моделі ? Просто всі три моделі успадковують від загального предка, який має назву та тіло, і виконують пошук як єдиний запит на моделі предка.

Якщо ви хочете зав'язати багато наборів запитів, спробуйте:

from itertools import chain
result = list(chain(*docs))

де: docs - це список запитів

DATE_FIELD_MAPPING = {
    Model1: 'date',
    Model2: 'pubdate',
}

def my_key_func(obj):
    return getattr(obj, DATE_FIELD_MAPPING[type(obj)])

And then sorted(chain(Model1.objects.all(), Model2.objects.all()), key=my_key_func)

Цитується з https://groups.google.com/forum/#!topic/django-users/6wUNuJa4jVw . Дивіться Алекс Гейнор

Цього можна досягти двома способами.

1-й спосіб зробити це

Використовуйте оператор об'єднання для набору запитів, |щоб прийняти об'єднання двох запитів. Якщо обидва набори запитів належать до однієї і тієї ж моделі / однієї моделі, тоді можливо комбінувати набори запитів за допомогою оператора об'єднання.

Наприклад

pagelist1 = Page.objects.filter(
    Q(title__icontains=cleaned_search_term) | 
    Q(body__icontains=cleaned_search_term))
pagelist2 = Page.objects.filter(
    Q(title__icontains=cleaned_search_term) | 
    Q(body__icontains=cleaned_search_term))
combined_list = pagelist1 | pagelist2 # this would take union of two querysets

2-й спосіб зробити це

Ще один спосіб досягти комбінованої роботи між двома наборами запитів - використовувати функцію ланцюга itertools .

from itertools import chain
combined_results = list(chain(pagelist1, pagelist2))

Вимоги: Django==2.0.2 ,django-querysetsequence==0.8

У випадку, якщо ви хочете поєднати querysetsі все-таки вийти з a QuerySet, ви можете перевірити послідовність django-queryset .

Але одна примітка про це. Це querysetsаргументується лише два . Але за допомогою python reduceви завжди можете застосувати його до кількох querysets.

from functools import reduce
from queryset_sequence import QuerySetSequence

combined_queryset = reduce(QuerySetSequence, list_of_queryset)

І це все. Нижче наводиться ситуація, в яку я стикався list comprehension, reduceі як я працював , іdjango-queryset-sequence

from functools import reduce
from django.shortcuts import render    
from queryset_sequence import QuerySetSequence

class People(models.Model):
    user = models.OneToOneField(User, on_delete=models.CASCADE)
    mentor = models.ForeignKey('self', null=True, on_delete=models.SET_NULL, related_name='my_mentees')

class Book(models.Model):
    name = models.CharField(max_length=20)
    owner = models.ForeignKey(Student, on_delete=models.CASCADE)

# as a mentor, I want to see all the books owned by all my mentees in one view.
def mentee_books(request):
    template = "my_mentee_books.html"
    mentor = People.objects.get(user=request.user)
    my_mentees = mentor.my_mentees.all() # returns QuerySet of all my mentees
    mentee_books = reduce(QuerySetSequence, [each.book_set.all() for each in my_mentees])

    return render(request, template, {'mentee_books' : mentee_books})

ось ідея ... просто зніміть одну повну сторінку результатів з кожної з цих трьох, а потім викиньте 20 найменш корисних ... це виключає великі запити, і таким чином ви жертвуєте лише невеликою продуктивністю замість великої кількості

Це зробить роботу, не використовуючи жодних інших петель

result_list = list(page_list) + list(article_list) + list(post_list)

Ця рекурсивна функція об'єднує масив наборів запитів в один набір запитів.

def merge_query(ar):
    if len(ar) ==0:
        return [ar]
    while len(ar)>1:
        tmp=ar[0] | ar[1]
        ar[0]=tmp
        ar.pop(1)
        return ar