Запит обмеження / зміщення та відліку мангуста

Трохи непарний для продуктивності запиту ... Мені потрібно виконати запит, який робить загальну кількість документів, а також може повернути набір результатів, який може бути обмежений та зміщений.

Отже, у мене є 57 документів, і користувач хоче, щоб 10 документів компенсували на 20.

Я можу подумати про 2 способи зробити це, спочатку це запит для всіх 57 документів (повертається як масив), а потім за допомогою array.slice повертає документи, які вони хочуть. Другий варіант - запустити 2 запити, перший із яких використовує рідний метод "count" монго, потім виконати другий запит, використовуючи вбудований $ limit монго та агрегатори $ skip.

Як ви думаєте, що б масштабувалося краще? Робити все це в одному запиті, або запускати два окремі?

Редагувати:

// 1 query
var limit = 10;
var offset = 20;

Animals.find({}, function (err, animals) {
    if (err) {
        return next(err);
    }

    res.send({count: animals.length, animals: animals.slice(offset, limit + offset)});
});


// 2 queries
Animals.find({}, {limit:10, skip:20} function (err, animals) {            
    if (err) {
        return next(err);
    }

    Animals.count({}, function (err, count) {
        if (err) {
            return next(err);
        }

        res.send({count: count, animals: animals});
    });
});

Я пропоную вам використовувати 2 запити:

1. db.collection.count()поверне загальну кількість елементів. Це значення зберігається десь у Монго, і воно не обчислюється.

2. db.collection.find().skip(20).limit(10)тут я припускаю, що ви можете використати сортування за якимсь полем, тому не забудьте додати індекс до цього поля. Цей запит також буде швидким.

Я вважаю, що вам не слід запитувати всі елементи, а потім виконувати пропуск і зняття, оскільки пізніше, коли у вас є великі дані, у вас будуть проблеми з передачею та обробкою даних.

Замість того, щоб використовувати 2 окремі запити, ви можете використовувати aggregate()в одному запиті:

Сукупний "$ facet" можна отримати швидше, загальний підрахунок та дані з пропуском та обмеженням

    db.collection.aggregate([

      //{$sort: {...}}

      //{$match:{...}}

      {$facet:{

        "stage1" : [ {"$group": {_id:null, count:{$sum:1}}} ],

        "stage2" : [ { "$skip": 0}, {"$limit": 2} ]
  
      }},
     
     {$unwind: "$stage1"},
  
      //output projection
     {$project:{
        count: "$stage1.count",
        data: "$stage2"
     }}

 ]);

виведення наступним чином: -

[{
     count: 50,
     data: [
        {...},
        {...}
      ]
 }]

Крім того, загляньте на https://docs.mongodb.com/manual/reference/operator/aggregation/facet/

Після того, як мені довелося вирішити цю проблему самостійно, я хотів би спиратися на відповідь користувача854301.

Mongoose ^ 4.13.8 Я зміг використати функцію, що викликається, toConstructor()що дозволило мені уникати побудови запиту кілька разів, коли застосовуються фільтри. Я знаю, що ця функція доступна і в старих версіях, але вам доведеться перевірити документи Mongoose, щоб підтвердити це.

Далі використовуються обіцянки Bluebird:

let schema = Query.find({ name: 'bloggs', age: { $gt: 30 } });

// save the query as a 'template'
let query = schema.toConstructor();

return Promise.join(
    schema.count().exec(),
    query().limit(limit).skip(skip).exec(),

    function (total, data) {
        return { data: data, total: total }
    }
);

Тепер запит підрахунку поверне загальну кількість відповідних записів, а повернені дані будуть підмножиною загальної кількості записів.

Зверніть увагу на () навколо запиту (), який створює запит.

Існує бібліотека, яка зробить все це за вас, перевірте mongoose-paginate-v2

db.collection_name.aggregate([
    { '$match'    : { } },
    { '$sort'     : { '_id' : -1 } },
    { '$facet'    : {
        metadata: [ { $count: "total" } ],
        data: [ { $skip: 1 }, { $limit: 10 },{ '$project' : {"_id":0} } ] // add projection here wish you re-shape the docs
    } }
] )

Замість того, щоб використовувати два запити, щоб знайти загальну кількість і пропустити відповідний запис.
$ грань - найкращий та оптимізований спосіб.

1. Зіставте рекорд
   
2. Знайти total_count
   
3. пропустити запис
   
4. А також може змінити дані відповідно до наших потреб у запиті.