При використанні MongoDB чи існують якісь особливі шаблони для створення, наприклад, перегляду сторінок? скажімо, щоденник містить 10 останніх публікацій, де ви можете перейти назад до старих публікацій.
Або хтось вирішує це за допомогою індексу, наприклад, blogpost.publishdate, і просто пропускає та обмежує результат?
Відповіді:
Використання скіп + ліміт не є хорошим способом підкачки сторінок, коли продуктивність є проблемою, або з великими колекціями; він буде ставати повільнішим і повільнішим із збільшенням номера сторінки. Використання пропуску вимагає від сервера проходження, хоча всі документи (або значення індексу) від 0 до значення зміщення (пропуску).
Набагато краще використовувати запит діапазону (+ ліміт), де ви передаєте значення діапазону останньої сторінки. Наприклад, якщо ви сортуєте за "публікацією дати", ви просто передасте останнє значення "публікації дати" як критерій для запиту, щоб отримати наступну сторінку даних.
Можливе рішення: спробуйте спростити десгін, думаючи про те, чи зможемо ми сортувати лише за ідентифікатором чи якимсь унікальним значенням?
І якщо ми можемо, тоді може використовуватися сторінка на основі діапазону.
Поширений спосіб - використовувати sort (), skip () та limit () для реалізації підкачки, що описано вище.
{ _id: { $gt: ... } }... це просто не працює, якщо використовується спеціальне впорядкування - наприклад .sort(...).
Це рішення, яке я використав, коли моя колекція зросла занадто великою, щоб повернутися в одному запиті. Він використовує переваги властивого впорядкування _idполя і дозволяє прокручувати колекцію за вказаним розміром партії.
Ось це як модуль npm, мангуст-пейджинг , повний код нижче:
function promiseWhile(condition, action) {
return new Promise(function(resolve, reject) {
process.nextTick(function loop() {
if(!condition()) {
resolve();
} else {
action().then(loop).catch(reject);
}
});
});
}
function findPaged(query, fields, options, iterator, cb) {
var Model = this,
step = options.step,
cursor = null,
length = null;
promiseWhile(function() {
return ( length===null || length > 0 );
}, function() {
return new Promise(function(resolve, reject) {
if(cursor) query['_id'] = { $gt: cursor };
Model.find(query, fields, options).sort({_id: 1}).limit(step).exec(function(err, items) {
if(err) {
reject(err);
} else {
length = items.length;
if(length > 0) {
cursor = items[length - 1]._id;
iterator(items, function(err) {
if(err) {
reject(err);
} else {
resolve();
}
});
} else {
resolve();
}
}
});
});
}).then(cb).catch(cb);
}
module.exports = function(schema) {
schema.statics.findPaged = findPaged;
};
Прикріпіть його до своєї моделі так:
MySchema.plugin(findPaged);
Тоді запитуйте так:
MyModel.findPaged(
// mongoose query object, leave blank for all
{source: 'email'},
// fields to return, leave blank for all
['subject', 'message'],
// number of results per page
{step: 100},
// iterator to call on each set of results
function(results, cb) {
console.log(results);
// this is called repeatedly while until there are no more results.
// results is an array of maximum length 100 containing the
// results of your query
// if all goes well
cb();
// if your async stuff has an error
cb(err);
},
// function to call when finished looping
function(err) {
throw err;
// this is called once there are no more results (err is null),
// or if there is an error (then err is set)
}
);
Підкачка на основі діапазону здійсненна, але ви повинні бути розумними щодо того, як ви мінімізуєте / максимум запиту.
Якщо ви можете собі це дозволити, спробуйте кешувати результати запиту у тимчасовому файлі чи колекції. Завдяки колекціям TTL в MongoDB ви можете вставити свої результати у дві колекції.
Використовуючи обидва запевнення, ви не отримаєте часткових результатів, коли TTL наближається до поточного часу. Ви можете використовувати простий лічильник, коли зберігаєте результати, щоб зробити ДУЖЕ простий запит діапазону в цей момент.
Ось приклад отримання списку Userвпорядкованих документів шляхом CreatedDate(де pageIndexнуль базується) за допомогою офіційного драйвера C #.
public void List<User> GetUsers()
{
var connectionString = "<a connection string>";
var client = new MongoClient(connectionString);
var server = client.GetServer();
var database = server.GetDatabase("<a database name>");
var sortBy = SortBy<User>.Descending(u => u.CreatedDate);
var collection = database.GetCollection<User>("Users");
var cursor = collection.FindAll();
cursor.SetSortOrder(sortBy);
cursor.Skip = pageIndex * pageSize;
cursor.Limit = pageSize;
return cursor.ToList();
}
Всі операції сортування та пошуку здійснюються на стороні сервера. Хоча це приклад у C #, я думаю, те саме можна застосувати до інших мовних портів.
// file:ad-hoc.js
// an example of using the less binary as pager in the bash shell
//
// call on the shell by:
// mongo localhost:27017/mydb ad-hoc.js | less
//
// note ad-hoc.js must be in your current directory
// replace the 27017 wit the port of your mongodb instance
// replace the mydb with the name of the db you want to query
//
// create the connection obj
conn = new Mongo();
// set the db of the connection
// replace the mydb with the name of the db you want to query
db = conn.getDB("mydb");
// replace the products with the name of the collection
// populate my the products collection
// this is just for demo purposes - you will probably have your data already
for (var i=0;i<1000;i++ ) {
db.products.insert(
[
{ _id: i, item: "lamp", qty: 50, type: "desk" },
],
{ ordered: true }
)
}
// replace the products with the name of the collection
cursor = db.products.find();
// print the collection contents
while ( cursor.hasNext() ) {
printjson( cursor.next() );
}
// eof file: ad-hoc.js