MongoDB count count (різний x) в індексованому стовпці - підраховуйте унікальні результати для великих наборів даних

Я пройшов кілька статей та прикладів, і досі не знайшов ефективного способу зробити цей запит SQL у MongoDB (де мільйони рядки документи)

Перша спроба

(наприклад, із цього майже дубльованого запитання - монгоський еквівалент вибору SELECT DISTINCT в SQL? )

db.myCollection.distinct("myIndexedNonUniqueField").length

Очевидно, я отримав цю помилку, оскільки мій набір даних величезний

Thu Aug 02 12:55:24 uncaught exception: distinct failed: {
        "errmsg" : "exception: distinct too big, 16mb cap",
        "code" : 10044,
        "ok" : 0
}

Друга спроба

Я вирішив спробувати створити групу

db.myCollection.group({key: {myIndexedNonUniqueField: 1},
                initial: {count: 0}, 
                 reduce: function (obj, prev) { prev.count++;} } );

Але я отримав це повідомлення про помилку:

exception: group() can't handle more than 20000 unique keys

Третя спроба

Я ще не пробував, але є кілька пропозицій, які включають mapReduce

напр

• цей, як зробити відмінний і згрупувати в mongodb? (не прийнято, автор відповіді / ОП не тестував)
• ця одна група MongoDB за функціональними можливостями (схожа на Другу спробу)
• цей http://blog.emmettshear.com/post/2010/02/12/Counting-Uniques-With-MongoDB
• цей https://groups.google.com/forum/?fromgroups#!topic/mongodb-user/trDn3jJjqtE
• цей http://cookbook.mongodb.org/patterns/unique_items_map_reduce/

Також

Здається, є запит на витяг GitHub, який фіксує .distinctметод, згадуючи, що він повинен повертати лише підрахунок, але він все ще відкритий: https://github.com/mongodb/mongo/pull/34

Але на даний момент я подумав, що варто тут запитати, що найновіше з цього питання? Чи слід переходити до SQL або іншої БД NoSQL для чіткого підрахунку? чи існує ефективний спосіб?

Оновлення:

Цей коментар до офіційних документів MongoDB не підбадьорює, чи це точно?

http://www.mongodb.org/display/DOCS/Aggregation#comment-430445808

Оновлення2:

Здається, нова Структура агрегації відповідає на вищезазначений коментар ... (MongoDB 2.1 / 2.2 і вище, попередній перегляд розробки доступний, не для виробництва)

http://docs.mongodb.org/manual/applications/aggregation/

1) Найпростіший спосіб зробити це за допомогою системи агрегування. Для цього потрібні дві команди "$ group": перша групує за різними значеннями, друга - підраховує всі різні значення

pipeline = [ 
    { $group: { _id: "$myIndexedNonUniqueField"}  },
    { $group: { _id: 1, count: { $sum: 1 } } }
];

//
// Run the aggregation command
//
R = db.runCommand( 
    {
    "aggregate": "myCollection" , 
    "pipeline": pipeline
    }
);
printjson(R);

2) Якщо ви хочете зробити це за допомогою Map / Reduce, можете. Це також двофазний процес: на першому етапі ми створюємо нову колекцію зі списком усіх окремих значень ключа. У другому ми робимо підрахунок () нової колекції.

var SOURCE = db.myCollection;
var DEST = db.distinct
DEST.drop();


map = function() {
  emit( this.myIndexedNonUniqueField , {count: 1});
}

reduce = function(key, values) {
  var count = 0;

  values.forEach(function(v) {
    count += v['count'];        // count each distinct value for lagniappe
  });

  return {count: count};
};

//
// run map/reduce
//
res = SOURCE.mapReduce( map, reduce, 
    { out: 'distinct', 
     verbose: true
    }
    );

print( "distinct count= " + res.counts.output );
print( "distinct count=", DEST.count() );

Зверніть увагу, що ви не можете повернути результат карти / зменшити вбудований, оскільки це потенційно перевищить обмеження розміру документа 16 МБ. Ви можете зберегти обчислення в колекції, а потім підрахувати () розмір колекції, або ви можете отримати кількість результатів із поверненого значення mapReduce ().

db.myCollection.aggregate( 
   {$group : {_id : "$myIndexedNonUniqueField"} }, 
   {$group: {_id:1, count: {$sum : 1 }}});

прямо до результату:

db.myCollection.aggregate( 
   {$group : {_id : "$myIndexedNonUniqueField"} }, 
   {$group: {_id:1, count: {$sum : 1 }}})
   .result[0].count;

Наступне рішення спрацювало для мене

db.test.distinct ('користувач'); ["Алекс", "Англія", "Франція", "Австралія"]

db.countries.distinct ('країна'). довжина 4