Продуктивність MongoDB проти PostgreSQL з 5,5 мільйонами рядків / документів


10

Чи може хтось допомогти мені порівняти ці запити та пояснити, чому запит PostgreSQL виконується трохи менше 2000 мс, а агрегатний запит MongoDB займає майже 9000 мс, а іноді і до 130 Кб?

PostgreSQL 9.3.2 on x86_64-apple-darwin, compiled by i686-apple-darwin11-llvm-gcc-4.2 (GCC) 4.2.1 (Based on Apple Inc. build 5658) (LLVM build 2336.9.00), 64-bit

PostgreSQL-запит

SELECT locomotive_id,
   SUM(date_trunc('second', datetime) - date_trunc('second', prevDatetime)) AS utilization_time

FROM bpkdmp 
WHERE datetime >= '2013-7-26 00:00:00.0000' 
AND   datetime <= '2013-7-26 23:59:59.9999'
GROUP BY locomotive_id
order by locomotive_id

Запит MongoDB

db.bpkdmp.aggregate([
   {
      $match : {
          datetime : { $gte : new Date(2013,6,26, 0, 0, 0, 0), $lt : new Date(2013,6,26, 23, 59, 59, 9999) }
   }
   },
   {
      $project: {
         locomotive_id : "$locomotive_id",
         loco_time : { $subtract : ["$datetime", "$prevdatetime"] }, 
      }
   },
   {
      $group : {
         _id : "$locomotive_id",
         utilization_time : { $sum : "$loco_time" }
      }
   },
   {
      $sort : {_id : 1}
   }
])

І таблиця PostgreSQL, і колекція MongoDB індексуються за датою: 1 та locomotive_id: 1

Ці запити тестуються на iMac з гібридним накопичувачем 2 ТБ та 16 Гб пам'яті. Я отримав порівнянні результати на машині Windows 7 з 8 ГБ пам’яті та 256 ГБ SSD.

Дякую!

** Оновлення: після публікації запитання я публікую результати ПОЯСНЕННЯ (BUFFERS, ANALYZE)

"Sort  (cost=146036.84..146036.88 rows=19 width=24) (actual time=2182.443..2182.457 rows=152 loops=1)"
"  Sort Key: locomotive_id"
"  Sort Method: quicksort  Memory: 36kB"
"  Buffers: shared hit=13095"
"  ->  HashAggregate  (cost=146036.24..146036.43 rows=19 width=24) (actual time=2182.144..2182.360 rows=152 loops=1)"
"        Buffers: shared hit=13095"
"        ->  Bitmap Heap Scan on bpkdmp  (cost=12393.84..138736.97 rows=583942 width=24) (actual time=130.409..241.087 rows=559529 loops=1)"
"              Recheck Cond: ((datetime >= '2013-07-26 00:00:00'::timestamp without time zone) AND (datetime <= '2013-07-26 23:59:59.9999'::timestamp without time zone))"
"              Buffers: shared hit=13095"
"              ->  Bitmap Index Scan on bpkdmp_datetime_ix  (cost=0.00..12247.85 rows=583942 width=0) (actual time=127.707..127.707 rows=559529 loops=1)"
"                    Index Cond: ((datetime >= '2013-07-26 00:00:00'::timestamp without time zone) AND (datetime <= '2013-07-26 23:59:59.9999'::timestamp without time zone))"
"                    Buffers: shared hit=1531"
"Total runtime: 2182.620 ms"

** Оновлення: Монго поясніть:

Поясніть з MongoDB

{
"serverPipeline" : [
    {
        "query" : {
            "datetime" : {
                "$gte" : ISODate("2013-07-26T04:00:00Z"),
                "$lt" : ISODate("2013-07-27T04:00:08.999Z")
            }
        },
        "projection" : {
            "datetime" : 1,
            "locomotive_id" : 1,
            "prevdatetime" : 1,
            "_id" : 1
        },
        "cursor" : {
            "cursor" : "BtreeCursor datetime_1",
            "isMultiKey" : false,
            "n" : 559572,
            "nscannedObjects" : 559572,
            "nscanned" : 559572,
            "nscannedObjectsAllPlans" : 559572,
            "nscannedAllPlans" : 559572,
            "scanAndOrder" : false,
            "indexOnly" : false,
            "nYields" : 1,
            "nChunkSkips" : 0,
            "millis" : 988,
            "indexBounds" : {
                "datetime" : [
                    [
                        ISODate("2013-07-26T04:00:00Z"),
                        ISODate("2013-07-27T04:00:08.999Z")
                    ]
                ]
            },
            "allPlans" : [
                {
                    "cursor" : "BtreeCursor datetime_1",
                    "n" : 559572,
                    "nscannedObjects" : 559572,
                    "nscanned" : 559572,
                    "indexBounds" : {
                        "datetime" : [
                            [
                                ISODate("2013-07-26T04:00:00Z"),
                                ISODate("2013-07-27T04:00:08.999Z")
                            ]
                        ]
                    }
                }
            ],
            "oldPlan" : {
                "cursor" : "BtreeCursor datetime_1",
                "indexBounds" : {
                    "datetime" : [
                        [
                            ISODate("2013-07-26T04:00:00Z"),
                            ISODate("2013-07-27T04:00:08.999Z")
                        ]
                    ]
                }
            },
            "server" : "Michaels-iMac.local:27017"
        }
    },
    {
        "$project" : {
            "locomotive_id" : "$locomotive_id",
            "loco_time" : {
                "$subtract" : [
                    "$datetime",
                    "$prevdatetime"
                ]
            }
        }
    },
    {
        "$group" : {
            "_id" : "$locomotive_id",
            "utilization_time" : {
                "$sum" : "$loco_time"
            }
        }
    },
    {
        "$sort" : {
            "sortKey" : {
                "_id" : 1
            }
        }
    }
],
"ok" : 1
}

1
Для показу запиту PostgreSQL EXPLAIN (BUFFERS, ANALYZE)будь ласка, будь ласка. Також версія PostgreSQL. (Я проголосував за перехід на dba.SE)
Крейг Рінгер,

... та інформація про план MongoDB? docs.mongodb.org/manual/reference/method/cursor.explain
Крейг Рінгер

2
Хоча важко уникнути шуму NoSQL, традиційні RDBMS краще і набагато визріліші в сукупності в будь-який день. Бази даних NoSQL оптимізовані для індексації та пошуку первинних ключів за ключем, а не для таких типів запитів.
Олександрос

Можливо, я залишив незначну деталь. У кожному документі є понад 200 полів. Це був прямий імпорт із бази даних PostgreSQL. Багато значень поля є нульовими. Я нагадав, що MongoDB не особливо любить нульові значення. Я здійснив ще один імпорт з <20 полів відповідних даних, і ефективність запитів на величину краща. Я отримую <3000 мс на машині з 8 Гб пам'яті та більш повільним HD. Невдовзі я розпочну нове випробування на значно потужнішій машині.
Майк А

Індекс Mongodb {datetime: 1, prevdatetime: 1}повинен працювати краще, ніж поточний індекс, оскільки mongodb фільтрує за датою та за попереднім часом. Це зменшило б кількість документів, які потрібно сканувати.
сміття

Відповіді:


8

Тут працює лише PostgreSQL, - це сканування карти растрових карт, bpkdmp_datetime_ixщоб знайти блоки, які можуть містити відповідні рядки, а потім сканування цих блоків для пошуку відповідних рядків bpkdmp. Потім вона групує рядки у хеш-відрі, використовуючи хеші ключа, що групує, підсумовує кожне відро та сортує результати. Це простий, базовий план запитів - він може працювати краще, якщо ви кинете work_memна нього багато, але це також не може.

У цьому запиті ніде немає паралелізму; все відбудеться в одному ядрі.

Я можу лише припустити, що MongoDB використовує менш ефективний метод або не отримує користі від відповідного індексу. Вам потрібно буде показати explainзапит MongoDB, щоб корисний коментар був можливим; див cursor.explain.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.