Redis: Показати розмір / розмір бази даних для ключів

Здається, мій екземпляр redis стає дуже великим, і я хотів би дізнатись, яка з багатьох баз даних, які я маю там, займає скільки пам'яті. INFOКоманда Redis просто показує мені загальний розмір і кількість ключів для бази даних, що не дає мені великого розуміння ... Тож будь-які інструменти / ідеї, які дають мені більше інформації під час моніторингу сервера redis, будуть вдячні.

Документація Redis не показує мені жодних команд, які можуть повернути споживану пам'ять певних клавіш, тому я думаю, якщо який-небудь код помилки напише багато "сміття" для redis, це може бути дуже важко знайти ...

Тож моє рішення моєї власної проблеми: погравшись redis-cliтрохи довше, я виявив, що DEBUG OBJECT <key>виявляється щось на зразок serializedlengthключа, що насправді було тим, що я шукав ...

Для цілої бази даних вам потрібно об’єднати всі значення, для KEYS *яких не повинно бути надто складно з вибраною мовою сценаріїв ...

Погано те, що redis.io насправді не має багато інформації про DEBUG OBJECT.

Рішення з коментарів заслуговує на власну відповідь:

redis-cli --bigkeys

MEMORY USAGE key Команда дає вам кількість байт, яку ключ і його значення вимагають для збереження в оперативній пам'яті.

Повідомлене використання - це загальна кількість виділеної пам’яті для даних та адміністративних накладних витрат, які потрібні ключу для його значення (джерело документації redis)

Погляньте на цей проект, він видає цікаву статистику про простори клавіш на основі регулярних виразів та префіксів. Він використовує DEBUG OBJECTкоманду і сканує db, визначаючи групи клавіш та оцінюючи відсоток місця, який вони займають.

https://github.com/snmaynard/redis-audit

Результат виглядає так:

Summary  

---------------------------------------------------+--------------+-------------------+---------------------------------------------------  
Key                                                | Memory Usage | Expiry Proportion | Last Access Time                                    
---------------------------------------------------+--------------+-------------------+---------------------------------------------------  
notification_3109439                               | 88.14%       | 0.0%              | 2 minutes                               
user_profile_3897016                               | 11.86%       | 99.98%            | 20 seconds  
---------------------------------------------------+--------------+-------------------+---------------------------------------------------  

Або ось цей: https://github.com/sripathikrishnan/redis-rdb-tools, який робить повний аналіз усього простору ключів, аналізуючи файл dump.rdb в автономному режимі. Це також добре працює. Це може дати вам середній / мінімальний / максимальний розмір записів у вашій базі даних, і навіть буде робити це на основі префікса.

Можливо, вам буде дуже корисно взяти вибірки ключів Redis та згрупувати їх за типом. Сальваторе написав інструмент, який називається redis-sampler, який видає близько 10000 RANDOMKEYкоманд, за якими слідує a TYPEна отриманих клавішах. За лічені секунди або хвилини ви повинні отримати досить точне уявлення про розподіл типів ключів.

Я написав розширення (на жаль, це не де-небудь з відкритим кодом, оскільки це пов'язано з роботою), яке додає трохи самоаналізу імен ключів за допомогою регулярних виразів, які дають вам уявлення про те, які типи ключів програми (залежно від структури імен використання), зберігаються в Redis. У поєднанні з більш загальним результатом роботи redis-sampler, це має дати вам надзвичайно гарне уявлення про те, що відбувається.

Можливо, ви можете провести самоаналіз у файлі db. Протокол відносно простий (але ще недостатньо добре задокументований), тому ви можете написати для нього парсер, щоб визначити, які окремі клавіші займають багато місця.

Нові пропозиції:

Ви пробували використовувати, MONITORщоб побачити, що пишеться, у прямому ефірі? Можливо, ви можете знайти проблему з даними в русі.

Ви можете використовувати .net-програму https://github.com/abhiyx/RedisSizeCalculator для обчислення розміру ключа redis,

Будь ласка, надішліть свій відгук про те саме

Зазвичай я віддаю перевагу методу вибірки ключів для усунення таких сценаріїв.

redis-cli -p 6379 -n db_number --bigkeys

Наприклад: -

redis-cli -p 6370 -n 0 --bigkeys

Як щодо redis-cli отримати KEYNAME | wc -c