Як зберігати та отримувати словник за допомогою redis

# I have the dictionary my_dict
my_dict = {
    'var1' : 5
    'var2' : 9
}
r = redis.StrictRedis()

Як би я зберігав my_dict і отримував його за допомогою redis. Наприклад, наступний код не працює.

#Code that doesn't work
r.set('this_dict', my_dict)  # to store my_dict in this_dict
r.get('this_dict')  # to retrieve my_dict

Ви можете зробити це за допомогою hmset(кілька клавіш можна встановити за допомогою hmset).

hmset("RedisKey", dictionaryToSet)

import redis
conn = redis.Redis('localhost')

user = {"Name":"Pradeep", "Company":"SCTL", "Address":"Mumbai", "Location":"RCP"}

conn.hmset("pythonDict", user)

conn.hgetall("pythonDict")

{'Company': 'SCTL', 'Address': 'Mumbai', 'Location': 'RCP', 'Name': 'Pradeep'}

Ви можете замаринувати свій дикт і зберегти як рядок.

import pickle
import redis

r = redis.StrictRedis('localhost')
mydict = {1:2,2:3,3:4}
p_mydict = pickle.dumps(mydict)
r.set('mydict',p_mydict)

read_dict = r.get('mydict')
yourdict = pickle.loads(read_dict)

Інший спосіб: ви можете використовувати RedisWorksбібліотеку.

pip install redisworks

>>> from redisworks import Root
>>> root = Root()
>>> root.something = {1:"a", "b": {2: 2}}  # saves it as Hash type in Redis
...
>>> print(root.something)  # loads it from Redis
{'b': {2: 2}, 1: 'a'}
>>> root.something['b'][2]
2

Він перетворює типи python на типи Redis і навпаки.

>>> root.sides = [10, [1, 2]]  # saves it as list in Redis.
>>> print(root.sides)  # loads it from Redis
[10, [1, 2]]
>>> type(root.sides[1])
<class 'list'>

Застереження: Я написав бібліотеку. Ось код: https://github.com/seperman/redisworks

Оскільки основну відповідь вже дали інші люди, я хотів би додати до неї деякі.

Нижче наведено команди REDISдля виконання основних операцій зі HashMap/Dictionary/Mappingзначеннями типів.

1. HGET => Повертає значення для переданого одного ключа
2. HSET => встановити / оновити значення для одного ключа
3. HMGET => Повертає значення для переданого одного / декількох ключів
4. HMSET => встановити / оновити значення для множинного ключа
5. HGETALL => Повертає всі пари (ключ, значення) у відображенні.

Нижче наведені їх відповідні методи в redis-pyбібліотеці: -

1. HGET => hget
2. HSET => hset
3. HMGET => hmget
4. HMSET => hmset
5. HGETALL => hgetall

Усі вищезазначені методи сеттера створюють відображення, якщо воно не існує. Усі вищезазначені методи отримання не викликають помилок / винятків, якщо mapping / ключ у mapping не існує.

Example:
=======
In [98]: import redis
In [99]: conn = redis.Redis('localhost')

In [100]: user = {"Name":"Pradeep", "Company":"SCTL", "Address":"Mumbai", "Location":"RCP"}

In [101]: con.hmset("pythonDict", {"Location": "Ahmedabad"})
Out[101]: True

In [102]: con.hgetall("pythonDict")
Out[102]:
{b'Address': b'Mumbai',
 b'Company': b'SCTL',
 b'Last Name': b'Rajpurohit',
 b'Location': b'Ahmedabad',
 b'Name': b'Mangu Singh'}

In [103]: con.hmset("pythonDict", {"Location": "Ahmedabad", "Company": ["A/C Pri
     ...: sm", "ECW", "Musikaar"]})
Out[103]: True

In [104]: con.hgetall("pythonDict")
Out[104]:
{b'Address': b'Mumbai',
 b'Company': b"['A/C Prism', 'ECW', 'Musikaar']",
 b'Last Name': b'Rajpurohit',
 b'Location': b'Ahmedabad',
 b'Name': b'Mangu Singh'}

In [105]: con.hget("pythonDict", "Name")
Out[105]: b'Mangu Singh'

In [106]: con.hmget("pythonDict", "Name", "Location")
Out[106]: [b'Mangu Singh', b'Ahmedabad']

Сподіваюся, це робить речі більш зрозумілими.

Якщо ви хочете зберегти python dict в redis, краще зберігати його як рядок json.

import redis

r = redis.StrictRedis(host='localhost', port=6379, db=0)
mydict = { 'var1' : 5, 'var2' : 9, 'var3': [1, 5, 9] }
rval = json.dumps(mydict)
r.set('key1', rval)

Під час отримання десеріалізуйте його за допомогою json.loads

data = r.get('key1')
result = json.loads(data)
arr = result['var3']

Що можна сказати про типи (наприклад, байти), які не серіалізовані функціями json?

Ви можете писати функції кодера / декодера для типів, які не можуть бути серіалізовані функціями json. напр. запис функції кодування / декодера base64 / ascii для байтового масиву.

Можна розглянути можливість використання MessagePack, який схвалений Redis.

import msgpack

data = {
    'one': 'one',
    'two': 2,
    'three': [1, 2, 3]
}

await redis.set('my-key', msgpack.packb(data))
val = await redis.get('my-key')
print(msgpack.unpackb(val))

# {'one': 'one', 'two': 2, 'three': [1, 2, 3]}

Використання msgpack-python та aioredis

Інший спосіб ви можете підійти до цього питання:

import redis
conn = redis.Redis('localhost')

v={'class':'user','grants': 0, 'nome': 'Roberto', 'cognome': 'Brunialti'}

y=str(v)
print(y['nome']) #<=== this return an error as y is actually a string
conn.set('test',y)

z=eval(conn.get('test'))
print(z['nome']) #<=== this really works!

Я не перевіряв його на ефективність / швидкість.

Команда redis SET зберігає рядок, а не довільні дані. Ви можете спробувати використати команду redis HSET для зберігання дикту як хешу redis з чимось подібним

for k,v in my_dict.iteritems():
    r.hset('my_dict', k, v)

але типи даних redis та типи даних python не зовсім узгоджуються. Диктовки Python можуть бути довільно вкладені, але хеш redis вимагатиме, щоб ваше значення було рядком. Інший підхід, який ви можете застосувати, - це перетворити ваші дані python на рядок і зберегти їх у redis, приблизно так

r.set('this_dict', str(my_dict))

а потім, коли ви отримаєте рядок, вам потрібно буде проаналізувати його, щоб відтворити об’єкт python.

HMSET застарілий. Тепер ви можете використовувати HSET зі словником наступним чином:

import redis
r = redis.Redis('localhost')

key = "hashexample" 
queue_entry = { 
    "version":"1.2.3", 
    "tag":"main", 
    "status":"CREATED",  
    "timeout":"30"
    }
r.hset(key,None,None,queue_entry)

Спробуйте rejson-py, який є відносно новим з 2017 року. Подивіться на це вступ .

from rejson import Client, Path

rj = Client(host='localhost', port=6379)

# Set the key `obj` to some object
obj = {
    'answer': 42,
    'arr': [None, True, 3.14],
    'truth': {
        'coord': 'out there'
    }
}
rj.jsonset('obj', Path.rootPath(), obj)

# Get something
print 'Is there anybody... {}?'.format(
    rj.jsonget('obj', Path('.truth.coord'))
)

# Delete something (or perhaps nothing), append something and pop it
rj.jsondel('obj', Path('.arr[0]'))
rj.jsonarrappend('obj', Path('.arr'), 'something')
print '{} popped!'.format(rj.jsonarrpop('obj', Path('.arr')))

# Update something else
rj.jsonset('obj', Path('.answer'), 2.17)

Якщо ви не знаєте точно, як організувати дані в Redis, я провів кілька тестів продуктивності, включаючи аналіз результатів. Словник, яким я користувався ( d ), містив 437.084 ключі (формат md5), і значення цієї форми:

{"path": "G:\tests\2687.3575.json",
 "info": {"f": "foo", "b": "bar"},
 "score": 2.5}

Перший тест (вставка даних у відображення ключа-значення redis):

conn.hmset('my_dict', d)  # 437.084 keys added in 8.98s

conn.info()['used_memory_human']  # 166.94 Mb

for key in d:
    json.loads(conn.hget('my_dict', key).decode('utf-8').replace("'", '"'))
    #  41.1 s

import ast
for key in d:
    ast.literal_eval(conn.hget('my_dict', key).decode('utf-8'))
    #  1min 3s

conn.delete('my_dict')  # 526 ms

Другий тест (вставка даних безпосередньо в клавіші Redis):

for key in d:
    conn.hmset(key, d[key])  # 437.084 keys added in 1min 20s

conn.info()['used_memory_human']  # 326.22 Mb

for key in d:
    json.loads(conn.hgetall(key)[b'info'].decode('utf-8').replace("'", '"'))
    #  1min 11s

for key in d:
    conn.delete(key)
    #  37.3s

Як бачите, у другому тесті потрібно проаналізувати лише значення "інформація", оскільки hgetall (ключ) вже повертає dict, але не вкладений.

І звичайно, найкращим прикладом використання Redis як диктовки python є Перший тест