JSON-серіалізація моделей Google App Engine

Я вже давно шукаю успіху. У моєму проекті не використовується Django, чи існує простий спосіб серіалізації моделей App Engine (google.appengine.ext.db.Model) у JSON або мені потрібно написати власний серіалізатор?

Модель:

class Photo(db.Model):
    filename = db.StringProperty()
    title = db.StringProperty()
    description = db.StringProperty(multiline=True)
    date_taken = db.DateTimeProperty()
    date_uploaded = db.DateTimeProperty(auto_now_add=True)
    album = db.ReferenceProperty(Album, collection_name='photo')

Проста рекурсивна функція може бути використана для перетворення сутності (та будь-яких референтів) у вкладений словник, який можна передати simplejson:

import datetime
import time

SIMPLE_TYPES = (int, long, float, bool, dict, basestring, list)

def to_dict(model):
    output = {}

    for key, prop in model.properties().iteritems():
        value = getattr(model, key)

        if value is None or isinstance(value, SIMPLE_TYPES):
            output[key] = value
        elif isinstance(value, datetime.date):
            # Convert date/datetime to MILLISECONDS-since-epoch (JS "new Date()").
            ms = time.mktime(value.utctimetuple()) * 1000
            ms += getattr(value, 'microseconds', 0) / 1000
            output[key] = int(ms)
        elif isinstance(value, db.GeoPt):
            output[key] = {'lat': value.lat, 'lon': value.lon}
        elif isinstance(value, db.Model):
            output[key] = to_dict(value)
        else:
            raise ValueError('cannot encode ' + repr(prop))

    return output

Це найпростіше рішення, яке я знайшов. Для цього потрібно лише 3 рядки кодів.

Просто додайте метод до своєї моделі, щоб повернути словник:

class DictModel(db.Model):
    def to_dict(self):
       return dict([(p, unicode(getattr(self, p))) for p in self.properties()])

SimpleJSON тепер працює належним чином:

class Photo(DictModel):
   filename = db.StringProperty()
   title = db.StringProperty()
   description = db.StringProperty(multiline=True)
   date_taken = db.DateTimeProperty()
   date_uploaded = db.DateTimeProperty(auto_now_add=True)
   album = db.ReferenceProperty(Album, collection_name='photo')

from django.utils import simplejson
from google.appengine.ext import webapp

class PhotoHandler(webapp.RequestHandler):
   def get(self):
      photos = Photo.all()
      self.response.out.write(simplejson.dumps([p.to_dict() for p in photos]))

В останньому (1.5.2) випуску App Engine SDK to_dict()була введена функція, яка перетворює екземпляри моделей у словники db.py. Див Примітки випуску .

Наразі в документації немає посилань на цю функцію, але я спробував її сам, і вона працює, як очікувалося.

Щоб серіалізувати моделі, додайте власний кодер json, як у наступному python:

import datetime
from google.appengine.api import users
from google.appengine.ext import db
from django.utils import simplejson

class jsonEncoder(simplejson.JSONEncoder):
    def default(self, obj):
        if isinstance(obj, datetime.datetime):
            return obj.isoformat()

        elif isinstance(obj, db.Model):
            return dict((p, getattr(obj, p)) 
                        for p in obj.properties())

        elif isinstance(obj, users.User):
            return obj.email()

        else:
            return simplejson.JSONEncoder.default(self, obj)


# use the encoder as: 
simplejson.dumps(model, cls=jsonEncoder)

Це буде кодувати:

• дату як рядок ізоформату ( відповідно до цієї пропозиції ),
• модель як вираз її властивостей,
• користувач як електронну пошту.

Для декодування дати ви можете використовувати цей javascript:

function decodeJsonDate(s){
  return new Date( s.slice(0,19).replace('T',' ') + ' GMT' );
} // Note that this function truncates milliseconds.

Примітка: Дякуємо користувачеві pydave, який відредагував цей код, щоб зробити його більш читабельним. Спочатку я використовував вирази if / else python для вираження jsonEncoderменшою кількістю рядків таким чином: (Я додав кілька коментарів і використовував google.appengine.ext.db.to_dict, щоб зробити це зрозумілішим за оригінал.)

class jsonEncoder(simplejson.JSONEncoder):
  def default(self, obj):
    isa=lambda x: isinstance(obj, x) # isa(<type>)==True if obj is of type <type>
    return obj.isoformat() if isa(datetime.datetime) else \
           db.to_dict(obj) if isa(db.Model) else \
           obj.email()     if isa(users.User) else \
           simplejson.JSONEncoder.default(self, obj)

Вам не потрібно писати власний "синтаксичний аналізатор" (парсер, мабуть, перетворить JSON на об'єкт Python), але ви все одно можете серіалізувати свій об'єкт Python самостійно.

Використання simplejson :

import simplejson as json
serialized = json.dumps({
    'filename': self.filename,
    'title': self.title,
    'date_taken': date_taken.isoformat(),
    # etc.
})

У простих випадках мені подобається підхід, який пропонується тут у кінці статті:

  # after obtaining a list of entities in some way, e.g.:
  user = users.get_current_user().email().lower();
  col = models.Entity.gql('WHERE user=:1',user).fetch(300, 0)

  # ...you can make a json serialization of name/key pairs as follows:
  json = simplejson.dumps(col, default=lambda o: {o.name :str(o.key())})

Стаття також містить, на іншому кінці спектра, складний клас серіалізатора, який збагачує django (і вимагає _meta- не впевнений, чому ви отримуєте помилки про відсутність _meta, можливо, тут описану помилку ) з можливістю серіалізації обчислених властивості / методи. Велику частину часу ваші потреби в серіалізації лежать десь посередині, і для них може бути кращим інтроспективний підхід, такий як @David Wilson.

Навіть якщо ви не використовуєте django як фреймворк, ці бібліотеки все одно доступні для використання.

from django.core import serializers
data = serializers.serialize("xml", Photo.objects.all())

Якщо ви використовуєте app-engine-patch, він автоматично оголосить _metaатрибут для вас, і тоді ви зможете використовуватиdjango.core.serializers як зазвичай, у моделях django (як у коді sledge).

App-engine-patch має деякі інші цікаві функції, такі як гібридна аутентифікація (django + акаунти google), і адміністративна частина django працює.

Відповідь Мтгреда для мене чудово спрацювала - я трохи її змінив, щоб я міг також отримати ключ для вступу. Не так мало рядків коду, але це дає мені унікальний ключ:

class DictModel(db.Model):
def to_dict(self):
    tempdict1 = dict([(p, unicode(getattr(self, p))) for p in self.properties()])
    tempdict2 = {'key':unicode(self.key())}
    tempdict1.update(tempdict2)
    return tempdict1

Я розширив клас JSON Encoder, написаний dpatru, для підтримки:

• Властивості результатів запиту (наприклад, car.owner_set)
• ReferenceProperty - рекурсивно перетворити його в JSON

• Властивості фільтрації - verbose_nameу JSON кодуються лише властивості з a

  class DBModelJSONEncoder(json.JSONEncoder):
      """Encodes a db.Model into JSON"""
  
      def default(self, obj):
          if (isinstance(obj, db.Query)):
              # It's a reference query (holding several model instances)
              return [self.default(item) for item in obj]
  
          elif (isinstance(obj, db.Model)):
              # Only properties with a verbose name will be displayed in the JSON output
              properties = obj.properties()
              filtered_properties = filter(lambda p: properties[p].verbose_name != None, properties)
  
              # Turn each property of the DB model into a JSON-serializeable entity
              json_dict = dict([(
                      p,
                      getattr(obj, p)
                          if (not isinstance(getattr(obj, p), db.Model))
                          else
                      self.default(getattr(obj, p)) # A referenced model property
                  ) for p in filtered_properties])
  
              json_dict['id'] = obj.key().id() # Add the model instance's ID (optional - delete this if you do not use it)
  
              return json_dict
  
          else:
              # Use original JSON encoding
              return json.JSONEncoder.default(self, obj)
  

Як згадується https://stackoverflow.com/users/806432/fredva , to_dict працює чудово. Ось мій код, який я використовую.

foos = query.fetch(10)
prepJson = []

for f in foos:
  prepJson.append(db.to_dict(f))

myJson = json.dumps(prepJson))

Існує метод "Model.properties ()", визначений для всіх класів Model. Він повертає дікт, який ви шукаєте.

from django.utils import simplejson
class Photo(db.Model):
  # ...

my_photo = Photo(...)
simplejson.dumps(my_photo.properties())

Див. Властивості моделі в документації.

Ці API (google.appengine.ext.db) більше не рекомендуються. Програми, які використовують ці API, можуть працювати лише в середовищі виконання App Engine Python 2, і перед переходом до середовища виконання App Engine Python 3 їм потрібно буде перейти на інші API та служби. Щоб дізнатись більше: натисніть тут

Для серіалізації екземпляра моделі сховища даних ви не можете використовувати json.dumps (не тестував, але Лоренцо на це вказав). Можливо, в майбутньому буде працювати наступне.

http://docs.python.org/2/library/json.html

import json
string = json.dumps(['foo', {'bar': ('baz', None, 1.0, 2)}])
object = json.loads(self.request.body)