Як виправити "Об'єктні масиви не можуть бути завантажені, коли дозволити_pickle = False" для функції imdb.load_data ()?

Я намагаюся реалізувати приклад бінарної класифікації за допомогою даних даних IMDb в Google Colab . Я реалізував цю модель раніше. Але коли я спробував це зробити ще раз через кілька днів, він повернув помилку значення: 'Об'єктні масиви не можна завантажувати, коли enable_pickle = False' для функції load_data ().

Я вже намагався вирішити цю проблему, посилаючись на існуючу відповідь на подібну проблему: Як виправити "Об'єктні масиви не можна завантажити, коли enable_pickle = False" в алгоритмі sketch_rnn Але виявляється, що лише додавання аргументу дозволу_pickle недостатньо.

Мій код:

from keras.datasets import imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

Помилка:

ValueError                                Traceback (most recent call last)
<ipython-input-1-2ab3902db485> in <module>()
      1 from keras.datasets import imdb
----> 2 (train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

2 frames
/usr/local/lib/python3.6/dist-packages/keras/datasets/imdb.py in load_data(path, num_words, skip_top, maxlen, seed, start_char, oov_char, index_from, **kwargs)
     57                     file_hash='599dadb1135973df5b59232a0e9a887c')
     58     with np.load(path) as f:
---> 59         x_train, labels_train = f['x_train'], f['y_train']
     60         x_test, labels_test = f['x_test'], f['y_test']
     61 

/usr/local/lib/python3.6/dist-packages/numpy/lib/npyio.py in __getitem__(self, key)
    260                 return format.read_array(bytes,
    261                                          allow_pickle=self.allow_pickle,
--> 262                                          pickle_kwargs=self.pickle_kwargs)
    263             else:
    264                 return self.zip.read(key)

/usr/local/lib/python3.6/dist-packages/numpy/lib/format.py in read_array(fp, allow_pickle, pickle_kwargs)
    690         # The array contained Python objects. We need to unpickle the data.
    691         if not allow_pickle:
--> 692             raise ValueError("Object arrays cannot be loaded when "
    693                              "allow_pickle=False")
    694         if pickle_kwargs is None:

ValueError: Object arrays cannot be loaded when allow_pickle=False

Ось трюк, щоб змусити imdb.load_dataдозволити соління, замінивши цей рядок у своєму блокноті:

(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

цим:

import numpy as np
# save np.load
np_load_old = np.load

# modify the default parameters of np.load
np.load = lambda *a,**k: np_load_old(*a, allow_pickle=True, **k)

# call load_data with allow_pickle implicitly set to true
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

# restore np.load for future normal usage
np.load = np_load_old

Це питання все ще стоїть на keras git. Я сподіваюся, що це буде вирішено якнайшвидше. До цього часу спробуйте зменшити нумеровану версію до 1.16.2. Здається, вирішує проблему.

!pip install numpy==1.16.1
import numpy as np

Ця версія numpy має значення за замовчуванням allow_pickleяк True.

Після цієї проблеми на GitHub офіційним рішенням є редагування файлу imdb.py. Це виправлення спрацювало добре для мене, не потребуючи зменшення нумету. Знайдіть файл imdb.py за адресою tensorflow/python/keras/datasets/imdb.py(повний шлях для мене був: C:\Anaconda\Lib\site-packages\tensorflow\python\keras\datasets\imdb.py- інші установки будуть різними) та змініть рядок 85 відповідно до diff:

-  with np.load(path) as f:
+  with np.load(path, allow_pickle=True) as f:

Причиною змін є безпека для запобігання еквіваленту Python ін'єкції SQL у маринований файл. Зміни, наведені вище, ТОЛЬКО вплинуть на дані imdb, і тому ви збережете безпеку в іншому місці (не зменшуючи нумеру).

Я просто використовував enable_pickle = True як аргумент до np.load (), і він працював на мене.

У моєму випадку працював із:

np.load(path, allow_pickle=True)

Я думаю, що відповідь від cheez ( https://stackoverflow.com/users/122933/cheez ) є найпростішим та найефективнішим. Я хотів би трохи детальніше розглянути його, щоб він не міняв функцію numpy протягом усього періоду сеансу.

Моя пропозиція нижче. Я використовую його для завантаження набору даних Reuters з keras, який показує такий самий вид помилок:

old = np.load
np.load = lambda *a,**k: old(*a,**k,allow_pickle=True)

from keras.datasets import reuters
(train_data, train_labels), (test_data, test_labels) = reuters.load_data(num_words=10000)

np.load = old
del(old)

Ви можете спробувати змінити значення прапора

np.load(training_image_names_array,allow_pickle=True)

жодне з перерахованих вище рішень не працювало для мене: я запускаю анаконду з python 3.7.3. Що для мене працювало

• запустіть "conda install numpy == 1.16.1" з оболонки Anaconda

• закрийте та знову відкрийте зошит

на ноутбуці юпітера за допомогою

np_load_old = np.load

# modify the default parameters of np.load
np.load = lambda *a,**k: np_load_old(*a, allow_pickle=True, **k)

добре працював, але проблема з’являється, коли ви використовуєте цей метод у шпидері (вам доведеться кожного разу перезавантажувати ядро, або ви отримаєте помилку типу:

TypeError: () отримав кілька значень для аргументу ключового слова "enable_pickle"

Я вирішив це питання, використовуючи рішення тут :

Я приземлився тут, випробував твої шляхи і не міг розібратися.

Я фактично працював над заданим кодом де

pickle.load(path)

був використаний, тому я замінив його

np.load(path, allow_pickle=True)

Так, встановлення попередньої версії numpy вирішило проблему.

Для тих, хто використовує PyCharm IDE:

у моєму IDE (Pycharm), File-> Settings-> Interpreter Project: я виявив, що мій номер був 1.16.3, тому я повернувся до 1.16.1. Клацніть + та введіть numpy у пошуку, поставте галочку "вказати версію": 1.16.1 та виберіть -> встановити пакет.

знайти шлях до imdb.py, а потім просто додати прапор до np.load (шлях, ... прапор ...)

    def load_data(.......):
    .......................................
    .......................................
    - with np.load(path) as f:
    + with np.load(path,allow_pickle=True) as f:

Його робота для мене

        np_load_old = np.load
        np.load = lambda *a: np_load_old(*a, allow_pickle=True)
        (x_train, y_train), (x_test, y_test) = reuters.load_data(num_words=None, test_split=0.2)
        np.load = np_load_old

Я знайшов, що TensorFlow 2.0 (я використовую 2.0.0-alpha0) не сумісний з останньою версією Numpy, тобто v1.17.0 (і, можливо, v1.16.5 +). Як тільки TF2 імпортується, він видає величезний список FutureWarning, який виглядає приблизно так:

FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.
  _np_qint8 = np.dtype([("qint8", np.int8, 1)])
/anaconda3/lib/python3.6/site-packages/tensorboard/compat/tensorflow_stub/dtypes.py:541: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.
  _np_qint8 = np.dtype([("qint8", np.int8, 1)])
/anaconda3/lib/python3.6/site-packages/tensorboard/compat/tensorflow_stub/dtypes.py:542: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.
  _np_quint8 = np.dtype([("quint8", np.uint8, 1)])
/anaconda3/lib/python3.6/site-packages/tensorboard/compat/tensorflow_stub/dtypes.py:543: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.

Це також призвело до помилки enable_pickle при спробі завантаження набору даних imdb з керас

Я намагався використати наступне рішення, яке спрацювало чудово, але мені довелося це робити кожен окремий проект, де я імпортував TF2 або tf.keras.

np.load = lambda *a,**k: np_load_old(*a, allow_pickle=True, **k)

Найпростішим рішенням, який я знайшов, було або встановити numpy 1.16.1 у всьому світі, або використовувати сумісні версії tensorflow і numpy у віртуальному середовищі.

Моя мета з цією відповіддю - зазначити, що це не просто проблема з imdb.load_data, а більша проблема, що виникає через несумісність версій TF2 та Numpy і може спричинити за собою багато інших прихованих помилок або проблем.

Tensorflow має виправлення в tf-нічній версії.

!pip install tf-nightly

Поточна версія - 2.0.0-dev20190511.

Відповідь @cheez коли - то не працює і рекурсивно викликати функцію знову і знову. Щоб вирішити цю проблему, слід скопіювати функцію глибоко. Це можна зробити за допомогою функції partial, тож кінцевим кодом є:

import numpy as np
from functools import partial

# save np.load
np_load_old = partial(np.load)

# modify the default parameters of np.load
np.load = lambda *a,**k: np_load_old(*a, allow_pickle=True, **k)

# call load_data with allow_pickle implicitly set to true
(train_data, train_labels), (test_data, test_labels) = 
imdb.load_data(num_words=10000)

# restore np.load for future normal usage
np.load = np_load_old

Я зазвичай не публікую ці речі, але це було дуже дратує. Плутанина пов'язана з тим, що деякі imdb.pyфайли Keras вже оновлені:

with np.load(path) as f:

до версії с allow_pickle=True. Переконайтесь, що перевірте файл imdb.py, щоб побачити, чи ця зміна вже була здійснена. Якщо вона була відрегульована, працює нормально:

from keras.datasets import imdb
(train_text, train_labels), (test_text, test_labels) = imdb.load_data(num_words=10000)

Найпростіший спосіб змінити imdb.pyналаштування , allow_pickle=Trueщоб np.loadв рядку , де imdb.pyкидає помилку.