Як отримати прогнози за допомогою predict_generator на потокових тестових даних у Керасі?

У блозі Кераса, який навчає коннетів з нуля , код показує лише мережу, що працює на даних про навчання та перевірку. Що з тестовими даними? Чи збігаються дані перевірки як дані тестування (я думаю, що ні). Якщо в папках поїзда та валідації була окрема тестова папка, схожа на теки поїздів та перевірки, то як нам отримати матрицю плутанини для тестових даних. Я знаю, що для цього нам потрібно використовувати scikit learn або якийсь інший пакет, але як я можу щось отримати відповідно до класу розумних ймовірностей для тестових даних? Я сподіваюся використовувати це для матриці плутанини.

Щоб отримати матрицю плутанини з тестових даних, слід пройти два кроки:

1. Робіть прогнози для даних тесту

Наприклад, використовуйте model.predict_generatorдля прогнозування перших 2000 ймовірностей з тестового генератора.

generator = datagen.flow_from_directory(
        'data/test',
        target_size=(150, 150),
        batch_size=16,
        class_mode=None,  # only data, no labels
        shuffle=False)  # keep data in same order as labels

probabilities = model.predict_generator(generator, 2000)

2. Обчисліть матрицю плутанини на основі прогнозів міток

Наприклад, порівняйте ймовірність із випадком, що тут відповідно 1000 котів та 1000 собак.

from sklearn.metrics import confusion_matrix

y_true = np.array([0] * 1000 + [1] * 1000)
y_pred = probabilities > 0.5

confusion_matrix(y_true, y_pred)

Додаткова примітка щодо даних випробувань та перевірки

Документація Keras використовує три різні набори даних: дані про навчання, дані валідації та дані тесту. Дані тренінгу використовуються для оптимізації параметрів моделі. Дані перевірки використовуються для вибору мета-параметрів, наприклад, кількості епох. Після оптимізації моделі з оптимальними мета-параметрами тестові дані використовуються для отримання справедливої ​​оцінки продуктивності моделі.

Ось код, який я спробував і працював для мене:

pred= model.predict_generator(validation_generator, nb_validation_samples // batch_size)
predicted_class_indices=np.argmax(pred,axis=1)
labels = (validation_generator.class_indices)
labels2 = dict((v,k) for k,v in labels.items())
predictions = [labels[k] for k in predicted_class_indices]
print(predicted_class_indices)
print (labels)
print (predictions)

Потім ви можете використовувати:

print (confusion matrix(predicted_class_indices,labels)

Переконайтеся, що ви використовуєте shuffle=Falseу своєму тестовому генераторі (у моєму випадку це генератор валідації) та скиньте його за допомогою, validation_generator.reset()перш ніж робити свої прогнози.

Для матриці плутанини вам потрібно використовувати пакет sklearn. Я не думаю, що Керас може надати матрицю плутанини. Для прогнозування значень тестового набору просто зателефонуйте методу model.predict () для створення прогнозів для тестового набору. Тип вихідних значень залежить від типу вашої моделі, тобто або дискретних чи ймовірних.