Керас - Передача навчання - зміна форми вхідного тензора

Цей пост, схоже, вказує на те, що те, що я хочу досягти, неможливо. Однак я не переконаний у цьому - враховуючи те, що я вже зробив, я не бачу, чому того, що я хочу зробити, не можна досягти ...

У мене є два набори даних зображень, де один має зображення форми (480, 720, 3), а інший - зображення форми (540, 960, 3).

Я ініціалізував модель, використовуючи наступний код:

input = Input(shape=(480, 720, 3), name='image_input')

initial_model = VGG16(weights='imagenet', include_top=False)

for layer in initial_model.layers:
    layer.trainable = False

x = Flatten()(initial_model(input))
x = Dense(1000, activation='relu')(x)
x = BatchNormalization()(x)
x = Dropout(0.5)(x)
x = Dense(1000, activation='relu')(x)
x = BatchNormalization()(x)
x = Dropout(0.5)(x)
x = Dense(14, activation='linear')(x)

model = Model(inputs=input, outputs=x)
model.compile(loss='mse', optimizer='adam', metrics=['mae'])

Тепер, коли я тренував цю модель на колишньому наборі даних, я хотів би відкинути вхідний тензорний шар і доповнити модель новим вхідним тензором з формою, що відповідає розмірам зображення останнього набору даних.

model = load_model('path/to/my/trained/model.h5')
old_input = model.pop(0)
new_input = Input(shape=(540, 960, 3), name='image_input')
x = model(new_input)
m = Model(inputs=new_input, outputs=x)
m.save('transfer_model.h5')

що призводить до цієї помилки:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/home/aicg2/.local/lib/python2.7/site-packages/keras/engine/topology.py", line 2506, in save
    save_model(self, filepath, overwrite, include_optimizer)
  File "/home/aicg2/.local/lib/python2.7/site-packages/keras/models.py", line 106, in save_model
    'config': model.get_config()
  File "/home/aicg2/.local/lib/python2.7/site-packages/keras/engine/topology.py", line 2322, in get_config
    layer_config = layer.get_config()
  File "/home/aicg2/.local/lib/python2.7/site-packages/keras/engine/topology.py", line 2370, in get_config
    new_node_index = node_conversion_map[node_key]
KeyError: u'image_input_ib-0'

У публікації, яку я пов’язав, maz зазначає, що існує невідповідність розмірів, яка перешкоджає зміні вхідного шару моделі - якщо це було так, то як я ставлю вхідний шар (480, 720, 3) спереду моделі VGG16, яка очікує (224, 224, 3) зображення?

Я думаю, що більш ймовірним питанням є те, що вихід моєї колишньої моделі очікує щось інше, ніж те, що я їй даю, виходячи з того, що говорить у цій публікації fchollet . Я синтаксично розгублений, але я вважаю, що весь x = Layer()(x)сегмент будує шар за шматочком з вводу-> виведення і просто кидаючи інший вхід спереду, це порушує його.

Я справді не маю уявлення, хоча ...

Може хтось, будь ласка, просвітить мене, як досягти того, що я намагаюся зробити, або, якщо це неможливо, пояснити мені, чому ні?

Це можна зробити, створивши новий екземпляр моделі VGG16 з новою формою введення new_shapeта скопіювавши всі ваги шару. Код орієнтовно

new_model = VGG16(weights=None, input_shape=new_shape, include_top=False)
for new_layer, layer in zip(new_model.layers[1:], model.layers[1:]):
    new_layer.set_weights(layer.get_weights())

Вихідна ширина та висота вихідних розмірів VGGnet є фіксованою частиною вхідної ширини та висоти, оскільки єдині шари, які змінюють ці розміри, - це шари об'єднання. Кількість каналів на виході фіксується на кількість фільтрів останнього згорткового шару. Вирівняний шар змінить це, щоб отримати один вимір з формою:

((input_width * x) * (input_height * x) * channels)

де x - десяткова <1.

Основний момент полягає в тому, що форма вводу в шари Щільна залежить від ширини та висоти вхідних даних для всієї моделі. Введення форми в щільний шар не може змінитися, оскільки це означатиме додавання або видалення вузлів з нейронної мережі.

Одним із способів уникнути цього є використання глобального шару об'єднання, а не згладжування шару (зазвичай GlobalAveragePooling2D). Це знайде середнє значення на канал, що призведе до того, що форма вводу в щільні шари буде просто такою, (channels,)яка не залежить від форми введення для цілу модель.

Після цього жоден з шарів у мережі не залежить від ширини та висоти входу, тому вхідний шар можна змінити чимось на зразок

input_layer = InputLayer(input_shape=(480, 720, 3), name="input_1")
model.layers[0] = input_layer

Ось ще одне рішення, не характерне для моделі VGG.

Зауважте, що ваги щільного шару неможливо скопіювати (і таким чином буде знову ініціалізовано). Це має сенс, адже форма ваг відрізняється в старій і новій моделі.

import keras
import numpy as np

def get_model():
    old_input_shape = (20, 20, 3)
    model = keras.models.Sequential()
    model.add(keras.layers.Conv2D(9, (3, 3), padding="same", input_shape=old_input_shape))
    model.add(keras.layers.MaxPooling2D((2, 2)))
    model.add(keras.layers.Flatten())
    model.add(keras.layers.Dense(1, activation="sigmoid"))
    model.compile(loss='binary_crossentropy', optimizer=keras.optimizers.Adam(lr=0.0001), metrics=['acc'], )
    model.summary()
    return model

def change_model(model, new_input_shape=(None, 40, 40, 3)):
    # replace input shape of first layer
    model._layers[1].batch_input_shape = new_input_shape

    # feel free to modify additional parameters of other layers, for example...
    model._layers[2].pool_size = (8, 8)
    model._layers[2].strides = (8, 8)

    # rebuild model architecture by exporting and importing via json
    new_model = keras.models.model_from_json(model.to_json())
    new_model.summary()

    # copy weights from old model to new one
    for layer in new_model.layers:
        try:
            layer.set_weights(model.get_layer(name=layer.name).get_weights())
        except:
            print("Could not transfer weights for layer {}".format(layer.name))

    # test new model on a random input image
    X = np.random.rand(10, 40, 40, 3)
    y_pred = new_model.predict(X)
    print(y_pred)

    return new_model

if __name__ == '__main__':
    model = get_model()
    new_model = change_model(model)

Це має бути досить легко kerassurgeon. Спочатку потрібно встановити бібліотеку; залежно від того, ви використовуєте Keras через TensorFlow (з tf 2.0 і вище) або Keras як окрему бібліотеку, її потрібно встановлювати різними способами.

Для Кераса в TF: pip install tfkerassurgeon( https://github.com/Raukk/tf-keras-surgeon ). Для самостійного Keras: pip install kerassurgeon( https://github.com/BenWhetton/keras-surgeon )

Щоб замінити вхід (наприклад, TF 2.0; на даний момент неперевірений код):

from tensorflow import keras  # or import keras for standalone version
from tensorflow.keras.layers import Input

model = load_model('path/to/my/trained/model.h5')
new_input = Input(shape=(540, 960, 3), name='image_input')

# or kerassurgeon for standalone Keras
from tfkerassurgeon import delete_layer, insert_layer

model = delete_layer(model.layers[0])
# inserts before layer 0
model = insert_layer(model.layers[0], new_input)

Відповідь @gebbissimo працювала для мене в TF2 за допомогою лише невеликих адаптацій, якими я ділюсь нижче в одній функції:

def change_input_size(model,h,w,ch=3):
   model._layers[0]._batch_input_shape = (None,h,w,ch)
   new_model = keras.models.model_from_json(model.to_json())
   new_model.summary()
   for layer,new_layer in zip(model.layers,new_model.layers):
      new_layer.set_weights(layer.get_weights())
   return new_model

Так я змінюю розмір вводу в моделі Keras. У мене є дві моделі CNN, одна з розміром вхідного сигналу [None, None, 3], а друга має розмір вводу [512,512,3]. Обидві моделі мають однакові ваги. За допомогою set_weights (model.get_weights ()) ваги моделі 1 можна перенести на модель 2

inputs = Input((None, None, 3))
.....
model = Model(inputs=[inputs], outputs=[outputs])
model.compile(optimizer='adam', loss='mean_squared_error')
model.load_weights('my_model_name.h5')

inputs2 = Input((512, 512, 3))
....
model2 = Model(inputs=[inputs2], outputs=[outputs])
model2.compile(optimizer='adam', loss='mean_squared_error')
model2.set_weights(model.get_weights())