Співвідношення між швидкістю навчання та кількістю прихованих шарів?

Чи є якесь правило між глибиною нейронної мережі та швидкістю навчання? Я помічав, що чим глибше мережа, тим нижчим повинен бути рівень навчання.

Якщо це правильно, чому це так?

На це питання відповіли тут:

Якщо нейронні мережі повинні бути якимось чином пропорційними розмірам прихованого шару? Чи повинні вони впливати один на одного?

Коротка відповідь - так, стосунки є. Хоча співвідношення не таке тривіальне, все, що я можу вам сказати, те, що ви бачите, це те, що поверхня оптимізації стає складнішою, оскільки кількість прихованих шарів збільшується, тому менші показники навчання загалом кращі. Хоча застрягання в локальних мінімумах - це можливість з низькою швидкістю навчання, але це набагато краще, ніж складна поверхня і висока швидкість навчання.