Чи слід брати зразки тренувань випадковим чином для міні-пакетних навчальних нейронних мереж без заміни?

Ми визначаємо епоху як пройшла всю сукупність усіх доступних навчальних зразків, а розмір міні-партії - кількість зразків, за яку ми в середньому знаходимо оновлення ваг / зміщення, необхідних для спуску градієнта.

Моє запитання - чи слід ми не замінювати з набору навчальних прикладів, щоб генерувати кожну міні-серію в епоху. Я відчуваю, що нам слід уникати заміни, щоб переконатися, що ми насправді "намалюємо всі зразки", щоб відповідати вимогам кінця епохи, але у мене виникають проблеми з тим чи іншим способом остаточної відповіді.

Я спробував гугла і читав Ч. 1 з нейронних мереж Нільсена та глибокого навчання, але не знайшов чіткої відповіді. У цьому тексті Нільсен не вказує, що випадкову вибірку робити без заміни, але, мабуть, це означає, що вона є.

Більш чітку формалізацію навчання в епохи можна знайти за бажанням - /stats//a/141265/131630

Редагувати: це питання мені здалося схожим, але було незрозуміло, як застосувати той факт, що лінійність очікувань байдужа до незалежності до цієї ситуації - Якщо вибірка повинна відбуватися з заміною або без неї

Хороший теоретичний аналіз схем заміни із та без них у контексті ітеративних алгоритмів, заснованих на випадкових малюнках (на скільки навчаються дискримінаційні глибокі нейронні мережі (ДНН)), можна знайти тут

Коротше кажучи, виявляється, що вибірка без заміни призводить до більш швидкої конвергенції, ніж вибірка з заміною.

Я дам тут короткий аналіз на основі прикладу іграшки, який вони надають: Скажімо, ми хочемо оптимізувати наступну цільову функцію:

$$x_{\text{opt}} = \underset{x}{\arg\min} \frac{1}{2} \sum_{i=1}^{N}(x - y_i)^2$$

де ціль . У цьому прикладі ми намагаємось вирішити для оптимального x , враховуючи N міток y i, очевидно.$y_i \sim \mathcal{N}(\mu, \sigma^2)$$x$$N$$y_i$

Гаразд, так якби ми вирішили для оптимального у вищенаведеному безпосередньо, то ми взяли б тут похідну функції втрати, встановимо її 0 і вирішимо для x . Отже, для нашого прикладу вище, втрата є$x$$x$

$$L = \frac{1}{2} \sum_{i=1}^{N}(x - y_i)^2$$

і її першою похідною буде:

$$\frac{\delta L}{\delta x} = \sum_{i=1}^{N}(x - y_i)$$

Встановлення до 0 і розв'язуючи дляx, виходить:$\frac{\delta L}{\delta x}$$x$

$$x_{\text{opt}} = \frac{1}{N} \sum_{i=1}^{N} y_i$$

Іншими словами, оптимальне рішення - це не що інше, як середнє значення вибірки для всіх зразків y .$N$$y$

Тепер, якщо ми не могли б виконати вищезазначені обчислення відразу, нам доведеться це робити рекурсивно за допомогою рівняння оновлення градієнта спуску нижче:

$$x_i = x_{i-1} - \lambda_i \nabla(f(x_{i-1}))$$

а просто вставляючи наші умови сюди, це дає:

$$x_{i} = x_{i-1} - \lambda_i (x_{i-1} - y_{i})$$

Якщо ми запустимо вище для всіх , тоді ми ефективно виконуємо це оновлення без заміни. Тоді виникає питання, чи можемо ми отримати таким чином оптимальне значення x ? (Пам'ятайте, що оптимальне значення x - це не що інше, як середнє значення вибірки y ). Відповідь - так, якщо дозволити λ i = 1 / i . Щоб побачити, це ми розширюємо:$i \in {1, 2, ... N}$$x$$x$$y$$\lambda_i = 1/i$

$$x_{i} = x_{i-1} - \lambda_i (x_{i-1} - y_{i}) \\\ x_{i} = x_{i-1} - \frac{1}{i} (x_{i-1} - y_{i}) \\\ x_{i} = \frac{i x_{i-1} - (x_{i-1} - y_{i})}{i} \\\ x_{i} = \frac{(i - 1)x_{i-1} + y_{i}}{i} \\\ i x_{i} = (i - 1)x_{i-1} + y_{i} \\\ $$

Однак останнє рівняння - це не що інше, як формула для середнього показника! Таким чином, коли ми перебираємо множину з , i = 2 і т. Д., Аж до i = N , ми б виконували свої оновлення без заміни, і наша формула оновлення дає нам оптимальне рішення x , яке є зразок середнього!$i=1$$i=2$$i=N$$x$

$$N x_{N} = (N - 1)x_{N-1} + y_{N} ==> x_N = \frac{1}{N}\sum_{i=1}^{N} y_i = \mu$$

$x_N$$\mu$

$$\mathop{E}\{(x_N - \mu)^2\}$$

що буде позитивним значенням, і цей простий іграшковий приклад можна поширити на більш високі розміри. Це призводить до того, що ми б хотіли виконувати вибірку без заміни як більш оптимальне рішення.

Сподіваюся, це ще більше пояснює це!

Згідно з кодом у сховищі Nielsen, міні-партії оформляються без заміни:

    def SGD(self, training_data, epochs, mini_batch_size, eta, test_data=None):
    n = len(training_data)
    for j in range(epochs):
            random.shuffle(training_data)
            mini_batches = [
                training_data[k:k+mini_batch_size]
                for k in range(0, n, mini_batch_size)
            ]
            for mini_batch in mini_batches:
                self.update_mini_batch(mini_batch, eta)

Ми можемо бачити, що в епоху не відбувається заміни навчальних зразків. Цікаво, що ми також можемо побачити, що Nielsen вирішує не турбуватися про коригування eta(ступінь навчання) для останнього розміру mini_batch, який може не мати стільки навчальних зразків, як попередні міні-партії. Імовірно, це вдосконалена модифікація, яку він залишає для наступних розділів. **

** EDIT: Власне, таке масштабування відбувається у def update_mini_batchфункції. Наприклад, з гирями:

self.weights = [w-(eta/len(mini_batch))*nw for w, nw in zip(self.weights, nabla_w)]     

Це необхідно, тому що останній mini_batch може бути меншим, ніж попередні mini_batches, якщо кількість навчальних зразків на mini_batch не ділиться рівномірно на загальну кількість наявних навчальних зразків.

mylist = ['1', '2', '3', '4', '5', '6', '7', '8', '9', '10']
n = len(mylist)
mini_batch_size = 2
mini_batches = [
    mylist[k:k+mini_batch_size]
    for k in range(0, n, mini_batch_size)
    ]
for mini_batch in mini_batches:
    print(mini_batch)

Вихід:

['1', '2']
['3', '4']
['5', '6']
['7', '8']
['9', '10']

Зміна mini_batch_sizeдо 3, який не ділиться рівномірно на наших 10 навчальних вибірок. Для виходу ми отримуємо:

['1', '2', '3']
['4', '5', '6']
['7', '8', '9']
['10']

Оцінюючи діапазон над індексами списку (щось із форми, [x:y]де xі yє деякі індекси до списку), якщо наше праворучне значення перевищує довжину списку, python просто повертає елементи зі списку вгору, поки значення не вийде з діапазону індексів .

Таким чином, остання міні-партія може бути меншою, ніж попередні міні-партії, але якщо вона зважена на те саме, etaто ці навчальні зразки сприятимуть більшому навчанню, ніж зразки в інших, більших міні-партіях. Оскільки це лише остання міні-партія, мабуть, надто турбуватися не варто, але її можна легко вирішити, зменшивши etaдовжину міні-партії.