Запитання з тегом «gradient-descent»

Я читав, що алгоритм k-означає сходиться лише до локального мінімуму, а не до глобального мінімуму. Чому це? Я логічно можу подумати про те, як ініціалізація могла б вплинути на остаточну кластеризацію, і існує можливість субоптимальної кластеризації, але я не знайшов нічого, що це математично доведе. Крім того, чому k - …

17 clustering  k-means  convergence  gradient-descent  minimum 

Стандартний градієнт спуск обчислює градієнт для всього навчального набору даних. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Для заздалегідь визначеної кількості епох спочатку обчислюємо градієнтний вектор weights_grad функції втрат для всього набору даних із параметрами вектора параметрів. Стохастичний градієнтний спуск, навпаки, …

16 machine-learning  optimization  gradient-descent  computational-statistics  sgd 

Які плюси і мінуси обох методів?

16 maximum-likelihood  predictive-models  optimization  gradient-descent 

Зараз я читаю статтю « Ефективне навчання в режимі он-лайн та пакетне навчання», використовуючи розділення «Вперед-назад», розроблені Джоном Дючі та Йорамом Зінгер. Мене дуже бентежить використання термінів "Інтернет" та "Пакет". Я подумав, що "Інтернет" означає, що ми оновлюємо вагові параметри після обробки однієї одиниці даних тренувань. Потім ми використовуємо нові …

16 machine-learning  online  gradient-descent 

Я трохи експериментував з різними реалізаціями Perceptron і хочу переконатися, чи правильно я розумію "ітерації". Первісне правило персептрона Розенблатта Наскільки я розумію, в класичному алгоритмі Розенблатта ваги одночасно оновлюються після кожного прикладу тренувань через Δw(t+1)=Δw(t)+η(target−actual)xiΔw(t+1)=Δw(t)+η(target−actual)xi\Delta{w}^{(t+1)} = \Delta{w}^{(t)} + \eta(target - actual)x_i де - це правило навчання. І цільове, і фактичне …

15 optimization  gradient-descent  perceptron 

Коли я реалізував пристойний міні-градієнт градієнта, я просто усереднював градієнти всіх прикладів у навчальній партії. Однак я помітив, що зараз оптимальна швидкість навчання набагато вища, ніж для онлайн-градієнтів пристойних. Моя інтуїція полягає в тому, що це тому, що усереднений градієнт менш шумний, і тому він може дотримуватися швидше. Тож, можливо, …

15 neural-networks  gradient-descent  backpropagation 

Я багато читав про нейромережі, що розвиваються, і цікавився, як вони уникають проблеми градієнта, що зникає. Я знаю, що мережі глибокої віри складають однорівневі автокодери або інші заздалегідь підготовлені неглибокі мережі, і таким чином можна уникнути цієї проблеми, але я не знаю, як цього уникнути в CNN. За даними Вікіпедії …

15 machine-learning  optimization  deep-learning  gradient-descent 

Література поглибленого вивчення повна розумних хитрощів із використанням непостійних темпів навчання в градієнтному узвозі. Такі речі, як експоненціальний розпад, RMSprop, Adagrad тощо, легко здійснити і доступні у кожному глибокому навчальному пакеті, проте вони, як видається, не існують поза нейронних мереж. Чи є для цього причина? Якщо люди просто не хвилюються, …

14 machine-learning  deep-learning  optimization  gradient-descent 

Наразі я трохи здивований тим, як міні-пакетний градієнтний спуск може бути захоплений у точці сідла. Рішення може бути занадто банальним, щоб я його не розумів. Ви отримуєте новий зразок кожної епохи, і він обчислює нову помилку на основі нової партії, тому функція витрат є лише статичною для кожної партії, що …

14 gradient-descent  sgd 

Я використовую vowpal wabbit для вирішення контекстно-бандитської проблеми . Я показую рекламу користувачам, і я маю досить небагато інформації про контекст, у якому відображається реклама (наприклад, хто такий користувач, на якому веб-сайті вони перебувають тощо). Це, здається, є досить класичною контекстуальною бандитською проблемою, як описав Джон Ленгфорд . У моїй …

14 multinomial  gradient-descent  multiarmed-bandit  vowpal-wabbit  contextual-bandit 

Я переглядаю відеозаписи на безкоштовному онлайн-курсі машинного навчання Ендрю Нґ в Стенфорді. Він розглядає спуск градієнта як алгоритм вирішення лінійної регресії та функції запису в Octave для його виконання. Імовірно, я міг би переписати ці функції в R, але моє запитання: чи функція lm () вже не дає мені вихід …

14 r  regression  machine-learning  gradient-descent 

Скажімо, наш набір даних містить 1 мільйон прикладів, тобто , і ми хочемо використовувати спуск градієнта для виконання логістичної або лінійної регресії на цих наборах даних.х1, … , Х106x1,…,x106x_1, \ldots, x_{10^6} Що це з методом градієнтного спуску робить його неефективним? Нагадаємо, що крок градієнта спуску в момент часу задається:тtt шt …

13 machine-learning  gradient-descent  large-data 

Нещодавно я прочитав статтю Янна Дофіна та ін. Виявлення та атака проблеми сідлових точок у великомірній невипуклій оптимізації , де вони запроваджують цікавий алгоритм спуску під назвою Ньютон , що не є сідлом , який, здається, є спеціально розробленим для оптимізації нейронної мережі і не повинен страждати від застрявання в …

13 optimization  deep-learning  gradient-descent 

Намагаюся вивчити деякі Python та Sklearn, але для своєї роботи мені потрібно запустити регресії, які використовують розподіл помилок із сімей Пуассона, Гамми та особливо Tweedie. Я нічого не бачу в документації про них, але вони знаходяться в декількох частинах розподілу R, тому мені було цікаво, чи хтось бачив реалізацію для …

13 generalized-linear-model  python  scikit-learn  gradient-descent  tweedie-distribution 

Чи є література, яка вивчає вибір розміру міні-партії при виконанні стохастичного градієнтного спуску? На мій досвід, це здається, що це емпіричний вибір, який зазвичай виявляється шляхом перехресної перевірки або з використанням різних правил. Це гарна ідея повільно збільшувати розмір міні-партії, оскільки зменшується помилка перевірки? Які наслідки це матиме на помилку …

13 machine-learning  gradient-descent  hyperparameter  deep-learning