Запитання з тегом «online»

Яка різниця між офлайн і онлайн-навчанням ? Це лише питання навчання за всім набором даних (офлайн) порівняно з навчанням поступово (по одному екземпляру)? Які приклади алгоритмів використовуються в обох?

38 machine-learning  online 

Документ "Точне обчислення дисперсії бігу" на веб- сайті http://www.johndcook.com/standard_deviation.html показує, як обчислити середнє, дисперсійне та стандартне відхилення. Чи існують алгоритми, де параметри лінійної або логістичної регресійної моделі можуть аналогічно "динамічно" оновлюватися, коли надається кожен новий запис навчання?

32 regression  logistic  online 

Останнім часом я працюю з великими наборами даних і знайшов чимало паперів потокових методів. Назвати декілька: Слідкуйте за регульованим лідером та дзеркальним походженням: теорії еквівалентності та регуляризація L1 ( http://jmlr.org/proceedings/papers/v15/mcmahan11b/mcmahan11b.pdf ) Потокове навчання: однопрохідні SVM ( http://www.umiacs.umd.edu/~hal/docs/daume09onepass.pdf ) Pegasos: Первинна оцінка під-GrAdient SOlver для SVM http://ttic.uchicago.edu/~nati/Publications/PegasosMPB.pdf або тут: Чи може …

25 machine-learning  references  large-data  online 

У мене є масив з реальних значень, який має середнє значення та стандартне відхилення . Якщо елемент масиву буде замінений іншим елементом , тоді буде нове значенняnnnμoldμold\mu_{old}σoldσold\sigma_{old}xixix_ixjxjx_j μnew=μold+xj−xinμnew=μold+xj−xin\mu_{new}=\mu_{old}+\frac{x_j-x_i}{n} Перевага цього підходу полягає в тому, що він вимагає постійних обчислень незалежно від значення . Чи є якийсь підхід для обчислення використовуючи …

16 standard-deviation  online 

У мене є невелика проблема, яка змушує мене лякатися. Я маю написати процедуру онлайн-процесу придбання багатовимірного часового ряду. Кожен проміжок часу (наприклад, 1 секунда) я отримую новий зразок, який в основному є вектором з плаваючою точкою розміром N. Операція, яку я повинен зробити, є трохи хитрою: Для кожного нового зразка …

16 algorithms  quantiles  online  large-data 

Зараз я читаю статтю « Ефективне навчання в режимі он-лайн та пакетне навчання», використовуючи розділення «Вперед-назад», розроблені Джоном Дючі та Йорамом Зінгер. Мене дуже бентежить використання термінів "Інтернет" та "Пакет". Я подумав, що "Інтернет" означає, що ми оновлюємо вагові параметри після обробки однієї одиниці даних тренувань. Потім ми використовуємо нові …

16 machine-learning  online  gradient-descent 

Загальне запитання Скажімо, у нас є потокові дані x1x1x_1 , , ... . Ми хочемо рекурсивно обчислити максимальну оцінку ймовірності . Тобто, обчисливши \ hat {\ boldsymbol {\ theta}} _ {n-1} = \ underset {\ boldsymbol {\ theta} \ in \ mathbb {R} ^ p} {\ arg \ max} \ …

15 maximum-likelihood  online 

Існують добре відомі он-лайн формули для обчислення експоненціально зважених ковзних середніх значень і стандартних відхилень процесу (xn)n=0,1,2,…(xn)n=0,1,2,…(x_n)_{n=0,1,2,\dots} . У середньому, μn=(1−α)μn−1+αxnμn=(1−α)μn−1+αxn\mu_n = (1-\alpha) \mu_{n-1} + \alpha x_n і для дисперсії σ2n=(1−α)σ2n−1+α(xn−μn−1)(xn−μn)σn2=(1−α)σn−12+α(xn−μn−1)(xn−μn)\sigma_n^2 = (1-\alpha) \sigma_{n-1}^2 + \alpha(x_n - \mu_{n-1})(x_n - \mu_n) з якого можна обчислити стандартне відхилення. Чи існують подібні формули …

15 moments  online  kurtosis 

Скажімо, у мене є класифікатор логістичної регресії. У звичайному серійному навчанні я мав би термін регуляризатора, щоб запобігти надягання і зберегти ваги невеликими. Я б також нормалізував і масштабував свої функції. У режимі онлайн-навчання я отримую безперервний потік даних. Я оновлюю градієнтне зменшення з кожним прикладом, а потім відкидаю його. …

15 machine-learning  normalization  regularization  online 

Я використовував термін "кейс Хейвуд" дещо неофіційно для позначення ситуацій, коли в Інтернеті, "обмежена відповідь", ітеративно оновлена ​​оцінка дисперсії стала негативною через числові проблеми з точністю. (Я використовую варіант методу Велфорда для додавання даних та видалення старих даних.) Я мав враження, що він застосовується до будь-якої ситуації, коли оцінка дисперсії …

15 variance  factor-analysis  definition  online 

Мені потрібно обчислювати квартілі (Q1, медіану та Q3) у реальному часі на великому наборі даних, не зберігаючи спостереження. Я спершу спробував алгоритм P-квадратів (Jain / Chlamtac), але я його не задовольнив (трохи занадто багато використання процесора і не переконаний у точності принаймні на моєму наборі даних). Зараз я використовую алгоритм …

13 quantiles  median  online 

Чи може хтось вказати мені в напрямку онлайн (рекурсивного) алгоритму регуляризації Тихонова (регуляризовані найменші квадрати)? У режимі офлайн я б обчислював β^=(XTX+λI)−1XTYβ^=(XTX+λI)−1XTY\hat\beta=(X^TX+λI)^{−1}X^TY використовуючи свій оригінальний набір даних, де λλλ знайдено за допомогою n-кратної перехресної перевірки. Нове значення yyy можна передбачити для даного xxx використовуючи y=xTβ^y=xTβ^y=x^T\hat\beta . В онлайн-налаштуваннях я постійно …

12 regression  machine-learning  least-squares  regularization  online 

На це надихнула Ефективна лінійна регресія в Інтернеті , що мені здалося дуже цікавою. Чи є тексти чи ресурси, присвячені великомасштабним статистичним обчисленням, за допомогою яких обчислення з наборами даних занадто великі, щоб вміститися в основній пам'яті, і, можливо, занадто різноманітні, щоб ефективно підпробовувати. Наприклад, чи можна встановити моделі змішаних …

12 online  computing  references 

Останнім часом я намагаюся дізнатися більше про онлайн-навчання (це абсолютно захоплююче!), І одна тема, яку мені не вдалося зрозуміти, - як думати про вибір моделі в офлайні та в Інтернеті. В Зокрема, припустимо , що ми тренуємо класифікатор в автономному режимі, на основі деякого фіксованого набору даних . Скажімо, його …

11 machine-learning  model-selection  online 

Я хочу здійснити поступову регресію процесу гауса, використовуючи розсувне вікно над точками даних, які надходять по черзі через потік. Дозволяє гddпозначають розмірність вхідного простору. Отже, кожен пункт даниххixix_i має гdd кількість елементів. Дозволяє нnn бути розміром розсувного вікна. Для того, щоб робити прогнози, мені потрібно обчислити зворотну грамматрицю КKK, де …

11 regression  covariance  gaussian-process  linear-algebra  online