Статистика та великі дані

З підручника " Прогнозування: принципи та практика " Роб Дж Хайндман та Джорджа Атанасопулоса , зокрема розділ про вимірювання точності : Метод прогнозування, що мінімізує MAE, призведе до медіани прогнозів, тоді як мінімізація RMSE призведе до середнього прогнозу Чи може хтось дати інтуїтивне пояснення того, чому мінімізація МАЕ призводить до …

20 forecasting  mean  median  rms  mae 

Я багато часу приділяв розробці методів та програмного забезпечення для перевірки прогнозних моделей у традиційній періодичній статистиці. Втілюючи в життя більше ідей Баєса, я бачу деякі ключові відмінності. По-перше, байєсівське прогностичне моделювання просить аналітика подумати над попередніми розподілами, які можуть бути налаштовані під особливості кандидата, і ці пріори підтягнуть модель …

20 bayesian  cross-validation  predictive-models  validation  regression-strategies 

Які основні відмінності між розрідженими даними та відсутніми даними? І як це впливає на машинне навчання? Більш конкретно, який вплив мають рідкісні та відсутні дані на алгоритми класифікації та тип регресії (прогнозування чисел) алгоритмів. Я говорю про ситуацію, коли відсоток відсутніх даних є значним, і ми не можемо скинути рядки, …

20 machine-learning  dataset  missing-data  sparse 

Нещодавно я виявив, що в літературі з прикладної економетрики, коли вирішуються проблеми вибору особливостей, не рідкість виконувати LASSO з наступною регресією OLS з використанням вибраних змінних. Мені було цікаво, як можна визначити обгрунтованість такої процедури. Чи це спричинить неприємності, такі як опущені змінні? Будь-які докази, що показують, що це ефективніше, …

20 regression  feature-selection  econometrics  least-squares  lasso 

Нещодавно я дізнався, що один із способів пошуку кращих рішень для проблем ML - це створення функцій. Можна зробити це, наприклад підсумувавши дві функції. Наприклад, ми маємо дві особливості «атака» та «захист» якогось героя. Потім ми створюємо додаткову функцію під назвою "загальний", яка є сумою "атаки" та "оборони". Зараз мені …

20 machine-learning  feature-construction 

Я чув почуття, що Джейнес стверджує, що лікарі-оператори працюють з "неявним попереднім". Що це або є ці неявні пріори? Чи означає це, що періодичні моделі - це все особливі випадки байєсівських моделей, які чекають їх пошуку?

20 bayesian  prior  posterior  frequentist 

Інтуїтивно зрозумілим є середнє значення лише середнього рівня спостережень. Різниця полягає в тому, наскільки ці спостереження різняться від середнього значення. Мені хотілося б знати, чому інверсія дисперсії відома як точність. Яку інтуїцію ми можемо зробити з цього? І чому матриця точності настільки ж корисна, як матриця коваріації при багатоваріантному (нормальному) …

20 normal-distribution  multivariate-analysis  terminology  intuition 

У мене є модель глибокої нейронної мережі, і мені потрібно навчити її на моєму наборі даних, який складається з приблизно 100 000 прикладів, мої дані перевірки містять близько 1000 прикладів. Оскільки для навчання кожного прикладу потрібен час (приблизно 0,5 секунди для кожного прикладу) і щоб уникнути перенапруження, я хотів би …

20 neural-networks  deep-learning 

Я намагаюся зрозуміти різні архітектури періодичної нейронної мережі (RNN), які слід застосувати до даних часових рядів, і я дещо плутаюсь з різними іменами, які часто використовуються при описі RNN. Чи структура структури довготривалої пам'яті (LSTM) та рецидивуючого блоку (GU) по суті є RNN з циклом зворотного зв'язку?

20 neural-networks  lstm  rnn 

Ймовірно , це тривіальне питання, але мій пошук був безплідному до сих пір, в тому числі цієї статті в Вікіпедії , і «Compendium розподілів» документ . Якщо XXX має рівномірний розподіл, чи означає це, що слідує за експоненціальним розподілом?eXeXe^X Аналогічно, якщо слідує за експоненціальним розподілом, чи означає це, що слідує …

20 distributions  data-transformation  exponential  uniform 

При навчанні глибоких і неглибоких нейронних мереж, чому градієнтні методи (наприклад, спуск градієнта, Нестеров, Ньютон-Рафсон), зазвичай використовуються, на відміну від інших метагевристів? Під метагевристикою я маю на увазі такі методи, як імітація відпалу, оптимізація колоній мурашок тощо, які були розроблені, щоб уникнути застрявання в локальних мінімумах.

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

Я читаю розділ компрометації дисперсії Елементи статистичного навчання, і я сумніваюся у формулі на сторінці 29. Нехай дані виникають із такої моделі, що Y= f( x ) + ϵY=f(х)+ϵ Y = f(x)+\epsilon де - випадкове число з очікуваним значенням та варіацією . Нехай очікуване значення похибки моделі - де - …

20 machine-learning  unbiased-estimator  mse  bias-variance-tradeoff 

Я використовував theano для експерименту з LSTM, і мені було цікаво, які методи оптимізації (SGD, Adagrad, Adadelta, RMSprop, Adam тощо) найкраще працюють для LSTM? Чи є якісь наукові роботи на цю тему? Також, чи залежить відповідь від типу програми, для якої я використовую LSTM? Якщо так, я використовую LSTM для …

20 machine-learning  neural-networks  optimization  lstm 

У цій статті автор пов'язує лінійний дискримінантний аналіз (LDA) з аналізом основних компонентів (PCA). Зі своїми обмеженими знаннями я не в змозі простежити, як LDA може бути дещо схожим на PCA. Я завжди вважав, що LDA - це форма алгоритму класифікації, схожа на логістичну регресію. Я буду вдячний за допомогу …

20 classification  pca  dimensionality-reduction  discriminant-analysis  canonical-correlation 

У контексті регресії OLS я розумію, що залишковий графік (проти встановлених значень) умовно розглядається для перевірки на постійну дисперсію та оцінки специфікації моделі. Чому залишки побудовані проти пристосувань, а не значень ? Чим інформація відрізняється від цих двох сюжетів?YYY Я працюю над моделлю, яка створила такі залишкові ділянки: Таким чином, …

20 regression  residuals