Статистика та великі дані

Грубо кажучи, р-значення дає ймовірність спостережуваного результату експерименту з урахуванням гіпотези (моделі). Маючи цю ймовірність (p-значення), ми хочемо судити про нашу гіпотезу (наскільки це ймовірно). Але хіба не було б природніше обчислити ймовірність гіпотези з огляду на спостережуваний результат? Більш детально. У нас є монета. Ми перевертаємо це 20 разів …

43 likelihood  p-value 

Я вчу себе про навчання підкріпленням і намагаюся зрозуміти поняття винагороди зі знижкою. Отже, нагорода необхідна, щоб сказати системі, які пари "держава-дія" є хорошими, а які - поганими. Але я не розумію, чому необхідна винагорода зі знижкою. Чому має значення, чи буде досягнутий хороший стан швидше, ніж пізніше? Я розумію, …

43 machine-learning  reinforcement-learning 

Нещодавно я натрапив на цю особу: Е[ Є( Y| Х, Z) | Х] = Е[ Y| Х]E[E(Y|X,Z)|X]=E[Y|X]E \left[ E \left(Y|X,Z \right) |X \right] =E \left[Y | X \right] Я, звичайно, знайомий з більш простою версією цього правила, а саме з тим, що Е[ Є( Y| Х) ] =Е( Y)E[E(Y|X)]=E(Y)E \left[ …

43 self-study  conditional-probability  conditional-expectation 

Коли я читаю "ковзну середню" по відношенню до часового ряду, думаю, що-то на зразок , або, можливо, зважений в середньому, як . (Я розумію, що це насправді моделі AR (3), але це те, до чого мій мозок стрибає.) Чому МА (q) формули моделей формул помилок, або "нововведень"? Що стосується з …

43 time-series  arima  terminology  moving-average 

Гаразд, це питання, яке підтримує мене вночі. Чи можна інтерпретувати процедуру завантаження як наближення деякої байєсівської процедури (за винятком байєсівської завантажувальної програми)? Мені дуже подобається байєсівське «тлумачення» статистики, яке мені здається добре узгодженим і зрозумілим. Однак у мене також є слабкість щодо завантажувальної процедури, яка є такою простою, але дає …

43 bayesian  bootstrap 

Я новачок у видобутку даних і намагаюся навчити дерево рішень щодо набору даних, який є вкрай незбалансованим. Однак у мене проблеми із поганою точністю прогнозування. Дані складаються з студентів, які вивчають курси, а змінна класу - це статус курсу, який має два значення - Відкликаний або Поточний. Вік Етнічність Стать …

43 classification  cart  unbalanced-classes  accuracy 

Регуляризація за допомогою таких методів, як Ridge, Lasso, ElasticNet, досить поширена для лінійної регресії. Мені хотілося знати наступне: чи застосовуються ці методи для логістичної регресії? Якщо так, чи є якісь відмінності в способі їх використання для логістичної регресії? Якщо ці методи не застосовуються, як можна регулювати логістичну регресію?

42 regression  logistic  regularization 

Яка основна відмінність між максимальною оцінкою ймовірності (MLE) та оцінкою найменших квадратів (LSE)? Чому ми не можемо використовувати MLE для прогнозування значень у лінійній регресії та навпаки?yyy Будь-яка допомога з цієї теми буде дуже вдячна.

42 regression  estimation  maximum-likelihood  least-squares 

Хтось може пояснити, що роблять одиниці максимуму в нейронній мережі? Як вони виконують і чим вони відрізняються від звичайних одиниць? Я намагався прочитати документ "Максимальна мережа" 2013 року Goodfellow et al. (від групи професора Йошуа Бенджо), але я не дуже розумію.

42 machine-learning  neural-networks 

У своїй книзі я в основному використовую "гауссовий розподіл", але хтось просто запропонував перейти на "нормальний розподіл". Якийсь консенсус щодо того, який термін використовувати для початківців? Звичайно, два терміни є синонімами , тому це не питання щодо сутності, а суто питання про те, який термін вживається частіше. І звичайно я …

42 normal-distribution  terminology 

Які теоретичні причини не обробляти пропущені значення? Машини підвищення градієнта, дерева регресії обробляють пропущені значення. Чому Random Forest не робить цього?

42 random-forest  missing-data  gbm 

Я зіткнувся з твердженням, що кожен зразок завантажувального завантажувача (або мішковане дерево) буде містити в середньому приблизно спостережень.2/32/32/3 Я розумію, що шанс не бути відібраним у жодному з креслень із вибірок із заміною є , що спрацьовує приблизно до шансу не бути вибраним.nnnnnn(1−1/n)n(1−1/n)n(1- 1/n)^n1/31/31/3 Що таке математичне пояснення, чому ця …

42 bootstrap 

На даний момент я пишу статтю з кількома множинними регресійними аналізами. Хоча візуалізація одновимірної лінійної регресії легко за допомогою розсіяних ділянок, мені було цікаво, чи існує якийсь хороший спосіб візуалізації декількох лінійних регресій? В даний час я просто будую схеми розкидання, такі як залежна змінна проти 1-ї незалежної змінної, потім …

42 regression  data-visualization  multiple-regression 

Я збентежений. Я не розумію різницю ARMA та GARCH-процесу .. для мене є однакові ні? Ось процес (G) ARCH (p, q) σ2t=α0+∑i=1qαir2t−iARCH+∑i=1pβiσ2t−iGARCHσt2=α0+∑i=1qαirt−i2⏟ARCH+∑i=1pβiσt−i2⏟GARCH\sigma_t^2 = \underbrace{ \underbrace{ \alpha_0 + \sum_{i=1}^q \alpha_ir_{t-i}^2} _{ARCH} + \sum_{i=1}^p\beta_i\sigma_{t-i}^2} _{GARCH} А ось ARMA ( ):p,qp,qp, q Xt=c+εt+∑i=1pφiXt−i+∑i=1qθiεt−i.Xt=c+εt+∑i=1pφiXt−i+∑i=1qθiεt−i. X_t = c + \varepsilon_t + \sum_{i=1}^p \varphi_i X_{t-i} + …

42 arima  garch  finance 

Моє запитання стосується спроби обгрунтувати широко використовуваний метод, а саме прийняття очікуваного значення серії Тейлора. Припустимо, у нас є випадкова величина з додатним середнім та дисперсією . Крім того, у нас є функція, скажімо, .XXXμμ\muσ2σ2\sigma^2log(x)log⁡(x)\log(x) Роблячи розширення Тейлора навколо середнього значення, отримуємо де, як завжди, - st.logXlog⁡X\log XlogX=logμ+X−μμ−12(X−μ)2μ2+13(X−μ)3ξ3X,log⁡X=log⁡μ+X−μμ−12(X−μ)2μ2+13(X−μ)3ξX3, \log X …

42 self-study  mathematical-statistics  expected-value