Статистика та великі дані

Одне загальне, що потрібно робити при аналізі головних компонентів (PCA) - це побудувати два навантаження один на одного для дослідження взаємозв'язків між змінними. У документі, що супроводжує пакет PLS R для регресії головних компонентів та регресії PLS, є інший графік, який називається графіком кореляційних навантажень (див. Рисунок 7 та сторінку …

11 r  pca  terminology  partial-least-squares  biplot 

Це питання спільноти Math Overflow попросило «приклади поганих аргументів, які передбачають застосування математичних теорем у нематематичних контекстах» та створило захоплюючий список патологічно застосованої математики. Мене цікавить подібні приклади патологічних застосувань байєсівського умовиводу. Хто-небудь стикався з академічними статтями, ексцентричними публікаціями в блогах, які використовують байєсовські методи по-хитромудрі.

11 bayesian 

Я намагаюся зрозуміти, як обчислюються відповідні значення для моделей ARMA (p, q). Я вже знайшов тут питання щодо пристосованих значень процесів ARMA, але не зміг зрозуміти це. Якщо у мене є модель ARMA (1,1), тобто Хт= α1Хt - 1+ ϵт- β1ϵt - 1Хт=α1Хт-1+ϵт-β1ϵт-1X_t = \alpha_1X_{t-1}+\epsilon_t - \beta_1 \epsilon_{t-1} і мені …

11 arma 

Я є новачком у машинному навчанні (також деяка статистика), на деякий час вивчав знання (контрольовані / непідтримувані алгоритми навчання, відповідні методи оптимізації, регуляризація, деякі філософії (наприклад, компроміс з відхиленням відхилення?)). Я знаю, що без будь-якої реальної практики я не отримав би глибокого розуміння цих матеріалів машинного навчання. Тож я розпочну …

11 machine-learning  algorithms 

У мене є щомісячний часовий ряд з втручанням, і я хотів би кількісно оцінити вплив цього втручання на результат. Я усвідомлюю, що серія досить коротка, і ефект ще не завершений. Дані cds <- structure(c(2580L, 2263L, 3679L, 3461L, 3645L, 3716L, 3955L, 3362L, 2637L, 2524L, 2084L, 2031L, 2256L, 2401L, 3253L, 2881L, 2555L, …

11 r  regression  arima  intervention-analysis 

Питання домашнього завдання: Розглянемо модель 1-го Ізінга. Нехай . або -1, або +1х яx=(x1,...xd)x=(x1,...xd)x = (x_1,...x_d)xixix_i π(x)∝e∑39i=1xixi+1π(x)∝e∑i=139xixi+1\pi(x) \propto e^{\sum_{i=1}^{39}x_ix_{i+1}} Створіть алгоритм вибірки гібса, щоб генерувати вибірки приблизно з цільового розподілу .π(x)π(x)\pi(x) Моя спроба: Випадково виберіть значення (-1 або 1), щоб заповнити вектор . Тож може бути . Отже, це .х …

11 self-study  sampling  mcmc  gibbs 

Розглянемо випадкову лінійну модель перехоплення. Це еквівалентно лінійній регресії GEE зі змінною робочою матрицею кореляції. Припустимо , що предиктори і і коефіцієнти для цих провісників є , і . Яка інтерпретація коефіцієнтів у моделі випадкового перехоплення? Це те саме, що лінійна регресія GEE, за винятком того, що вона знаходиться на …

11 mixed-model 

Це запитання мені спало на думку, коли я сидів на публічній лекції з невирішених питань з математики. Добре відомо, що існує ще багато невирішених математичних питань. Це змусило мене задуматися, що таке невирішені проблеми в статистиці. Затративши деякий час на гугле на цю тему, я не думаю, що існує досить …

11 self-study  philosophical 

Це питання походить із цього питання щодо ".632 Правила". Я пишу з особливою посиланням на відповідь / нотацію користувача60603, наскільки це спрощує питання. Ця відповідь починається з вибірки розміру із заміни, з різних предметів у колекції (виклик) її N. Тоді ймовірність того, що зразок відрізняється від конкретного елемента N, тоді …

11 probability  sampling 

Мені цікаво, як інструментальна змінна розглядає зміщення вибору в регресії. Ось приклад я жував: У основному нешкідлива Економетрика , автори обговорюють внутрішньовенну регресію , що відноситься до військової служби і прибув пізніше в житті. Питання полягає в тому, "Чи збільшується чи зменшується майбутня прибутковість в армії?" Вони досліджують це питання …

11 regression  econometrics  bias  causality  instrumental-variables 

Якщо це повторне запитання, будь ласка, вкажіть правильний шлях, але подібні запитання, які я тут знайшов, були недостатньо схожими. Припустимо, я оцінюю модель Y= α + βХ+ уY=α+βХ+уY=\alpha + \beta X + u і знайдіть, що . Однак виявляється, що , і я підозрюю , і зокрема, що . Тому …

11 r  regression  hypothesis-testing  econometrics 

Днями на вебінарі, проведеному тестовою компанією з / б, його резидент "Data Scientist" пояснив, що слід підтвердити результати, повторивши експеримент. Якщо ви виберете 95% впевненість, існує 5% (1/20) шансів на помилковий позитив. Якщо ви повторно запустите експеримент з тими ж обмеженнями, тепер є 1/400 (я припускаю, що вони визначили це …

11 probability  hypothesis-testing  statistical-significance  ab-test 

Припустимо, скалярна випадкова величина належить до експоненціальної родини векторних параметрів з pdfXXX fX(x|θ)=h(x)exp(∑i=1sηi(θ)Ti(x)−A(θ))fX(x|θ)=h(x)exp⁡(∑i=1sηi(θ)Ti(x)−A(θ)) f_X(x|\boldsymbol \theta) = h(x) \exp\left(\sum_{i=1}^s \eta_i({\boldsymbol \theta}) T_i(x) - A({\boldsymbol \theta}) \right) де θ=(θ1,θ2,⋯,θs)Tθ=(θ1,θ2,⋯,θs)T{\boldsymbol \theta} = \left(\theta_1, \theta_2, \cdots, \theta_s \right )^T - вектор параметрів і T(x)=(T1(x),T2(x),⋯,Ts(x))TT(x)=(T1(x),T2(x),⋯,Ts(x))T\mathbf{T}(x)= \left(T_1(x), T_2(x), \cdots,T_s(x) \right)^T - спільна достатня статистика. Можна показати, …

11 variance  mean  exponential-family  sufficient-statistics 

Мені потрібно представити інформацію про основні прогнози голосів кандидата, використовуючи дані опитування громадської думки. Я здійснив логістичну регресію, використовуючи всі змінні, які мене цікавлять, але я не можу знайти хороший спосіб представити цю інформацію. Мій клієнт дбає не лише про розмір ефекту, а про взаємодію між величиною ефекту та чисельністю …

11 logistic  data-visualization  survey 

Я шукаю поради щодо аналізу складних даних опитування з багаторівневими моделями в Р. Я використовував surveyпакет для зважування для неоднакових ймовірностей вибору в однорівневих моделях, але цей пакет не має функцій для багаторівневого моделювання. lme4Пакет відмінно підходить для багаторівневого моделювання, але це не так , що я знаю , щоб …

11 r  mixed-model  weighted-sampling  cluster-sample