Статистика та великі дані

Маю емпіричний розподіл . Я обчислюю це наступним чиномG ( x )Г(х)G(x) x <- seq(0, 1000, 0.1) g <- ecdf(var1) G <- g(x) Я позначаю , тобто h - pdf, а G - cdf.h ( x ) = dГ / дхгод(х)=гГ/гхh(x) = dG/dxгодгодhГГG Тепер я хочу розв'язати рівняння для верхньої …

13 r  integral  ecdf 

Я намагаюся зрозуміти логіку тесту чи-квадрата. Тест Chi-квадрата - . потім порівнюється з розподілом у квадраті Chi, щоб з'ясувати значення p.для того, щоб відкинути нульову гіпотезу чи ні. : спостереження походять від розподілу, який ми використовували для створення наших очікуваних значень. Наприклад, ми могли б перевірити, чи ймовірність отримання задана …

13 probability  distributions  normal-distribution  mathematical-statistics  chi-squared 

Мені потрібно обчислювати квартілі (Q1, медіану та Q3) у реальному часі на великому наборі даних, не зберігаючи спостереження. Я спершу спробував алгоритм P-квадратів (Jain / Chlamtac), але я його не задовольнив (трохи занадто багато використання процесора і не переконаний у точності принаймні на моєму наборі даних). Зараз я використовую алгоритм …

13 quantiles  median  online 

У цьому конкретному випадку я маю на увазі день, коли озеро замерзає. Ця "крижана" дата трапляється лише раз на рік, але іноді вона взагалі не відбувається (якщо зима тепла). Так що одного року озеро може замерзнути 20-го дня (20 січня), а іншого року воно може взагалі не замерзнути. Мета - …

13 regression  time-series  survival  data-transformation  recurrent-events 

Мене в інтерв'ю мені задали це запитання з . Чи є "правильна" відповідь?( n , k ) = ( 400 , 220 )(n,k)=(400,220)(n, k) = (400, 220) Припустимо, що кидки є iid, а ймовірність голів . Тоді розподіл кількості голів у 400 кидках повинен бути близьким до нормального (200, 10 …

13 probability  hypothesis-testing  self-study  prior 

В даний час я намагаюся обчислити BIC для мого набору даних про іграшки (ofc iris (:). Я хочу відтворити результати, як показано тут (рис. 5). Цей документ також є моїм джерелом для формул BIC). У мене є 2 проблеми з цим: Позначення: ninin_i = кількість елементів кластераiii CiCiC_i = центральні …

13 python  k-means  scikit-learn  bic 

Я намагаюся зрозуміти Фіртова логістичну регресію (метод управління ідеальним / повним або квазіповним розділенням у логістичній регресії), щоб я міг пояснити це іншим у спрощених термінах. Хто-небудь має занедбане пояснення того, яку модифікацію оцінку Ферта вносить у MLE? Я прочитав, як тільки міг, Ферта (1993) і розумію, що до функції …

13 logistic  maximum-likelihood  separation 

Я дізнався, що, вибираючи декілька кластерів, слід шукати точку ліктя для різних значень K. Я побудував графіки значень inssss для значень k від 1 до 10, але я не бачу чіткого ліктьовий. Що ти робиш у такому випадку?

13 clustering  k-means 

Що стосується заголовку, ідея полягає у використанні взаємної інформації тут і після MI для оцінки "кореляції" (визначеної як "скільки я знаю про A, коли я знаю B") між суцільною змінною та категоріальною змінною. Я розкажу вам свої міркування з цього питання за мить, але перед тим, як порадити вам прочитати …

13 correlation  information-theory  mutual-information 

Я розумію, що основний принцип алгоритму для LLE складається з трьох етапів. Пошук сусідства кожної точки даних за деяким показником, таким як k-nn. Знайдіть ваги для кожного сусіда, який позначає вплив, який має сусід на точку даних. Побудуйте низькомірне вбудовування даних на основі обчислених ваг. Але математичне пояснення кроків 2 …

13 machine-learning  model-selection  feature-selection  dimensionality-reduction  nonlinear 

Я вивчаю імовірнісні графічні моделі , книгу для самостійного вивчення. Чи ребра в спрямованому ациклічному графіку (DAG) представляють причинно-наслідкові зв’язки? Що робити, якщо я хочу побудувати байєсівську мережу , але я не впевнений у напрямку стрілок у ній? Усі дані підкажуть мені, що спостерігаються кореляції, а не взаємозв'язки між ними. …

13 causality  graphical-model  bayesian-network  dag 

Це питання візуалізації даних - я сподіваюся, що це нормально запитати тут. Коли доцільно використовувати заливку під лінійним графіком для часового ряду, як графік нижче? (що показує пінг-раз протягом дня) Я думаю, що звичайніше використовувати звичайну лінію, без заливки внизу, але чи нормально використовувати заливку для візуальної різноманітності? Мені б …

13 data-visualization 

З моїх результатів виходить, що GLM Gamma відповідає більшості припущень, але чи варто вдосконалення щодо LM-трансформованого LM? Більшість літератури я знайшов угоди з пуассонськими або біноміальними GLM. Стаття ОЦІНКА УЗАГАЛЬНЕНОЇ ЛІНІЙНОЇ МОДЕЛЬНОЇ МОДЕЛІ, ВИКОРИСТОВУЮЧИМ РАНДОМІЗАЦІЮ, дуже корисна, але в ній відсутні фактичні сюжети, які використовуються для прийняття рішення. Сподіваюся, хтось …

13 r  generalized-linear-model  model-selection  gamma-distribution 

Я хотів би використовувати імпутацію для заміни відсутніх значень у моєму наборі даних за певних обмежень. Наприклад, я хотів би, щоб імпульована змінна x1була більшою або дорівнює сумі двох інших моїх змінних, скажімо, x2і x3. Я також хочу, x3щоб мене вводили будь-який 0або, >= 14і я хочу, x2щоб він був …

13 r  spss  missing-data  multiple-imputation 

Я прочитав кілька пояснень щодо властивостей лінійних та нелінійних моделей, але все ж іноді я не впевнений, чи є модель під рукою лінійна чи нелінійна. Наприклад, чи є наступна модель лінійною чи нелінійною? yt=β0+β1B(L;θ)Xt+εtyt=β0+β1B(L;θ)Xt+εty_t=\beta_0 + \beta_1B(L;\theta)X_t+\varepsilon_t З: B(L;θ)=∑k=1Kb(k;θ)LkB(L;θ)=∑k=1Kb(k;θ)LkB(L;\theta)=\sum_{k=1}^{K}b(k;\theta)L^k LkXt=Xt−kLkXt=Xt−kL^kX_t=X_{t-k} Де являє собою (розпадається) Експоненціальну функцію полінома виду виду:b(k;θ)b(k;θ)b(k;\theta) b(k;θ)=exp(θ1k+θ2k2)∑Kk=1exp(θ1k+θ2k2)b(k;θ)=exp⁡(θ1k+θ2k2)∑k=1Kexp⁡(θ1k+θ2k2)b(k;\theta)=\frac{\exp(\theta_1 k+\theta_2k^2)}{\sum_{k=1}^{K}\exp(\theta_1k+\theta_2k^2)} …

13 linear-model  nonlinear-regression  nonlinear