Статистика та великі дані

Кріс Чатфілд, чиї багато якісних книг і паперів мені подобалось читати, в (1) дає такі поради: Наприклад, вибір між моделями часового ряду ARIMA з низькими та приблизно рівними значеннями AIC повинен бути, мабуть, зроблений, не за тим, що відбувається, щоб дати мінімальний показник AIC, а за тим, який дає найкращі …

11 forecasting  model-selection  arima  aic 

Я хотів би вручну зафіксувати певний коефіцієнт, скажімо, , а потім підходити коефіцієнти до всіх інших прогнокторів, зберігаючи β 1 = 1,0 у моделі.β1= 1,0β1=1.0\beta_1=1.0β1= 1,0β1=1.0\beta_1=1.0 Як я можу досягти цього за допомогою R? Я особливо хотів би попрацювати з LASSO ( glmnet), якщо можливо. Як варіант я можу обмежити …

11 r  multiple-regression  lasso  glmnet  constrained-regression 

Я використовував метод вилучення магістральної мережі, описаний у цій статті: http://www.pnas.org/content/106/16/6483.abrief В основному, автори пропонують метод, заснований на статистиці, що створює ймовірність для кожного краю графіка, що край міг трапитися випадково. Я використовую типове обмеження статистичної значущості 0,05. Я застосовую цей метод у кількох реальних мережах, і що цікаво, в …

11 probability  statistical-significance  data-visualization  graph-theory  networks 

Як пояснити узагальнені методи моментів і як він використовується для нестатиста? Поки що я іду з цим: це те, що ми використовуємо для оцінки таких умов, як середні значення та зміни на основі зібраних нами зразків. Як пояснити частину, де ви оцінюєте вектор параметрів, мінімізуючи дисперсію?

11 generalized-moments  method-of-moments 

Я намагаюся обчислити середнє і стандартне відхилення від 2 відсотків для лонормального розподілу. Мені вдалося виконати обчислення для нормального розподілу, використовуючи X = mean + sd * Zта вирішуючи для середнього та sd. Я думаю, що мені не вистачає рівняння, коли я намагаюся зробити те ж саме для лонормального розподілу. …

11 r  lognormal 

Я дивлюся на розподіл суми квадратів Т-розподілених випадкових величин із хвостовим показником αα\alpha . Де X - rv, перетворення Фур'є для X2X2X^2 , F(t)F(t)\mathscr{F}(t) дає мені рішення для квадрата перед згорткою F(t)nF(t)n\mathscr{F}(t)^n . F(t)=∫∞0exp(itx2)⎛⎝⎜⎜⎜(αα+x2)α+12α−−√ B(α2,12)⎞⎠⎟⎟⎟dxF(t)=∫0∞exp⁡(itx2)((αα+x2)α+12α B(α2,12))dx\mathscr{F}(t)=\int_0^{\infty } \exp \left(i\, t\, x^2\right)\left(\frac{\left(\frac{\alpha }{\alpha +x^2}\right)^{\frac{\alpha +1}{2}} }{\sqrt{\alpha }\ B\left(\frac{\alpha }{2},\frac{1}{2}\right)}\right) \, \mathrm{d}x …

11 probability  sums-of-squares 

Я шукаю папір, який, сподіваюся, існує, але не знаю, чи є. Це може бути набір тематичних досліджень та / або аргумент теорії ймовірностей про те, чому використання даних поперечного перерізу для висновку / прогнозування поздовжніх змін може бути поганою річчю (тобто це не обов’язково, але може бути). Я бачив помилку, …

11 references  panel-data  inference  causality  cross-section 

Передумови: мені довелося провести аналіз даних для клієнта (якогось юриста), який був абсолютно початківцем статистики. Він запитав мене, що означає термін "статистична значимість", і я дійсно намагався пояснити це ... але оскільки я не вмію пояснювати речі, я не зміг;

11 statistical-significance  inference  communication 

Для нестатистів, як я, дуже важко зафіксувати ідею VIметрики (варіації інформації) навіть після прочитання відповідної статті Марини Меліа " Порівняння кластеризації - відстань на основі інформації " (Journal of Multivariate Analysis, 2007). Насправді я не знайомий з багатьма умовами кластеризації там. Нижче наведено MWE, і я хотів би знати, що …

11 r  clustering  validation  intuition 

У нас є дані з бінарним результатом і деякими коваріатами. Я використовував логістичну регресію для моделювання даних. Просто простий аналіз, нічого надзвичайного. Кінцевим результатом має бути крива доза-відповідь, де ми показуємо, як змінюється ймовірність для конкретного коваріату. Щось на зразок цього: Ми отримали певну критику від внутрішнього рецензента (не чистого …

11 regression  logistic  generalized-linear-model  binary-data 

Я нормально розподілені процеси , з яких я отримую невеликі зразки ( п , як правило , 10-30) , що я хочу використовувати для оцінки дисперсії. Але часто зразки знаходяться настільки близько, що ми не можемо виміряти окремі точки біля центру. Я маю таке розпливчасте розуміння, що ми повинні мати …

11 normal-distribution  estimation  rayleigh 

У мене є випадкова логістична регресія перехоплення (за рахунок повторних вимірювань), і я хотів би провести деяку діагностику, зокрема стосовно людей, що перебувають у спокої та впливових спостережень. Я подивився на залишки, щоб побачити, чи існують спостереження. Але я також хотів би поглянути на щось на кшталт відстані Кука або …

11 mixed-model  outliers  glmm  cooks-distance 

Я застосував деякі дані, щоб знайти найкраще рішення змінних моделі регресії за допомогою регресії хребта в Р. Я використовував lm.ridgeі glmnet(коли alpha=0), але результати дуже відрізняються, особливо коли lambda=0. Припускається, що обидва оцінки параметрів мають однакові значення. Отже, у чому тут проблема? з найкращими побажаннями

11 r  regression  ridge-regression  glmnet 

Почесне нагадування в статистиці - "некорельованість не означає незалежності". Зазвичай це нагадування доповнюється психологічно заспокійливим (і науково правильним) твердженням "коли, однак, дві змінні спільно нормально розподіляються , то некорельованість означає незалежність". Я можу збільшити кількість щасливих винятків з одного до двох: коли дві змінні розподілені Бернуллі , то знову ж …

11 probability  distributions  correlation  mathematical-statistics  independence 

Я перебуваю у вступному класі статистики, в якому функція щільності ймовірностей для безперервних випадкових величин була визначена як . Я розумію, що інтеграл але я не можу виправити це моєю інтуїцією безперервної випадкової величини. Скажіть, X - випадкова величина, що дорівнює кількості хвилин від часу t, що прибуває поїзд. Як …

11 probability  random-variable  pdf  continuous-data