Статистика та великі дані

Я переглядаю розділ LAB §6.6, присвячений хребтовій регресії / Лассо, в книзі «Вступ до статистичного навчання з додатками в R» Джеймса, Віттена, Хасті, Тібширані (2013). Більш конкретно, я намагаюся застосувати модель scikit-learn Ridgeдо набору даних "Hitters" з пакету R "ISLR". Я створив той самий набір функцій, що і в коді …

11 r  machine-learning  scikit-learn  regression 

Я хотів би імітувати броунівський екскурсійний процес (броунівський рух, який обумовлений, завжди бути позитивним, коли до при ). Оскільки броунівський екскурсійний процес - це броунівський міст, який, як завжди, є позитивним, я сподівався моделювати рух броунівської екскурсії за допомогою броунівського мосту.0 t = 10<t<10<t<10 \lt t \lt 1000t=1t=1t=1 У R, …

11 r  gaussian-process  brownian 

Я встановив загальну лінійну модель вірогідність журналу якої є .L uу= β0+ β1х1+ β2х2+ β3х3,у=β0+β1х1+β2х2+β3х3,y=\beta_0+\beta_1x_1+\beta_2x_2+\beta_3x_3,LуLуL_u Тепер я хочу перевірити, чи коефіцієнти однакові. По-перше, загальний тест: вірогідність журналу зменшеної моделі - . За тестом коефіцієнта ймовірності повна модель значно краща за зменшену з .L r p = 0,02у= β0+ β1⋅ ( …

11 hypothesis-testing 

Я читаю теоретичний документ Дуга Бейтса про пакет lme4 R для того, щоб краще зрозуміти складність і змішаність моделей, і натрапив на інтригуючий результат, який я хотів би зрозуміти краще, щодо використання обмеженої максимальної ймовірності (REML) для оцінки дисперсії . У розділі 3.3 щодо критерію REML він зазначає, що використання …

11 maximum-likelihood  mixed-model  unbiased-estimator  hierarchical-bayesian  reml 

Тут я запитую про те, що зазвичай роблять інші, щоб використовувати тест-квадрат чи для вибору функцій wrt для вибору функцій при контрольованому навчанні. Якщо я правильно розумію, чи перевіряють вони незалежність між кожною ознакою та результатом і чи порівнюють значення p між тестами для кожної функції? У http://en.wikipedia.org/wiki/Pearson%27s_chi-squared_test , Хір-квадратний …

11 hypothesis-testing  chi-squared  feature-selection  independence  scikit-learn 

Чому так рідко можна знайти інтервали довіри, повідомлені у працях із прикладних наук? Я працюю здебільшого з інформатики, але часто читаю статті з (соціальної) психології, соціології та містобудування. Я не можу згадати, як я бачив ІС для медіани, про яку повідомляли. У той же час, вивчаючи довірчі інтервали та інше, …

11 median  confidence  reporting 

Це мозаїчний сюжет даних, HairEyeColorописаних тут . Як інтерпретувати кольори, що представляють залишки? Яка різниця між високими та позитивними залишками Пірсона (синім кольором) від низьких та негативних, зображеними червоним кольором?

11 data-visualization  chi-squared  residuals  contingency-tables 

Я підходив до lmer-моделі із наступним (хоча і складеним результатом): Random effects: Groups Name Std.Dev. day:sample (Intercept) 0.09 sample (Intercept) 0.42 Residual 0.023 Я дуже хотів би побудувати інтервал довіри для кожного ефекту, використовуючи наступну формулу: (n−1)s2χ2α/2,n−1,(n−1)s2χ21−α/2,n−1(n−1)s2χα/2,n−12,(n−1)s2χ1−α/2,n−12 \frac{(n-1)s^2}{\chi^2_{\alpha/2, n-1}},\frac{(n-1)s^2}{\chi^2_{1-\alpha/2,n-1}} Чи є спосіб зручно дістати ступеня свободи?

11 lme4-nlme  mixed-model 

Я працюю над виведенням задньої частини Normal-Wishart, але я застряг у одному з параметрів (задній частині матриці шкали, див. Внизу). Тільки для контексту та повноти, ось модель та решта похідних: xiμΛ∼N(μ,Λ)∼N(μ0,(κ0Λ)−1)∼W(υ0,W0)xi∼N(μ,Λ)μ∼N(μ0,(κ0Λ)−1)Λ∼W(υ0,W0)\begin{align} x_i &\sim \mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\Lambda})\\ \boldsymbol{\mu} &\sim \mathcal{N}(\boldsymbol{\mu_0}, (\kappa_0 \boldsymbol{\Lambda})^{-1})\\ \boldsymbol{\Lambda} &\sim \mathcal{W}(\upsilon_0, \mathbf{W}_0) \end{align} Розширеними формами кожного з трьох …

11 bayesian  posterior 

Припустимо, два класи і мають атрибут і мають розподіл і . якщо ми маємо рівні до для наступної матриці витрат:C 2 x N ( 0 , 0,5 ) N ( 1 , 0,5 ) P ( C 1 ) = P ( C 2 ) = 0,5С1C1C_1С2C2C_2хxxN( 0 , 0 …

11 machine-learning  classification  bayesian  normal-distribution  bivariate 

У мене є набір даних, який складається з 717 спостережень (рядків), які описуються 33 змінними (стовпцями). Дані стандартизуються за допомогою z-оцінка всіх змінних. Немає двох змінних лінійно залежних ( ). Я також видалив усі змінні з дуже низькою дисперсією (менше ). На малюнку нижче показана відповідна кореляційна матриця (в абсолютних …

11 matlab  factor-analysis  covariance  covariance-matrix 

Тест Шаріпо-Вілка, згідно з Вікіпедією , перевіряє нульову гіпотезу ( ) "Населення нормально розподілене".Н0H0H_0 Я шукаю аналогічний тест на нормальність з "Населення нормально не розподілене".Н0H0H_0 Провівши такий тест, я хочу обчислити -значення для відхилення на рівні значущості \ alpha iff p <\ alpha ; доказуючи, що моє населення нормально розподілене.H …

11 hypothesis-testing  goodness-of-fit  normality-assumption  equivalence 

У мене очевидно бімодальний розподіл значень, до якого я прагну відповідати. Дані можуть добре відповідати або з 2 нормальними функціями (бімодальними), або з 3 нормальними функціями. Крім того, існує правдоподібна фізична причина для відповідності даних 3. Чим більше параметрів буде введено, тим досконалішим буде прилягання, оскільки при достатній кількості констант …

11 distributions  normal-distribution  model-selection  overfitting 

Я намагаюся вказати формулу для лінійної моделі змішаного ефекту (з lme4) для моєї експериментальної конструкції, але я не впевнений, що я роблю це правильно. Конструкція: в основному я вимірюю параметр відгуку на рослинах. У мене 4 рівні лікування та 2 рівні поливу. Рослини згруповані в 16 ділянок, в межах кожної …

11 r  experiment-design  mixed-model 

Ось питання: Ви збираєте справедливі шестигранні кістки ітераційно, поки сума рулонів кісток не буде більшою або дорівнює М. Яке середнє та стандартне відхилення суми мінус M, коли M = 300? Чи потрібно написати код, щоб відповісти на такі запитання? Будь ласка, дайте мені підказки щодо цього. Дякую!

11 self-study  standard-deviation  dice