Статистика та великі дані

Тож у мене був імовірний тест, і я не міг реально відповісти на це питання. Він просто запитав щось подібне: "Враховуючи, що - випадкова величина, 0 , використовуйте правильну нерівність, щоб довести те, що вище або рівне, E (X ^ 2) ^ 3 або E (X ^ 3) ^ 2 …

9 probability  self-study  probability-inequalities 

Чи означають незалежність і ?Cov(f(X),Y)=0∀f(.)Cov(f(X),Y)=0∀f(.)\mathbb{Cov} \left(f(X),Y\right) = 0 \; \forall \; f(.)XXXYYY Я знайомий тільки з наступним визначенням незалежності між і .XXXYYY fx,y(x,y)=fx(x)fy(y)fx,y(x,y)=fx(x)fy(y) f_{x,y}(x,y) = f_x(x)f_y(y)

9 random-variable  independence 

Нехай є незалежними та однаково розподіленими стандартними однорідними випадковими змінними.X1,…,Xn∼U(0,1)X1,…,Xn∼U(0,1)X_1,\dots,X_n \sim U(0,1) Let Yn=∑inX2iI seek: E[Yn−−√]Let Yn=∑inXi2I seek: E[Yn]\text{Let }\quad Y_n=\sum_i^nX_i^2 \quad \quad \text{I seek: } \quad \mathbb{E}\big[\sqrt{Y_n } \big] Очікування легко:YnYnY_n E[X2]E[Yn]=∫10y2y√=13=E[∑inX2i]=∑inE[X2i]=n3E[X2]=∫01y2y=13E[Yn]=E[∑inXi2]=∑inE[Xi2]=n3\begin{align} \mathbb{E}\left[X^2\right] &=\int_0^1\frac{y}{2\sqrt{y}}=\frac{1}{3}\\ \mathbb{E}\left[Y_n\right] &=\mathbb{E}\left[\sum_i^nX_i^2\right] = \sum_i^n\mathbb{E}\left[X_i^2\right]=\frac{n}{3} \end{align} Тепер про нудну частину. Щоб застосувати LOTUS, мені знадобиться pdf …

9 probability  expected-value  uniform  central-limit-theorem  mgf 

Казелла та Бергер констатують властивість інваріантності оцінювача ML таким чином: Однак мені здається, що вони визначають "ймовірність" ηη\eta повністю ad ​​hoc та безглуздо: Якщо я застосую основні правила теорії ймовірностей до простого випадку η=τ(θ)=θ2η=τ(θ)=θ2\eta=\tau(\theta)=\theta^2, Я натомість отримую наступне: L ( η| x)=p(x |θ2= η) = p ( x | θ …

9 self-study  bayesian  maximum-likelihood  frequentist  invariance 

У "Елементах статистичного навчання" вираз для розкладання дисперсійної дисперсії лінійної моделі дається як де - фактична цільова функція, - дисперсія випадкової помилки в моделі і - лінійний оцінювач .Err(x0)=σ2ϵ+E[f(x0)−Ef^(x0)]2+||h(x0)||2σ2ϵ,Err(x0)=σϵ2+E[f(x0)−Ef^(x0)]2+||h(x0)||2σϵ2,Err(x_0)=\sigma_\epsilon^2+E[f(x_0)-E\hat f(x_0)]^2+||h(x_0)||^2\sigma_\epsilon^2,f(x0)f(x0)f(x_0)σ2ϵσϵ2 \sigma_\epsilon^2y=f(x)+ϵy=f(x)+ϵy=f(x)+\epsilonf^(x)f^(x)\hat f(x)f(x)f(x)f(x) Термін дисперсії мене тут хвилює, оскільки з рівняння випливає, що дисперсія буде нульовою, якщо цілі безшумні, тобтоАле для …

9 regression  linear-model  bias-variance-tradeoff 

У мене є набір даних з близько 5000 часто співвідносних функцій / коваріатів та двійкової відповіді. Дані мені дали, я не збирав їх. Я використовую Lasso і градієнтний прискорення для створення моделей. Я використовую ітераційну, вкладену перехресну перевірку. Я повідомляю про найбільші (абсолютні) коефіцієнти 40 Лассо та 40 найважливіших особливостей …

9 machine-learning  multiple-comparisons  regression-coefficients  lasso  high-dimensional 

Закрито . Це питання має бути більш зосередженим . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно зосередило увагу на одній проблемі лише редагуючи цю публікацію . Закрито 22 дні тому . Q1: Чи існують загальноприйняті або прийняті методи поводження з нестаціонарним середовищем у навчанні підкріплення …

9 markov-process  reinforcement-learning  stationarity  q-learning 

Нехай - IID і . Це здається очевидним, але у мене виникають проблеми з його формальним виведенням.XiXiX_iX¯=∑ni=1XiX¯=∑i=1nXi\bar{X} = \sum_{i=1}^{n} X_iE[XiX¯]= ?E[XiX¯]= ? E\left[\frac{X_i}{\bar{X}}\right] = \ ?

9 probability  random-variable  expected-value 

Я б хотів класифікувати точки даних як або потребують більш складної моделі, або не потребують більш складної моделі. Моє сучасне мислення полягає в тому, щоб підключити всі дані до простої лінійної моделі та дотримуватися розмір залишків, щоб зробити цю класифікацію. Потім я почитав про зміщення та вкладення дисперсії в помилку …

9 regression  multiple-regression  residuals  bias-variance-tradeoff 

У мене є деякі питання щодо специфікації та інтерпретації GLMM. 3 питання, безумовно, статистичні, а 2 - конкретніше про Р. Я публікую тут, оскільки, зрештою, я думаю, що це інтерпретація результатів ГЛМ. На даний момент я намагаюся вписатись в GLMM. Я використовую дані перепису США з Бази даних про поздовжні …

9 r  lme4-nlme  poisson-distribution  negative-binomial  glmm 

Мені потрібно переконатися, що моя карта XML містить менше ніж 1%1%1\%сміття (розірвані ланки). Список URL-адрес є сотнями тисяч, і навіть якщо це можливо, протестувати їх усі 1 на 1, я б краще, з багатьох причин: 1 - Saved bandwidth 2 - Faster traffic for real clients 3 - Less noise …

9 probability  confidence-interval  sample-size 

Розглянемо сюжет нижче, в якому я моделював дані наступним чином. Ми дивимось на двійковий результат для якого справжня ймовірність дорівнює 1 позначена чорною лінією. Функціональний взаємозв'язок між коваріатним і p (y_ {obs} = 1 | x) - поліном 3-го порядку з логістичним зв’язком (тому він є нелінійним у подвійному напрямку).уo …

9 regression  logistic  bayesian  confidence-interval  credible-interval 

Книга Саймона Вуда про GAM та пов'язаний з ним пакет Rc mgcv є дуже детальними та інформативними, коли мова йде про теорію GAM та пристосування моделі до реальних та імітованих даних. Що стосується 1D гладких, насправді не варто турбуватися, окрім того, як вирішити, чи реалізовувати циклічні та адаптивні основні функції, …

9 r  mgcv 

Ну, ми не можемо побачити, наприклад, https://en.wikipedia.org/wiki/Subindependence для цікавого контрприкладу. Але справжнє запитання: чи є якийсь спосіб посилити умову, щоб випливала незалежність? Наприклад, чи є якийсь набір функційg1,…,gng1,…,gng_1, \dotsc, g_n так що якщо Egi(X)gj(Y)=Egi(X)Egj(Y)E⁡gi(X)gj(Y)=E⁡gi(X)E⁡gj(Y)\E g_i(X) g_j(Y) =\E g_i(X) \E g_j(Y) для усіх i,ji,ji,jто незалежність слідує? І наскільки великим повинен бути …

9 probability  mathematical-statistics  references  random-variable  independence 

Чи можливо встановити GAMM (Узагальнену аддитивну змішану модель) для даних, що завищують нуль у R? Якщо ні, то чи можна встановити GAM (Узагальнену модель добавок) для нульових завищених даних з негативним біноміальним або квазі-розподілом Пуассона в R? (Я знайшов COZIGAM :: zigam і mgcv: ziP функції для розповсюдження Пуассона)

9 poisson-distribution  negative-binomial  gam  zero-inflation