Статистика та великі дані

Я спостерігав за презентацією спеціаліста з МЛ у великого ритейлера, де вони розробили модель прогнозування подій на складі. Припустимо на мить, що з часом їх модель стає дуже точною, чи не так чи інакше це "самозакохане"? Тобто, якщо модель справді добре працює, тоді вони зможуть передбачити події на складі та …

36 machine-learning  predictive-models 

Це, мабуть, питання любителя, але мене цікавить, як вчені придумали форму функції нормальної щільності ймовірності розподілу? В основному те, що мене клопотить, полягає в тому, що для когось може бути більш інтуїтивно зрозумілим, що функція ймовірності нормально розподілених даних має форму рівнобедреного трикутника, а не кривої дзвона, і як би …

36 normal-distribution  history 

При використанні перехресної перевірки для вибору моделі (наприклад, настройка гіперпараметрів) та для оцінки продуктивності найкращої моделі слід використовувати вкладену перехресну перевірку . Зовнішня петля - це оцінювати продуктивність моделі, а внутрішня - вибрати найкращу модель; модель вибирається на кожному зовнішньому тренувальному наборі (використовуючи внутрішній цикл резюме) і його продуктивність вимірюється …

36 cross-validation  model-selection  ridge-regression 

Я намагався вивчити методи MCMC і натрапив на вибірку Metropolis Hastings, Gibbs, Importance та Rejection. Хоча деякі з цих відмінностей очевидні, тобто, як Гіббс є особливим випадком Метрополіса Гастінгса, коли ми маємо повну умову, інші менш очевидні, як, наприклад, коли ми хочемо використовувати MH у пробовідбірника Гіббса тощо. простий спосіб …

36 mcmc  monte-carlo  gibbs  metropolis-hastings  importance-sampling 

Знаменник (неупередженого) оцінювача дисперсії дорівнює n−1n−1n-1 оскільки є nnn спостережень і оцінюється лише один параметр. V(X)=∑ni=1(Xi−X¯¯¯¯)2n−1V(X)=∑i=1n(Xi−X¯)2n−1 \mathbb{V}\left(X\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1} Тим самим я дивуюсь, чому не повинен знаменник коваріації бути n−2n−2n-2 коли оцінюються два параметри? Cov(X,Y)=∑ni=1(Xi−X¯¯¯¯)(Yi−Y¯¯¯¯)n−1Cov(X,Y)=∑i=1n(Xi−X¯)(Yi−Y¯)n−1 \mathbb{Cov}\left(X, Y\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(Y_{i}-\overline{Y}\right)}{n-1}

36 self-study  variance  covariance  descriptive-statistics  unbiased-estimator 

Я намагаюся обернути голову навколо статистичної різниці між лінійним дискримінантним аналізом та логістичною регресією . Чи правильно я розумію, що для задачі класифікації двох класів LDA прогнозує дві функції нормальної щільності (по одній для кожного класу), яка створює лінійну межу, де вони перетинаються, тоді як логістична регресія лише передбачає функцію …

36 regression  logistic  classification  discriminant-analysis 

Я вивчаю аналіз виживання з цієї посади на UCLA IDRE, і я потрапив у розділ 1.2.1. Підручник говорить: ... якщо часи виживання, як відомо, були експоненціально розподілені , то ймовірність дотримання часу виживання ... Чому час виживання вважається експоненціально розподіленим? Мені це здається дуже неприродно. Чому зазвичай не поширюються? Скажімо, …

36 distributions  survival  assumptions  exponential 

EffectsПакет забезпечує дуже швидкий і зручний спосіб для побудови результатів лінійних моделей змішаного ефекту, отриманих через lme4пакет . У effectфункції обчислює довірчі інтервали (ДІ) дуже швидко, але , як заслуговують на довіру цих довірчі інтервали? Наприклад: library(lme4) library(effects) library(ggplot) data(Pastes) fm1 <- lmer(strength ~ batch + (1 | cask), Pastes) …

36 r  mixed-model  confidence-interval  effects  lme4-nlme 

Я намагаюся розібратися, який метод перехресної перевірки найкращий для моєї ситуації. Наступні дані - лише приклад для роботи над проблемою (в R), але мої реальні Xдані ( xmat) співвідносяться між собою і співвідносяться в різній мірі зі yзмінною ( ymat). Я надав код R, але моє питання не про R, …

36 r  regression  cross-validation  linear-model 

Ця стаття " Коефіцієнти, які постійно оновлюються" від NY Times, привернула мою увагу. Коротше кажучи, це стверджує, що [Байєсівська статистика] виявляється особливо корисною у вирішенні складних проблем, включаючи пошуки на зразок того, який берегова охорона використовувала у 2013 році для пошуку зниклого рибалки Джона Олдріджа (хоча ні, поки що під …

36 hypothesis-testing  statistical-significance  bayesian  p-value  reproducible-research 

Я намагаюся створити поліном другого порядку, який підходить до деяких даних, які я маю. Скажімо, я задумав це ggplot(): ggplot(data, aes(foo, bar)) + geom_point() + geom_smooth(method="lm", formula=y~poly(x, 2)) Я отримав: Отже, придатність другого порядку працює досить добре. Я обчислюю це за допомогою R: summary(lm(data$bar ~ poly(data$foo, 2))) І я отримую: …

36 r  regression  interpretation  regression-coefficients 

У мене є дані з 3 груп біомаси водоростей ( AAA , , ), які містять неоднакові розміри вибірки ( , , ), і я хотів би порівняти, якщо ці групи з однієї популяції.BBBn A = 15 n B = 13 n C = 12CCCnA=15nA=15n_A=15nB=13nB=13n_B=13nC=12nC=12n_C=12 Одностороння ANOVA, безумовно, була б …

36 r  anova  data-transformation  heteroscedasticity 

Яка найкраща методика обчислення довірчого інтервалу біноміального експерименту, якщо ваша оцінка така, що (або аналогічно ), а розмір вибірки порівняно невеликий, наприклад ?p = 0p=0p=0р = 1p=1p=1n = 25н=25n=25

36 confidence-interval  binomial 

Я читаю книгу про лінійну регресію і маю деякі проблеми з розумінням дисперсійно-коваріаційної матриці :bb\mathbf{b} Діагональні елементи досить прості, але поза діагоналі трохи складніше, що мене що σ(b0,b1)=E(b0b1)−E(b0)E(b1)=E(b0b1)−β0β1σ(b0,b1)=E(b0b1)−E(b0)E(b1)=E(b0b1)−β0β1 \sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = E(b_0 b_1) - \beta_0 \beta_1 але тут немає і сліду та .β0β0\beta_0β1β1\beta_1

36 regression 

Бенджаміні та Хохберг розробили перший (і досі найбільш широко використовується, я думаю,) метод контролю швидкості виявлення помилок (FDR). Я хочу розпочати з купки значень P, кожне для іншого порівняння, і вирішити, які з них досить низькі, щоб їх можна було назвати "відкриттям", контролюючи FDR до заданого значення (скажімо, 10%). Одне …

36 multiple-comparisons  non-independent  false-discovery-rate