Статистика та великі дані

У мене є точна randomForestмодель класифікації, яку я хотів би використовувати в додатку, який передбачає клас нового випадку. У новому випадку неминуче відсутні значення. Прогнозуйте, що НС не працюватиме як така. Як мені це робити тоді? data(iris) # create first the new case with missing values na.row<-45 na.col<-c(3,5) case.na<-iris[na.row,] case.na[,na.col]<-NA …

9 r  random-forest  prediction  missing-data 

Я сподіваюся, що це правильне місце для запитання, якщо не сміливо перенести його на більш відповідний форум. Я досить довго задавався питанням, як лікувати неквадратичні інтегруючі функції за допомогою інтеграції Monte Carlo. Я знаю, що MC все ж дає належну оцінку, але помилка недостовірна (розходяться?) Для таких функцій. Обмежимося одним …

9 monte-carlo  numerical-integration 

Якщо це розподіли Пуассона з параметром я розробив, що максимальна оцінка ймовірності - для даних . Тому ми можемо визначити відповідний оцінювач Моє запитання - як би ви розробили дисперсію цього оцінника?К1, … ,КнК1,…,КнK_1, \dots, K_nββ\betaβ^(к1, … ,кн) =1н∑i = 1нкiβ^(к1,…,кн)=1н∑i=1нкi\hat\beta (k_1, \dots, k_n) = \frac{1}{n} \sum_{i=1}^n k_iк1, … ,кнк1,…,кнk_1, …

9 variance  maximum-likelihood  poisson-distribution 

Читаючи Вікіпедію про канонічний кореляційний аналіз (CCA) для двох випадкових векторів і , мені було цікаво, чи головний компонентний анліз (PCA) такий, як CCA, коли ?XXXYYYX=YX=YX=Y

9 pca  multivariate-analysis  canonical-correlation 

Я не впевнений, чи повністю це питання тут підходить, якщо ні, видаліть. Я студент економіки. Для проекту, який досліджує проблеми соціального страхування, я маю доступ до великої кількості звітів про адміністративні справи (> 200 тис.), Які стосуються оцінки відповідності. Ці звіти, можливо, можуть бути пов'язані з окремою адміністративною інформацією. Я …

9 machine-learning  data-mining  econometrics  text-mining  natural-language 

Ситуація У мене є набір даних з однією залежною і однією незалежною змінною . Я хочу встановити безперервну кусочно-лінійну регресію з відомими / фіксованими точками розриву, що виникають при . Прориви відомі без сумнівів, тому я не хочу їх оцінювати. Тоді я регресію (OLS) форми Ось приклад вуyyххxккk(а1,а2, … ,ак)(а1,а2,…,ак)(a_{1}, …

9 r  regression  standard-error  piecewise-linear 

Я намагаюся обчислити граничну ймовірність статистичної моделі методами Монте-Карло: f( x ) = ∫f( x ∣ θ ) π( θ )гθf(х)=∫f(х∣θ)π(θ)гθf(x) = \int f(x\mid\theta) \pi(\theta)\, d\theta Ймовірність добре ведеться - гладка, увігнута - але високомірна. Я спробував вибірку важливості, але результати непросто і сильно залежать від пропозиції, яку я використовую. …

9 monte-carlo  likelihood  marginal 

Я намагаюся взяти вибірку з задньої частини, яка має багато режимів, особливо далеких один від одного, використовуючи MCMC. Виявляється, що в більшості випадків лише один із цих режимів містить 95% к.с., які я шукаю. Я намагався реалізувати рішення на основі загартованого моделювання, але це не дає задовільних результатів, оскільки на …

9 sampling  mcmc  inference  convergence 

EDIT: З моменту створення цієї публікації я перейшов до додаткової публікації тут . Короткий зміст тексту нижче: Я працюю над моделлю і спробував лінійну регресію, трансформації Box Cox та GAM, але не досягнув особливого прогресу Використовуючи R, я в даний час працюю над моделлю , щоб передбачити успіх Малих бейсбольної …

9 r  multiple-regression  data-transformation  nonlinear-regression  gam 

Скажімо, я роблю аналіз, дивлячись на конкретний стан здоров'я. Мене цікавить різниця в тій мірі між пацієнтами та контрольними групами, і чи відрізняється різниця від 0. У минулому були проведені дослідження, що розглядали мій той самий дослідницький питання та міру здоров’я, але в різних зразках пацієнтів. У своєму байєсівському аналізі …

9 bayesian  meta-analysis  case-control-study 

Більшість цього є фоном, до кінця пропустіть, якщо ви вже знаєте достатньо про технологічні суміші Діріхле . Припустимо , я моделюючи деякі дані приходять з суміші процесів Діріхле, тобто нехай і зумовлюють припустимоЖ∼ D ( α H)Ж∼D(αН)F \sim \mathcal D(\alpha H)ЖЖFYi∼я i d∫f( у| θ)F( дθ ) .Yi∼iiг∫f(у|θ)Ж(гθ).Y_i \stackrel {iid}{\sim} …

9 bayesian  nonparametric-bayes 

Мені хотілося б обернути голову навколо цієї теми, але навчитися з довідок та навчальних посібників важко, оскільки існує багато прогалин, які зазвичай заповнюються підручниками. Якщо це важливо, я маю відносно сильний математичний досвід, як і докторський ступінь. з прикладної математики (CFD, якщо бути точнішим).

9 bayesian  nonparametric  references  nonparametric-bayes 

Чи правда, що за припущеннями Гаусса Маркова звичайний метод найменших квадратів дає ефективні та неупереджені оцінки? Тому: Е(ут) = 0Е(ут)=0E(u_t)=0 для усіх ттt Е(утус) =σ2Е(утус)=σ2E(u_tu_s)=\sigma^2 для t = sт=сt=s Е(утус) = 0Е(утус)=0E(u_tu_s)=0 для t ≠ sт≠сt\neq s де ууu є залишками.

9 regression  self-study  least-squares 

Я використовую аналіз прихованого класу для кластеризації вибірки спостережень на основі набору бінарних змінних. Я використовую R і пакет poLCA. У LCA потрібно вказати кількість кластерів, які ви хочете знайти. На практиці люди зазвичай запускають кілька моделей, в кожній із яких вказано різну кількість класів, а потім використовують різні критерії, …

9 data-visualization  mixture  latent-class 

Я намагаюся вивчити лінійну регресійну модель. Однак у мене є певна плутанина, пов'язана з нормалізацією даних. Я нормалізував функції / предиктори до нульової середньої та одиничної дисперсії. Чи потрібно мені те ж саме робити для цілі. Якщо так, чому?

9 regression  multiple-regression  normalization