Запитання з тегом «missing-data»

У мене дуже великий набір даних, і близько 5% випадкових значень відсутні. Ці змінні співвідносяться між собою. Наступний приклад набору даних R - це лише іграшковий приклад з манекено-корельованими даними. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

Я намагаюсь виявити аномальні значення у часовій серії кліматичних даних з деякими відсутніми спостереженнями. Шукаючи в Інтернеті, я знайшов багато доступних підходів. З них, розкладання stl здається привабливим, у сенсі вилучення тренду та сезонних компонентів та вивчення решти. Читання STL: Процедура декомпозиції сезонного тренду, що базується на Лоссі , stlвидається …

12 r  time-series  outliers  missing-data 

Є одна змінна в моїх даних, яка містить 80% відсутніх даних. Дані відсутні через відсутність (тобто скільки банківської позики заборгувала компанія). Я наткнувся на статтю, в якій сказано, що метод коригування змінної манекена є рішенням цієї проблеми. Значить, мені потрібно перетворити цю суцільну змінну в категоричну? Це єдине рішення? Я …

12 missing-data 

Моє питання спрямоване на методи боротьби з неповними даними під час навчання класифікатора / моделі / підгонки. Наприклад, у наборі даних із кількома сотнями рядків, у кожному рядку якого, скажімо, п'ять вимірів та мітка класу як останній елемент, більшість точок даних виглядатиме так: [0,74, 0,39, 0,14, 0,33, 0,34, 0] Деякі …

12 missing-data 

У мене є цей величезний набір даних, що містить 2500 змінних і як 142 спостереження. Я хочу запустити кореляцію між змінною X та рештою змінних. Але для багатьох стовпців записи відсутні. Я спробував це зробити в R, використовуючи аргумент "попарно-повний" ( use=pairwise.complete.obs), і він вивів купу кореляцій. Але тоді хтось …

12 r  correlation  missing-data  correlation-matrix 

Нещодавно я переглянув алгоритм XGBoost і помітив, що цей алгоритм може обробляти відсутні дані (не вимагаючи імпутації) на етапі навчання. Мені було цікаво, чи може XGboost обробляти відсутні дані (не вимагаючи імпутації), коли він використовується для прогнозування нових спостережень або необхідно імпутувати відсутні дані. Заздалегідь спасибі.

12 machine-learning  missing-data  data-imputation  xgboost 

Я використовую "glmnet" для регресії ласо в GWAS. Деякі варіанти та особи мають відсутні значення, і, здається, glmnet не може обробити пропущені значення. Чи є для цього рішення? чи є інший пакет, який може обробляти пропущені значення в регресії ласо? Ось мої сценарії. > library(glmnet) > geno6<-read.table("c6sigCnt.geno") > geno6[1:10,1:10] #genotype …

12 missing-data  lasso  glmnet 

Я спробував метод прогнозування і хочу перевірити, чи правильний мій метод чи ні. Моє дослідження порівнює різні види пайових фондів. Я хочу використовувати індекс GCC як орієнтир для одного з них, але проблема полягає в тому, що індекс GCC зупинився у вересні 2011 року, а моє дослідження - з січня …

12 time-series  forecasting  missing-data 

Я ніколи не знаходив жодного хорошого тексту чи прикладів, як обробляти "неіснуючі" дані для входів до будь-якого класифікатора. Я багато читав про відсутні дані, але що можна зробити щодо даних, які не можуть або не існують стосовно багатовимірних входів. Я розумію, що це дуже складне запитання і буде змінюватися залежно …

11 missing-data 

У мене є така проблема: - Набір з N людей - Ми встановили K зображень - Кожна людина оцінює деяку кількість зображень. Людині зображення може подобатися чи не подобатися (це єдині дві можливості). - Проблема полягає в тому, як обчислити ймовірність того, що якійсь людині подобається певний образ. Наведу приклад, …

11 missing-data  rating 

У mgcvпакеті Rє дві функції для встановлення тензорних взаємодій між продуктами: te()і ti(). Я розумію основний розподіл праці між двома (встановлення нелінійної взаємодії проти декомпозиції цієї взаємодії на основні ефекти та взаємодію). Чого я не розумію, це чому te(x1, x2)і ti(x1) + ti(x2) + ti(x1, x2)може давати (трохи) різні результати. …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Чи точне зважування є основним для мета-аналізу? Боренштейн та ін. (2009) пишуть, що для мета-аналізу можливим є все необхідне: Дослідження повідомляють про бальну оцінку, яка може бути виражена як одне число. Для цієї бальної оцінки може бути обчислена варіація. Мені не відразу зрозуміло, чому (2) суворо необхідний. Дійсно, всі широко …

10 variance  sample-size  missing-data  meta-analysis 

Цікаво, чи хтось міг би дати деяке уявлення про те, чому імпутація відсутніх даних краще, ніж просто побудова різних моделей для випадків із відсутніми даними. Особливо у випадку [узагальнених] лінійних моделей (я, можливо, бачу, що в нелінійних випадках все по-іншому) Припустимо, у нас є основна лінійна модель: Y= β1Х1+ β2Х2+ …

10 regression  missing-data  data-imputation 

У мене є GLMM форми: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Під час використання drop1(model, test="Chi")я отримую інші результати, ніж якщо я використовую Anova(model, type="III")з автомобільного пакета або summary(model). Ці два останні дають однакові відповіді. Використовуючи купу сфабрикованих даних, я виявив, що …

10 r  anova  glmm  r  mixed-model  bootstrap  sample-size  cross-validation  roc  auc  sampling  stratification  random-allocation  logistic  stata  interpretation  proportion  r  regression  multiple-regression  linear-model  lm  r  cross-validation  cart  rpart  logistic  generalized-linear-model  econometrics  experiment-design  causality  instrumental-variables  random-allocation  predictive-models  data-mining  estimation  contingency-tables  epidemiology  standard-deviation  mean  ancova  psychology  statistical-significance  cross-validation  synthetic-data  poisson-distribution  negative-binomial  bioinformatics  sequence-analysis  distributions  binomial  classification  k-means  distance  unsupervised-learning  euclidean  correlation  chi-squared  spearman-rho  forecasting  excel  exponential-smoothing  binomial  sample-size  r  change-point  wilcoxon-signed-rank  ranks  clustering  matlab  covariance  covariance-matrix  normal-distribution  simulation  random-generation  bivariate  standardization  confounding  z-statistic  forecasting  arima  minitab  poisson-distribution  negative-binomial  poisson-regression  overdispersion  probability  self-study  markov-process  estimation  maximum-likelihood  classification  pca  group-differences  chi-squared  survival  missing-data  contingency-tables  anova  proportion 

Gelman & Hill (2006) кажуть: У помилках пропущені результати в регресії можна легко впоратися, просто включивши вектор даних, NA та все. Помилки явно моделює змінну результатів, і тому тривіально використовувати цю модель для ефекту імпульсування відсутніх значень при кожній ітерації. Це звучить як простий спосіб використання JAGS для прогнозування. Але …

10 missing-data  bugs  jags