Запитання з тегом «large-data»

Після проведення аналізу основних компонентів (PCA) я хочу спроектувати новий вектор на простір PCA (тобто знайти його координати в системі координат PCA). Я розрахував PCA мовою R за допомогою prcomp. Тепер я повинен мати можливість помножити свій вектор на матрицю обертання PCA. Чи повинні головні компоненти в цій матриці розташовуватися …

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

Я витрачаю деякий час на вивчення машинного навчання (вибачте за рекурсію :), і мені не вдалося заінтригувати правилом вибору градієнтного спуску над рішенням прямого рівняння для обчислення коефіцієнтів регресії, у випадку багатовимірної лінійної регресії. Правило: якщо кількість функцій (коефіцієнти зчитування / незалежні змінні) становить від або вище мільйона, перейдіть за …

18 machine-learning  multiple-regression  large-data 

Я використовую SAS професійно вже близько 5 років. У мене він встановлений на моєму ноутбуці і часто доводиться аналізувати набори даних за допомогою 1000-2000 змінних і сотень тисяч спостережень. Я шукав альтернативи SAS, які дозволяють мені проводити аналізи на схожих наборах даних. Мені цікаво, що інші люди використовують у таких …

18 r  sas  large-data 

Через факториальне розподіл пуассона стає недоцільним оцінювати пуассонові моделі (наприклад, використовуючи максимальну ймовірність), коли спостереження великі. Так, наприклад, якщо я намагаюся оцінити модель, щоб пояснити кількість самогубств за певний рік (доступні лише щорічні дані), і скажу, що тисячі самогубств щороку є, чи неправильно виражати самогубства в сотні , щоб 2998 …

17 modeling  poisson-distribution  large-data 

У мене є невелика проблема, яка змушує мене лякатися. Я маю написати процедуру онлайн-процесу придбання багатовимірного часового ряду. Кожен проміжок часу (наприклад, 1 секунда) я отримую новий зразок, який в основному є вектором з плаваючою точкою розміром N. Операція, яку я повинен зробити, є трохи хитрою: Для кожного нового зразка …

16 algorithms  quantiles  online  large-data 

Нещодавно я провів аналіз впливу репутації на рекламних рефератах (див. Допис у блозі ), а згодом у мене виникло кілька питань щодо можливо більш просвічуючого (або більш підходящого) аналізу та графіки. Отож кілька запитань (і сміливо відповідайте на когось, зокрема, ігноруйте інших): У своєму втіленні я не мав на увазі …

15 data-visualization  large-data  fixed-effects-model 

Я працюю над проектом, який включає 14 змінних та 345 000 спостережень за даними про житло (такі речі, як рік побудови, квадратні метри, продана ціна, графство проживання тощо). Мене хвилює намагання знайти хороші графічні прийоми та бібліотеки R, які містять приємні методики побудови графіків. Я вже бачу, що в ggplot …

15 r  data-visualization  large-data  eda 

Моє запитання можна переосмислити як "як оцінити помилку вибірки за допомогою великих даних", особливо для публікації журналу. Ось приклад для ілюстрації виклику. З дуже великого набору даних (> 100000 унікальних пацієнтів та їх призначених ліків із 100 лікарень) я зацікавився оцінити частку пацієнтів, які приймають конкретний препарат. Отримати цю пропорцію …

14 confidence-interval  large-data  reporting 

Традиційно ми використовуємо змішану модель для моделювання поздовжніх даних, тобто таких даних, як: id obs age treatment_lvl yield 1 0 11 M 0.2 1 1 11.5 M 0.5 1 2 12 L 0.6 2 0 17 H 1.2 2 1 18 M 0.9 ми можемо припустити випадковий перехоплення або нахил …

14 machine-learning  data-transformation  random-forest  panel-data  large-data 

Я новачок у науці даних і маю проблему з пошуку кластерів у наборі даних із 200 000 рядків та 50 стовпців у Р. Оскільки дані мають як числові, так і номінальні змінні, такі методи, як K-засоби, які використовують евклідову міру відстані, не здаються відповідним вибором. Тому я звертаюся до PAM, …

13 r  clustering  sampling  large-data 

Скажімо, наш набір даних містить 1 мільйон прикладів, тобто , і ми хочемо використовувати спуск градієнта для виконання логістичної або лінійної регресії на цих наборах даних.х1, … , Х106x1,…,x106x_1, \ldots, x_{10^6} Що це з методом градієнтного спуску робить його неефективним? Нагадаємо, що крок градієнта спуску в момент часу задається:тtt шt …

13 machine-learning  gradient-descent  large-data 

З обмеженими знаннями, які я маю про SVM, це добре для короткої та жирної матриці даних (безліч функцій і не надто багато примірників), але не для великих даних.XXX Я розумію, одна з причин - матриця ядра - це матриця де є кількість екземплярів даних. Якщо у нас є 10000 даних, …

13 machine-learning  svm  large-data 

Я працюю над дуже великою лінійною проблемою регресії, розмір даних настільки великий, що їх потрібно зберігати на кластері машин. Це буде занадто великим, щоб об'єднати всі зразки в одну пам'ять однієї машини (навіть диск) Щоб зробити регресію цих даних, я думаю про паралельний підхід, тобто запустити регресію в кожному окремому …

13 regression  linear  large-data 

У мене дуже великий набір даних, і близько 5% випадкових значень відсутні. Ці змінні співвідносяться між собою. Наступний приклад набору даних R - це лише іграшковий приклад з манекено-корельованими даними. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

Я збираю дуже великі вибірки (> 1 000 000) категоричних даних щодня і хочу, щоб дані виглядали "суттєво" різними між днями, щоб виявити помилки в зборі даних. Я думав, що використання тесту на придатність (зокрема, G-тест) було б для цього добре (каламбур) призначений для цього. Очікуваний розподіл задається розподілом попереднього …

12 goodness-of-fit  large-data