Статистика та великі дані

Я працюю з моделями GBM, використовуючи пакет caret і шукаю спосіб вирішити інтервали передбачення для моїх прогнозованих даних. Я широко шукав, але придумав лише кілька ідей, щоб знайти інтервали передбачення для Random Forest. Будь-який код допомоги / R буде дуже вдячний!

12 caret  prediction-interval  gbm 

Я хотів би застосувати функцію бази Гаусса в реалізації лінійної регресії. На жаль, мені важко зрозуміти пару параметрів у базовій функції. Зокрема μμ\mu і σσ\sigma . Мій набір даних - матриця 10 000 х 31. 10 000 зразків та 31 особливість. Я читав, що "Кожна основна функція перетворює вхідний вектор …

12 regression  machine-learning  basis-function 

У частині запитання домашнього завдання мене попросили обчислити обрізану середню для набору даних, видаливши найменше і найбільше спостереження, та інтерпретувати результат. Обрізана середня була нижчою, ніж середня середня. Моя інтерпретація полягала в тому, що основний розподіл був позитивно перекошений, тому лівий хвіст щільніше, ніж правий хвіст. В результаті цього перекосу …

12 data-visualization  interpretation  mean  trimmed-mean 

Співвідношення двох незалежних нормальних розподілів дає розподіл Коші. T-розподіл - це нормальний розподіл, розділений на незалежний розподіл chi-квадрата. Співвідношення двох незалежних чі-квадратних розподілів дає F-розподіл. Я шукаю співвідношення незалежних безперервних розподілів, яке дає нормально розподілену випадкову змінну із середнім та дисперсією ?σ 2мкмк\muσ2σ2\sigma^2 Можливо, існує нескінченний набір можливих відповідей. Чи …

12 probability  distributions  normal-distribution  mathematical-statistics 

R version 3.1.1 (2014-07-10) -- "Sock it to Me" > bl <- c(140, 138, 150, 148, 135) > fu <- c(138, 136, 148, 146, 133) > t.test(fu, bl, alternative = "two.sided", paired = TRUE) Error in t.test.default(fu, bl, alternative = "two.sided", paired = TRUE) : data are essentially constant Тоді …

12 r  t-test 

Я працюю над статистикою для побудови програмного забезпечення. У мене є дані про кожну збірку про пропуск / відмову та минулий час, і ми генеруємо ~ 200 таких / тиждень. Коефіцієнт успішності легко агрегувати, я можу сказати, що 45% пройшли будь-який тиждень. Але я також хотів би узагальнити минулий час, …

12 outliers  robust  average 

Короткий зміст: Чи існує яка-небудь статистична теорія, яка б підтримувала використання -розподілу (зі ступенями свободи на основі залишкового відхилення) для тестів коефіцієнтів логістичної регресії, а не стандартного нормального розподілу?ttt Деякий час тому я виявив, що при встановленні логістичної регресійної моделі в SAS PROC GLIMMIX, за замовчуванням, коефіцієнти логістичної регресії перевіряються …

12 r  logistic  mathematical-statistics  sas  degrees-of-freedom 

Я користувач, більш знайомий з R, і намагаюся оцінити випадкові схили (коефіцієнти відбору) приблизно для 35 осіб протягом 5 років за чотирма змінними середовища проживання. Змінна відповіді - це те, чи місце розташування "використано" (1) або "доступне" (0) середовище ("використання" нижче). Я використовую 64-розрядний комп'ютер Windows. У R версії 3.1.0 …

12 r  binomial  sas  random-effects-model  lme4-nlme 

Я намагаюся обвести голову навколо пакета посередництва в R, використовуючи віньєтку для пакета. Я намагаюся зрозуміти вихід mediate()функції. require("mediation") require("sandwich") data("framing") med.fit <- lm(emo ~ treat + age + educ + gender + income, data = framing) out.fit <- glm(cong_mesg ~ emo + treat + age + educ + gender …

12 r  mediation 

Я часто бачу, як люди, які роблять розмір / особливість набору даних, мають нульове значення, видаляючи середнє з усіх елементів. Але я ніколи не розумів, навіщо це робити? Який ефект робити це як крок попередньої обробки? Чи покращує це ефективність класифікації? Чи допомагає це відповісти щось про набір даних? Чи …

12 data-mining  dataset 

У мене є питання / плутанина щодо стаціонарних серій, необхідних для моделювання з ARIMA (X). Я думаю про це більше з точки зору висновку (ефекту від втручання), але хотів би знати, чи прогнозування проти умовиводу має якусь різницю у відповіді. Питання: Усі прочитані вами вступні ресурси стверджують, що серія повинна …

12 time-series  econometrics  arima  inference 

Я часто бачив дискретні набори даних, побудовані у вигляді графіків ліній, але мені здається, що лінія визначає значення в точці між інтервалами вимірювання, що не має сенсу для дискретних наборів даних. Чи не так це використання лінійних графіків для дискретних даних неправильно? Як приклад, візьміть два набори даних часового ряду, …

12 data-visualization 

Я науковий співробітник лабораторії (волонтер). Я та мала група отримали завдання щодо аналізу даних для набору даних, отриманих із великого дослідження. На жаль, дані були зібрані за допомогою якогось інтернет-додатка, і вони не були запрограмовані для виведення даних у найбільш зручній формі. На малюнках нижче зображено основну проблему. Мені сказали, …

12 r  excel  data-cleaning 

Тут обговорюється неправильне трактування припущення про нормальність в лінійній регресії (що "нормальність" позначає X та / або Y, а не залишки), і плакат запитує, чи можливо не нормально розподілені X і Y і все ще мають нормально розподілені залишки. Моє запитання: як правило, розподілені X і Y мають більше шансів …

12 regression  normal-distribution  data-transformation  residuals  assumptions 

Припустимо, у нас є IID випадкові величини з розподілом B e r ( θ ) . Ми будемо спостерігати зразок X я «S наступним чином: нехай Y 1 , ... , Y п незалежні В е г ( 1 / +2 ) випадкові величини, припустимо , що всі X я …

12 probability-inequalities