Статистика та великі дані

Все в заголовку, чи є сенс використовувати підбір функції перед використанням випадкових лісів?

11 machine-learning  feature-selection  random-forest 

Я сподіваюся, що хтось може допомогти у тому, що, на мою думку, є відносно простим питанням, і я думаю, що знаю відповідь, але без підтвердження це стало чимось, в чому я просто не можу бути впевненим. У мене є деякі дані підрахунку як змінної відповіді, і я хочу виміряти, як …

11 r  binomial  proportion  glmm  lme4-nlme 

Які найприйнятніші способи візуалізації результатів незалежного двох вибіркових тестів? Чисельніша таблиця частіше використовується чи якийсь сюжет? Мета полягає у тому, щоб випадковий спостерігач подивився на фігуру і відразу побачив, що вони, ймовірно, з двох різних груп населення.

11 data-visualization  t-test 

Я роблю попередню обробку даних і після цього збираюся створювати конвонети на своїх даних. Моє запитання: Скажіть, у мене є загальний набір даних зі 100 зображеннями, я обчислював середнє значення для кожного з 100 зображень, а потім віднімав його з кожного з зображень, потім розділяв це на набір поїздів і …

11 machine-learning  cross-validation  data-preprocessing 

Розглянемо AR (ppp) модель (припускаючи нульове середнє значення для простоти): xт=φ1хt - 1+ …+φpхт - р+εтxт=φ1хт-1+…+φpхт-p+εт x_t = \varphi_1 x_{t-1} + \dotsc + \varphi_p x_{t-p} + \varepsilon_t Оцінювач OLS (еквівалентний умовно- максимальній оцінці ймовірності) дляφ : = (φ1, … ,φp)φ: =(φ1,…,φp)\mathbf{\varphi} := (\varphi_1,\dotsc,\varphi_p)як відомо в недавній темі , як відомо, …

11 time-series  maximum-likelihood  autoregressive  unbiased-estimator 

(досить довгий пост, вибачте. Він містить багато довідкової інформації, тому сміливо переходьте до питання внизу.) Вступ: Я працюю над проектом, де ми намагаємось визначити вплив бінарної ендогенної змінної, , на постійний результат, . Ми придумали інструмент , на який ми впевнені, що він призначений як- небудь випадково.х1x1x_1уyyz1z1z_1 Дані: Самі дані …

11 econometrics  interpretation  binary-data  instrumental-variables 

Коли набір рівнянь неможливо вирішити аналітично, тоді ми можемо використовувати алгоритм спуску градієнта. Але, схоже, існує також метод моделювання Монте-Карло, який можна використовувати для вирішення проблем, які не мають аналітичних рішень. Як сказати, коли використовувати градієнтний спуск і коли використовувати Монте-Карло? Або я просто плутаю термін "моделювання" з "оптимізацією"? Дуже …

11 monte-carlo  gradient-descent 

Зокрема, припустимо ХXX і YYYє нормальними випадковими змінними (незалежними, але не обов'язково однаково розподіленими). З огляду на будь-який конкретнийаaa, чи є приємна формула для П( макс. ( X), Y) ≤ x )P(max(X,Y)≤x)P(\max(X,Y)\leq x)чи подібні поняття? Чи знаємо ми це?макс ( X, Y)max(X,Y)\max(X,Y) зазвичай розподіляється, можливо, формула середнього та стандартного відхилень …

11 normal-distribution  extreme-value 

Основна проблема Ось моя основна проблема: я намагаюся згрупувати набір даних, що містить кілька дуже перекошених змінних з підрахунками. Змінні містять багато нулів і тому не дуже інформативні для моєї процедури кластеризації - що, швидше за все, буде алгоритмом k-значень. Тонко, скажете ви, просто перетворіть змінні за допомогою квадратного корінця, …

11 clustering  data-transformation  k-means  count-data  compositional-data 

Я аналізую таблицю 2x2 з невеликого набору даних з 30 пацієнтів. Ми ретроспективно намагаємось знайти деякі змінні, які дають підказку щодо того, яке лікування вибрати. Змінні (нормальні / дивні) та рішення щодо лікування (A / B) представляють особливий інтерес, тому дані виглядають так: Obs / Tr. Груд.нормальнийдивноА12012Б1351825530Obs/Tr. Dec.ABnormal121325strange055121830\begin{array} {|r|r|r|r|} \hline …

11 chi-squared  power  contingency-tables  fishers-exact 

Питання таке: Випадкова вибірка з n значень збирається з негативного біноміального розподілу з параметром k = 3. Знайдіть максимальну оцінку ймовірності параметра π. Знайдіть асимптотичну формулу для стандартної помилки цього оцінювача. Поясніть, чому негативний біноміальний розподіл буде приблизно нормальним, якщо параметр k досить великий. Які параметри цього нормального наближення? Моя …

11 self-study  maximum-likelihood  negative-binomial 

Я намагаюся моделювати середню інтенсивність паразитів, що впливають на господаря в R, використовуючи негативну біноміальну модель. Я постійно отримую 50 або більше попереджень, які говорять: In dpois(y, mu, log = TRUE) : non-integer x = 251.529000 Як я можу впоратися з цим? Мій код виглядає приблизно так: mst.nb = glm.nb(Larvae+Nymphs+Adults~B.type+Month+Season, …

11 r  generalized-linear-model  negative-binomial 

Після коментаря з попередньої теми , я хочу знати, як можна перевірити припущення про загальну тенденцію між лікувальною та контрольною групою методом "Різниця у різниці"? Чи можу я перевірити це припущення з даними двох часових моментів (наприклад, базове обстеження у 2002 р., Лікування відбувається з 2002 по 2006 р. Та …

11 difference-in-difference 

Я читаю книгу Кевіна Мерфі: Машинне навчання - ймовірнісна перспектива. У першому розділі автор пояснює прокляття розмірності, і є частина, яку я не розумію. Як приклад, автор зазначає: Розглянемо, що входи рівномірно розподілені по D-мірному кубі одиниці. Припустимо, ми оцінюємо щільність міток класу шляхом вирощування гіпер куба навколо х до …

11 self-study  k-nearest-neighbour  high-dimensional 

Я розумію різницю між k medoid і k означає. Але чи можете ви надати мені приклад із невеликим набором даних, де вихід k медоїда відрізняється від k означає вихід.

11 k-means  k-medoids