Статистика та великі дані

У мене є дві частини багатовимірного набору даних, назвемо їх trainі test. І я хочу побудувати модель на основі набору даних поїздів, а потім перевірити її на тестовому наборі даних. Відомо кількість кластерів. Я спробував застосувати k-означає кластеризацію в R, і я отримав об'єкт, який містить центри кластерів: kClust <- …

14 r  clustering  k-means 

Яка асимптотична часова складність регресії Лассо в міру збільшення кількості рядків або стовпців?

14 lasso  time-complexity 

Я збираюся використовувати модель ARMA-GARCH для фінансових часових рядів і цікавився, чи повинна серія бути нерухомою перед застосуванням зазначеної моделі. Я знаю, щоб застосувати модель ARMA, серія повинна бути нерухомою, однак я не впевнений у ARMA-GARCH, оскільки я включаю помилки GARCH, які передбачають кластеризацію нестабільності та нестабільну дисперсію, а отже, …

14 time-series  finance  arma 

Чи можливо провести аналіз потужності для тесту Крускала-Уолліса та Манна-Вітні U? Якщо так, чи є R-пакети / функції, які виконують його?

14 r  nonparametric  power-analysis  kruskal-wallis 

У мене результати одного і того ж тесту застосовані до двох незалежних зразків: x <- c(17, 12, 13, 16, 9, 19, 21, 12, 18, 17) y <- c(10, 6, 15, 9, 8, 11, 8, 16, 13, 7, 5, 14) І я хочу обчислити тест з рейтинговою сумою Вілкоксона. Коли я …

14 r  wilcoxon-mann-whitney  wilcoxon-signed-rank 

У мене виникають проблеми з розумінням прокляття розмірності. Зокрема, я натрапив на це, виконуючи scikit-learnпідручник з пітона. Може хтось, будь ласка, пояснить нижче простішим способом? Вибачте, що я намагаюся розібратися довгий час і не можу зрозуміти, як вони придумали підрахунок кількості навчальних прикладів для досягнення ефективного оцінювача KNN? Ось пояснення: …

14 machine-learning 

Я намагаюся зрозуміти алгоритм Metropolis-Hastings, щоб написати код для оцінки параметрів моделі (тобто ). Відповідно до бібліографії алгоритм Метрополіс-Гастінгса має такі кроки:f(x)=a∗xf(x)=a∗xf(x)=a*x СтворитиYt∼q(y|xt)Yt∼q(y|xt)Y_t \sim q(y|x^t) Xt+1={Yt,xt,with probabilityρ(xt,Yt),with probability1−ρ(xt,Yt),Xt+1={Yt,with probabilityρ(xt,Yt),xt,with probability1−ρ(xt,Yt),X^{t+1}=\begin{cases} Y^t, & \text{with probability} \quad \rho(x^t,Y_t), \\ x^t, & \text{with probability} \quad 1-\rho(x^t,Y_t), \end{cases} деρ(x,y)=min(f(y)f(x)∗q(x|y)q(y|x),1)ρ(x,y)=min(f(y)f(x)∗q(x|y)q(y|x),1)\rho(x,y)=\min \left( \frac{f(y)}{f(x)}*\frac{q(x|y)}{q(y|x)},1 \right) Як я …

14 mcmc  metropolis-hastings 

Я намагаюся зрозуміти, як працює Випадковий ліс. Я розумію, як будуються дерева, але не можу зрозуміти, як випадковий ліс робить передбачення щодо зразка мішка. Хтось може мені дати просте пояснення, будь ласка? :)

14 random-forest  prediction 

Мені цікаво, чи міг би хтось повідомити мені, чи правильно я розрахував довірчий інтервал для різниці між двома пропорціями. Розмір вибірки - 34, з яких 19 - жінки та 15 - чоловіки. Тому різниця в пропорціях становить 0,1176471. Я обчислюю довірчий інтервал 95% для різниці між -0.1183872 та 0.3536814. Оскільки …

14 r  confidence-interval 

Нещодавно випадкові перегляди питань викликали пам’ять про невмілий коментар одного з моїх професорів кілька років тому попереджаючи про використання коефіцієнтів у регресійних моделях. Тож я почав читати це, ведучи врешті до Kronmal 1993. Я хочу переконатися, що я правильно інтерпретую його пропозиції щодо моделювання цих. Для моделі з співвідношенням з …

14 regression  modeling  interaction  weighted-regression  ratio 

Мені було просто цікаво, чи є в пуассоновій регресії помилка? Чи може регресія Пуассона мати випадкові наслідки та термін помилки? Я плутаюся з цього приводу. У логістичній регресії немає помилки, оскільки ваша змінна результат є двійковою. Це єдина модель glm, яка не має залишкового терміна?

14 regression  mixed-model  generalized-linear-model  poisson-regression 

Уявіть наступне налаштування: у вас є 2 монети, монета A, яка гарантовано є справедливою, і монета B, яка може бути, а може і не бути справедливою. Вас просять зробити 100 монет, і ваша мета - збільшити кількість головок . Ваша попередня інформація про монету B полягає в тому, що вона …

14 bayesian  decision-theory 

Ось мій контекст щодо цього питання: З того, що я можу сказати, ми не можемо виконати звичайну регресію найменших квадратів у R при використанні зважених даних та surveyпакету. Тут ми маємо використовувати svyglm(), яка замість цього виконує узагальнену лінійну модель (яка може бути одне і те саме? Я тут нечіткий …

14 r  generalized-linear-model  least-squares  r-squared  deviance 

Чи є сенс робити PCA перед проведенням випадкової лісової класифікації? Я маю справу з текстовими даними з високими розмірами, і я хочу зробити зменшення функції, щоб уникнути прокляття розмірності, але чи не випадкові ліси вже мають якесь зменшення розмірності?

14 classification  pca  random-forest  dimensionality-reduction  high-dimensional 

Чи може хто-небудь допомогти пояснити деякі математики, що стоять за класифікацією в CART? Я хочу зрозуміти, як відбуваються два основні етапи. Наприклад, я підготував класифікатор CART на наборі даних і використав тестовий набір даних для позначення його прогнозованої продуктивності, але: Як обирається початковий корінь дерева? Чому і як формується кожна …

14 regression  classification  data-mining  cart