Статистика та великі дані

У статистичній літературі є багато посилань на " функціональні дані " (тобто дані, які є кривими), і паралельно на " дані високих розмірів " (тобто, коли дані є великомірними векторами). Моє запитання - про різницю між двома типами даних. Коли ми говоримо про застосовані статистичні методології, які застосовуються у випадку …

10 data-mining  signal-processing  curve-fitting  wavelet 

Тести мультиплікатора Wald, коефіцієнта ймовірності та Lagrange у контексті максимальної оцінки ймовірності є асимптотично еквівалентними. Однак для невеликих зразків вони, як правило, розходяться зовсім небагато, а в деяких випадках призводять до різних висновків. Як їх можна класифікувати відповідно до того, наскільки ймовірним є відхилення нуля? Що робити, коли тести мають …

10 hypothesis-testing  maximum-likelihood 

Ще одне питання щодо часових рядів у мене. У мене є набір даних, який щоденно реєструє випадки насильства в психіатричній лікарні протягом трьох років. За допомогою попереднього запитання я поспілкувався з цим і зараз трохи щасливіший. Зараз у мене є те, що щоденні серії дуже галасливі. Він коливається дико, вгору …

10 time-series  forecasting 

Я пропоную спробувати знайти тенденцію в деяких дуже галасливих довгострокових даних. Дані - це, в основному, щотижневі вимірювання чогось, що рухалося приблизно на 5 мм протягом приблизно 8 місяців. Дані складаються з точності 1 мм і дуже шумно регулярно змінюються +/- 1 або 2 мм на тиждень. Ми маємо дані …

10 time-series  data-mining  signal-processing  trend 

Які хороші бібліотеки візуалізації для використання в Інтернеті? Чи зручні вони у використанні та чи є хороша документація?

10 data-visualization  protovis 

Під час обчислювального навчання теорема NFL стверджує, що не існує універсального учня. Для кожного алгоритму навчання існує розподіл, який обумовлює виведення учням гіпотезу з великою помилкою, з високою ймовірністю (хоча гіпотез помилок низький). Висновок полягає в тому, що для того, щоб навчитися, клас гіпотезу або розподіли повинні бути обмежені. У …

10 k-nearest-neighbour  consistency 

Хворий приймається до лікарні. Тривалість їхнього перебування залежить від двох речей: тяжкості їхніх травм та того, скільки їх страхування готові заплатити, щоб утримати їх у лікарні. Деякі пацієнти залишають передчасно, якщо їх страхування вирішить припинити оплату за перебування. Припустимо наступне: 1) Тривалість перебування розподіляється пуассоном (просто припустимо, що це зараз, …

10 maximum-likelihood  modeling 

Закрито . Це питання ґрунтується на думці . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб на нього можна було відповісти фактами та цитатами, відредагувавши цю публікацію . Закритий минулого року . Переглядаючи область досліджень 100 найпопулярніших програм статистики новин США, майже всі вони важкі в баєсівській …

10 bayesian  frequentist 

В даний час я досліджую візуалізацію об'ємних даних за допомогою t-SNE. У мене є деякі дані зі змішаними бінарними та безперервними змінними, і, схоже, ці дані занадто легко кластерують бінарні дані. Звичайно, це очікується для масштабованих (між 0 і 1) даних: евклідова відстань завжди буде найбільшим / найменшим між бінарними …

10 python  dimensionality-reduction  unsupervised-learning  tsne  mixed-type-data 

Процес Поріса і Гаусса Діріхле часто називають "розподілами по функціях" або "розподілами над розподілами". У цьому випадку я можу змістовно говорити про щільність функції під GP? Тобто, чи мають процес Гаусса чи Діріхле певне поняття щільності ймовірності? Якщо це не так, як ми можемо використовувати правило Байєса переходити до переднього, …

10 machine-learning  probability  bayesian  nonparametric  nonparametric-bayes 

Чи існує раціональна кількість спостережень на кластер у моделі випадкових ефектів? У мене розмір вибірки 1500 з 700 кластерами, змодельованими як обмінний випадковий ефект. У мене є можливість об'єднати кластери, щоб створити менше, але більших кластерів. Цікаво, як я можу вибрати мінімальний розмір вибірки на кластер, щоб мати значущі результати …

10 mixed-model  sample-size  random-effects-model  power-analysis 

Припустимо, мене цікавить модель лінійної регресії для , тому що я хотів би побачити, чи взаємодія між двома коваріатами впливає на Y.Yi=β0+β1х1+β2х2+β3х1х2Yi=β0+β1x1+β2x2+β3x1x2Y_i = \beta_0 + \beta_1x_1 + \beta_2x_2 + \beta_3x_1x_2 У курсових записках професорів (з якими я не маю контактів) вказується: Якщо включати умови взаємодії, ви повинні включити їх умови …

10 regression  multiple-regression  interaction  linear-model 

Дозволяє X1,X2,...,XnX1,X2,...,XnX_1, X_2, . . . , X_n не бути випадковими змінними, що мають pdf fX(x∣θ)=θ(1+x)−(1+θ)I(0,∞)(x)fX(x∣θ)=θ(1+x)−(1+θ)I(0,∞)(x)f_X(x\mid\theta) =\theta(1 +x)^{−(1+\theta)}I_{(0,\infty)}(x) де θ>0θ>0\theta >0. Дайте UMVUE від1θ1θ\frac{1}{\theta} і обчислити її дисперсію Я дізнався про два таких методи для отримання UMVUE: Нижня межа Крамер-Рао (CRLB) Леманн-Шеффем Я збираюся спробувати це, використовуючи колишнє з двох. …

10 self-study  estimation  inference  exponential-family  umvue 

Мене бентежать заяви на веб-сторінці UCLA про регрес логістики змішаних ефектів. Вони показують таблицю коефіцієнтів фіксованих ефектів від пристосування такої моделі, і перший абзац, наведений нижче, здається, інтерпретує коефіцієнти точно як звичайна логістична регресія. Але тоді, коли вони говорять про коефіцієнти шансів, вони кажуть, що ви повинні інтерпретувати їх умовно …

10 logistic  mixed-model  generalized-linear-model  random-effects-model 

У мене виникає питання, яке, на мою думку, буде досить основним для багатьох користувачів. Я використовую лінійні регресійні моделі для (i) дослідження взаємозв'язку декількох пояснювальних змінних та моєї змінної відповіді та (ii) передбачення моєї змінної відповіді за допомогою пояснювальних змінних. Здається, одна конкретна пояснювальна змінна X значно впливає на мій …

10 statistical-significance  predictive-models  p-value  prediction  out-of-sample