Статистика та великі дані

Роки тому я знайшов цю ідентичність шляхом експериментування, граючи з даними та перетвореннями. Пояснивши це моєму професору статистики, він прийшов у наступний клас із підтвердженням на одній сторінці, використовуючи векторні та матричні позначення. На жаль, я втратив папери, які він мені дав. (Це було ще в 2007 році) Чи може …

9 regression  r-squared 

У книзі "Вступ до машинного навчання" Етема Альпайдіна зазначено, що розмір VC прямокутника, орієнтованого на вісь, дорівнює 4. Але як можна прямокутник розбити набір із чотирьох колінеарних точок з чергуванням позитивних та негативних точок ?? Чи може хтось пояснити та довести розмір ВК прямокутника?

9 classification  vc-dimension 

У логістичній узагальненій лінійній змішаній моделі (сімейство = двочлен) я не знаю, як інтерпретувати дисперсію випадкових ефектів: Random effects: Groups Name Variance Std.Dev. HOSPITAL (Intercept) 0.4295 0.6554 Number of obs: 2275, groups: HOSPITAL, 14 Як інтерпретувати цей числовий результат? У мене в багатоцентровому дослідженні є зразок ниркових трансплантованих пацієнтів. Я …

9 r  lme4-nlme 

Я намагаюся генерувати кореляційну матрицю (симетричний psd) із заздалегідь заданою структурою sparsity (заданою графіком на вузлах). Вузли, які з'єднані на графіку, мають кореляцію , решта всі - 0, а діагональ - 1.p×pp×pp\times ppppρ∼U(0,1)ρ∼U(0,1)\rho \sim U(0,1) Я кілька разів намагався створити цю матрицю, але лише рідко отримую дійсну кореляційну матрицю. Чи …

9 correlation  matrix  sparse  correlation-matrix 

Одним із методів оцінювання конкурсу ImageNet (класифікація зображень на 1000 категорій) є помилка топ-5, що це означає? Дивіться: http://www.image-net.org/challenges/LSVRC/

9 machine-learning  classification  computer-vision 

Позаконтекстна коротка версія Нехай - випадкова величина з CDF yyyF(⋅)≡{θθ+(1−θ)×CDFlog-normal(⋅;μ,σ) y = 0 y > 0F(⋅)≡{θ y = 0 θ+(1−θ)×CDFlog-normal(⋅;μ,σ) y > 0 F(\cdot) \equiv \cases{\theta & y = 0 \\ \theta + (1-\theta) \times \text{CDF}_{\text{log-normal}}(\cdot; \mu, \sigma) & y > 0} Скажімо, я хотів імітувати малюнки за допомогою зворотного …

9 r  distributions  sampling  simulation  copula 

Методом найменших квадратів ми хочемо оцінити невідомі параметри в моделі: Yj= α + βхj+εj( j = 1 ... n )Yj=α+βxj+εj(j=1...n)Y_j = \alpha + \beta x_j + \varepsilon_j \enspace (j=1...n) Після того як ми зробили це (для деяких спостережуваних значень), ми отримаємо пристосовану регресійну лінію: Yj=α^+β^х +еj( J = 1 , …

9 regression  least-squares  residuals  heteroscedasticity  assumptions 

Я використав функцію 'polr' в пакеті MASS, щоб запустити порядкову логістичну регресію для порядкової категоріальної змінної відповіді з 15 безперервними пояснювальними змінними. Я використовував код (показаний нижче), щоб перевірити, чи відповідає моя модель припущенню пропорційних шансів, виконуючи поради, наведені в посібнику UCLA . Однак я трохи переживаю за результат, що …

9 r  logistic  assumptions  ordered-logit  polr 

У мене різні змінні, які взаємодіють у межах популяції. В основному я робив інвентаризацію міліпед і вимірював деякі інші значення місцевості, наприклад: Вид і кількість зібраних особин Різне середовище, де знаходяться тварини рН Відсоток органічного матеріалу кількість P, K, Mg, Ca, Mn, Fe, Zn, Cu Відношення Ca + Mg / …

9 pca  multivariate-analysis  ecology  correspondence-analysis 

Тільки тому, що якийсь кореспондент поставив цікаве питання щодо методів обчислення автокореляції, я почав з ним грати, майже не маючи ніяких знань про часові ряди та автокореляцію. Кореспондент розмістив свої дані ( точки даних часового ряду), зміщені на один часовий проміжок, крім того, щоб у нього була матриця даних (наскільки …

9 time-series  pca 

Розглянемо лінійну модель уi= α + βхi+ϵiyi=α+βxi+ϵiy_i= \alpha + \beta x_i + \epsilon_i і оцінки для нахилу та перехоплення та використовуючи звичайні найменші квадрати. Це посилання на математичну статистику робить твердження про те, що і є незалежними (на підтвердження своєї теореми).α^α^\hat{\alpha}β^β^\hat{\beta}α^α^\hat{\alpha}β^β^\hat{\beta} Я не впевнений, що розумію, чому. З тих пір …

9 regression 

Я зайнятий моделюванням ARIMA, доповненим екзогенними змінними для цілей рекламного моделювання, і мені важко пояснити це діловим користувачам. У деяких випадках програмні пакети закінчуються простою функцією передачі, тобто параметром * Exogenous Variable. У цьому випадку інтерпретація є простою, тобто промоційна діяльність X (представлена ​​екзогенною бінарною змінною) впливає на залежну змінну …

9 time-series  data-visualization  forecasting  arima  causality 

Я хочу порахувати / оцінити згортку г( х ) =∫Df( x - t ) ϕ ( t ) dт ,g(x)=∫Df(x−t)ϕ(t)dt,g(x)=\int_D f(x-t) \phi(t) dt, де є щільністю і гладка функція з компактним носієм . Згортання не доступне у закритій формі, і мені потрібно її інтегрувати чисельно. Моє запитання: чи є ефективний …

9 r  convolution 

Чи може хтось пояснити, наскільки процедури FDR здатні оцінити FDR без моделі / припущення про базову ставку справжніх позитивних результатів?

9 false-discovery-rate 

У мене дуже рідкісні входи, наприклад, розташування певних функцій у вхідному зображенні. Далі кожна функція може мати декілька детектувань (не впевнений, чи це матиме відношення до дизайну системи). Це я буду представляти як «двійкове зображення» каналу k із пікселями ON, що представляють наявність цієї функції, і навпаки. Ми можемо бачити, …

9 neural-networks  deep-learning  sparse