Статистика та великі дані

З Quick-R Роберта Кабакоффа у мене є # Bootstrap 95% CI for regression coefficients library(boot) # function to obtain regression weights bs <- function(formula, data, indices) { d <- data[indices,] # allows boot to select sample fit <- lm(formula, data=d) return(coef(fit)) } # bootstrapping with 1000 replications results <- boot(data=mtcars, …

10 r  regression  p-value  bootstrap 

Двопробне порівняння пропорцій, оцінка розміру вибірки: R проти Stata Я отримав різні результати щодо розмірів вибірки: В Р power.prop.test(p1 = 0.70, p2 = 0.85, power = 0.90, sig.level = 0.05) Результат: н = 160,7777н=160.7777n = 160.7777 (так 161) для кожної групи. У штаті sampsi 0.70 0.85, power(0.90) alpha(0.05) Результат: для …

10 r  stata  sample-size  power-analysis  jmp 

Розділ 2.4 ESL, схоже, класифікує лінійну регресію як "засновану на моделі", оскільки вона передбачає , тоді як аналогічне наближення не вказано для k-найближчих сусідів. Але чи не обидва методи роблять припущення щодо ?f( x ) ≈ x ⋅ βf(x)≈x⋅βf(x) \approx x\cdot\betaf( х )f(x)f(x) Пізніше в 2.4 він навіть говорить: Найменші …

10 machine-learning  model  k-nearest-neighbour 

Я не знайшов жодної літератури щодо застосування випадкових лісів до MNIST, CIFAR, STL-10 тощо. Тому я подумав, що спробував би їх з інваріантним перестановкою MNIST. У R я спробував: randomForest(train$x, factor(train$y), test$x, factor(test$y), ntree=500) Це тривало протягом 2 годин і отримало 2,8% тестової помилки. Я також спробував scikit-learn , с …

10 r  machine-learning  classification  random-forest  scikit-learn 

Я намагаюся зрозуміти, що таке насичена модель. AFAIK - це коли ти маєш стільки ж особливостей, скільки спостережень. Чи можна сказати, що насичена модель - це особливий випадок надзвичайно приталеної моделі?

10 overfitting 

Я викладаю базовий курс статистики, і сьогодні я висвітлю тест незалежності для двох категорій та тест на однорідність. Ці два сценарії концептуально відрізняються, але можуть використовувати однакову тестову статистику та розподіл. При тесті на однорідність граничні підсумки для однієї з категорій вважаються частиною самої конструкції - вони представляють кількість досліджуваних, …

10 chi-squared  independence  heteroscedasticity  teaching 

У простій класифікації ми маємо два класи: клас-0 та клас-1. У деяких даних у мене є лише значення для класу-1, тому жодне для класу-0. Зараз я думаю про створення моделі для моделювання даних для 1 класу. Отже, коли з'являються нові дані, ця модель застосовується до нових даних і знаходить ймовірність, …

10 machine-learning  one-class 

Му гa t a s e t :My dataset:My \ \ dataset: 1 : А , В , С, Е1:A,B,C,E1: A,B,C,E 2 : А , С, D , E2:A,C,D,E2:A,C,D,E 3 : Б , С , Е3: B,C,E3:\ \ \ \ \ B,C,E 4 : А , С, D , E4:A,C,D,E4:A,C,D,E …

10 data-mining  dataset  association-rules 

Це питання / тема з'явилася під час обговорення з колегою, і я шукав деякі думки з цього приводу: Я моделюю деякі дані за допомогою логістичної регресії випадкових ефектів, точніше випадкової логістичної регресії. Для фіксованих ефектів у мене є 9 змінних, які представляють інтерес і враховуються. Я хотів би зробити якийсь …

10 mixed-model  model-selection  aic  glmm  stepwise-regression 

Методи ядра дуже ефективні у багатьох контрольованих завданнях класифікації. Отже, які обмеження є методами ядра та коли використовувати методи ядра? Особливо в епоху даних великого масштабу, якими є досягнення ядерних методів? Яка різниця між методами ядра та навчанням з кількома примірниками? Якщо дані є 500x10000, чи 500є кількість вибірок і …

10 machine-learning  kernel-trick 

Чи є чітке визначення слабоінформативного попереднього? Чим він відрізняється від суб'єктивного попереднього широкою підтримкою?

10 bayesian  prior 

Я провів експеримент, щоб перевірити клітинну чутливість до певного агента пошкодження ДНК. Ми знайшли 270 генів, які були особливо чутливими до препарату, і загальна кількість аналізованих генів становила 3668. 38 з 270 чутливих генів класифікуються як "гени відновлення ДНК". Якщо кількість "генів відновлення ДНК", що містяться в геномі, становить 112, …

10 biostatistics 

У наступному коді я здійснюю логістичну регресію на згрупованих даних за допомогою glm та "від руки" за допомогою mle2. Чому функція logLik в R дає мені ймовірність журналу logLik (fit.glm) = - 2.336, що відрізняється від одного logLik (fit.ml) = - 5.514, який я отримую вручну? library(bbmle) #successes in first …

10 r  self-study  generalized-linear-model 

Я працюю з нечіткою логікою (FL) протягом багатьох років, і я знаю, що існують відмінності між FL та ймовірністю, особливо стосовно того, як FL має справу з невизначеністю. Однак я хотів би запитати, які ще відмінності існують між FL та ймовірністю? Іншими словами, якщо я маю справу з ймовірностями (злиття …

10 bayes  fuzzy 

Нещодавно я познайомився з виправленнями Хоммеля Хохберга. Я намагаюся знайти просте пояснення щодо того, що це насправді / що робиться, але мені не пощастило. Чи може хто-небудь, будь ласка, дати короткий і простий опис про виправлення Хоммеля Хохберга?

10 hypothesis-testing  multiple-comparisons  p-value  glmm