Статистика та великі дані

Я виступав з R ANOVA і отримав значні відмінності. Однак, перевіряючи, які пари суттєво відрізнялися за допомогою процедури Tukey, я не отримав жодної з них. Як це можливо? Ось код: fit5_snow<- lm(Response ~ Stimulus, data=audio_snow) anova(fit5_snow) > anova(fit5_snow) Analysis of Variance Table Response: Response Df Sum Sq Mean Sq F …

18 anova  post-hoc  tukey-hsd 

Є слова з "Елементи статистичного навчання" на сторінці 91: K-центроїди в p-мірному вхідному просторі охоплюють не більше K-1 розмірного підпростору, і якщо p набагато більший за K, це буде значним зниженням розмірності. У мене є два питання: Чому K-центроїди в p-мірному вхідному просторі охоплюють щонайбільше K-1 розмірне підпростір? Як розташовані …

18 machine-learning  discriminant-analysis 

Мене бентежить питання про те, як обчислити здивування зразка затримки, коли роблять приховане розподілення Діріхле (LDA). Документи на тему бризнуть над нею, змушуючи мене думати, що я пропускаю щось очевидне ... Здивування сприймається як хороший показник ефективності для LDA. Ідея полягає в тому, щоб ви зберігали зразок проведення, навчали свій …

18 text-mining  topic-models 

Два пов'язаних з мене питання. У мене є кадр даних, який містить кількість пацієнтів в одному стовпчику (діапазон 10 - 17 пацієнтів) та 0 та 1, які показують, чи трапився інцидент того дня. Я використовую біноміальну модель, щоб регресувати ймовірність інциденту на кількості пацієнтів. Однак я хотів би пристосуватися до …

18 binomial  generalized-linear-model  offset 

Чи "похибка" така ж, як "стандартна помилка"? (Простий) приклад для ілюстрації різниці було б чудово!

18 definition 

Я планую зробити симуляційне дослідження, де я порівнюю ефективність декількох надійних методів кореляції з різними розподілами (косою, з атрибутами тощо). Під міцним , я маю на увазі ідеальний випадок бути стійким проти: а) перекошених розподілів, б) переживачів та в) важких хвостів. Поряд із співвідношенням Пірсона як базової лінії, я думав …

18 r  correlation  robust  spearman-rho  winsorizing 

Зокрема, як слід обчислювати стандартні похибки фіксованих ефектів у лінійній моделі змішаних ефектів (у частістському розумінні)? Мене припускають вважати, що типові оцінки ( ), такі як представлені у Laird and Ware [1982], дадуть SE тим, що недооцінюються за розміром, оскільки оцінювані компоненти дисперсії трактуються так, ніби вони є справжніми значеннями.V …

18 r  mixed-model  random-effects-model 

Я розглядаю використання ласо як методу вибору функцій та підгонки прогнозної моделі з бінарною ціллю. Нижче наведено якийсь код, з яким я грав, щоб спробувати метод з регульованою логістичною регресією. Моє запитання: я отримую групу "значущих" змінних, але чи можу я класифікувати їх для оцінки відносної важливості кожної? Чи можна …

18 logistic  importance  glmnet 

Я шукаю статті чи тексти, які порівнюють та обговорюють (емпірично чи теоретично): Подвоєння і дерев рішень алгоритми , такі як випадкових лісів або AdaBoost і GentleBoost стосовно до дерев рішень. з Методи глибокого навчання, такі як машини з обмеженим Больцманом , ієрархічна часова пам’ять , конволюційні нейронні мережі тощо. Більш …

18 machine-learning  deep-learning  cart  rbm  adaboost 

Часто стверджується, що байєсівська рамка має велику перевагу в інтерпретації (над частотою), оскільки вона обчислює ймовірність параметра, заданого даними - замість як у частістські рамки. Все йде нормально.p ( x | θ )p ( θ | x )p(θ|x)p(\theta|x)p ( x | θ )p(x|θ)p(x|\theta) Але, ціле рівняння засноване на: p ( …

18 bayesian  interpretation  prior  likelihood  posterior 

У мене є точка (x, y), що мені потрібен лінійний регресор, щоб пройти через даний набір даних (X, Y). Як я реалізую це в R?

18 r  regression 

Хтось знає R, еквівалентний SAS PROC FREQ? Я намагаюся створити підсумкову описову статистику для декількох змінних одночасно.

18 r  descriptive-statistics  sas 

Я намагаюся мінімізувати власну функцію. Він повинен прийняти п'ять параметрів і набір даних і робити всілякі обчислення, виробляючи єдине число як вихід. Я хочу знайти комбінацію з п'яти вхідних параметрів, яка дає найменший вихід моєї функції.

18 r  optimization 

Я хочу зробити класифікацію моїх текстових даних. У мене 300 classes200 навчальних документів на заняття (так 60000 documents in total), і це, ймовірно, призведе до дуже високих розмірних даних (ми можемо шукати розміри, що перевищують 1 мільйон ). Я хотів би виконати наступні кроки в трубопроводі (просто щоб ви зрозуміли, …

18 machine-learning  classification  text-mining 

Зачинено. Це питання поза темою . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно було тематичним для перехресної перевірки. Закрито 3 роки тому . Як я можу додати нову змінну в кадр даних, який буде відсотковим рангом однієї зі змінних? Я можу це зробити в Excel …

18 r  quantiles