Статистика та великі дані

Отже, у мене є матриця розміром приблизно 60 х 1000. Я розглядаю її як 60 об'єктів з 1000 особливостями; 60 об’єктів об’єднані в 3 класи (a, b, c). 20 предметів у кожному класі, і ми знаємо справжню класифікацію. Мені хотілося б вивчити під контролем цей набір з 60 прикладів навчання, …

12 machine-learning  classification  multilevel-analysis  random-forest  stratification 

Останнім часом я бачу багато робіт про розріджене уявлення, і більшість із них використовують норму і роблять деяку мінімізацію. Моє запитання: що є норма , а змішаною нормою? І наскільки вони мають відношення до регуляризації?ℓ p ℓ p , qℓpℓp\ell_pℓpℓp\ell_pℓp,qℓp,q\ell_{p, q} Дякую

12 machine-learning  regularization  sparse 

Якщо хтось робить заяву, як нижче: "Загалом, некурящі, які потрапляють під дію екологічного диму, мали відносний ризик ішемічної хвороби серця на 1,25 (95-відсотковий інтервал довіри, 1,17-1,32) порівняно з некурящими людьми, які не потрапляють до паління" Який відносний ризик для населення в цілому? Скільки речей пов’язано з ішемічною хворобою серця? З …

12 probability  statistical-significance  confidence-interval  conditional-probability  philosophical 

Яка / в чому різниця / і між цими моделями подання тексту: Мішок слів та модель векторного простору?

12 machine-learning  text-mining 

Які стандартні статистичні тести можна побачити, чи слід за експоненціальними або нормальними розподілами?

12 distributions  hypothesis-testing  normal-distribution 

Поясніть, будь ласка, у чому різниця між тим, якщо дві змінні є лінійно залежними або лінійно корельованими . Я подивився статтю у Вікіпедії, але не отримав належного прикладу. Будь ласка, поясніть це на прикладі.

12 correlation  non-independent 

Читаючи підручник з регресії, я зіткнувся з наступним абзацом: Оцінка найменших квадратів вектора коефіцієнтів лінійної регресії ( ) дорівнюєββ\beta β^= ( XтХ)- 1Хтуβ^=(XtX)−1Xty \hat{\beta} = (X^{t}X)^{-1}{X^t}y яка, розглядається як функція даних (розглядаючи предиктори як константи), є лінійною комбінацією даних. Використовуючи теорему центрального ліміту, можна показати, що розподіл буде приблизно багатоваріантним …

12 multiple-regression 

Я намагаюся проаналізувати дані повторних заходів і борюся за те, щоб це працювало R. Мої дані по суті такі, у мене дві групи лікування. Кожен предмет у кожній групі тестується щодня та отримує бал (відсоток правильний у тесті). Дані у довгому форматі: Time Percent Subject Group 1 0 GK11 Ethanol …

12 r  mixed-model  repeated-measures  lme4-nlme 

З огляду на наступні два часові ряди ( x , y ; див. Нижче), який найкращий метод моделювання взаємозв'язку між довгостроковими тенденціями в цих даних? Обидва часові ряди мають значні тести Дурбіна-Уотсона, коли їх моделюють як функцію часу, і не є стаціонарними (наскільки я розумію цей термін, чи це означає, …

12 regression  time-series  arima 

У мене є маса пов'язаних наборів даних. Перламутрові кореляції між їх парами, як правило, безумовно більші, ніж співвідношення спермана. Це говорить про те, що будь-яка кореляція є лінійною, але можна очікувати, що навіть якщо пером та сперман були однакові. Що це означає, коли існує певний розрив між кордоном та співвідношенням …

12 correlation  spearman-rho  pearson-r 

-й момент випадкової величини є кінцевим , якщо rrrXXXE(|Xr|)&lt;∞E(|Xr|)&lt;∞ \mathbb E(|X^r|)< \infty Я намагаюся показати, що для будь-якого натурального цілого , тоді -й момент також є кінцевим.s&lt;rs&lt;rs<rsssE[|Xs|]E[|Xs|]\mathbb E[|X^s|]

12 self-study  moments  function 

У рамках домашнього завдання мені було задано наступне питання: Розробити та впровадити імітаційне дослідження для вивчення продуктивності завантажувальної програми для отримання 95% довірчих інтервалів на середньому рівні одновимірної вибірки даних. Ваша реалізація може бути в R або SAS. Аспекти ефективності, на які ви можете звернути увагу, - це охоплення довірчого …

12 r  self-study  bootstrap  monte-carlo 

У R, якщо я set.seed (), а потім використовую функцію вибірки для рандомізації списку, чи можу я гарантувати, що я не буду генерувати ту саму перестановку? тобто ... set.seed(25) limit &lt;- 3 myindex &lt;- seq(0,limit) for (x in seq(1,factorial(limit))) { permutations &lt;- sample(myindex) print(permutations) } Це виробляє [1] 1 2 …

12 r  sampling  combinatorics  resampling 

Я думаю, що це прямо запитання, хоча міркувань, чому це може статися, чому ні, не може бути. Причина, яку я запитую, - це те, що я нещодавно написав власну реалізацію РФ, і хоча вона працює добре, вона не є такою добре, як я очікувала (на основі набору даних змагань з …

12 algorithms  random-forest  cart 

Я шукаю певну реалізацію python (у чистому пітоні чи обгортанні існуючих матеріалів) HMM та Baum-Welch. Якісь ідеї? Я щойно шукав у Google, і знайшов по-справжньому поганий матеріал стосовно інших методик машинного навчання. Чому?

12 python  hidden-markov-model