Статистика та великі дані

Різні підручники цитують різні умови існування інформаційної матриці Фішера. Нижче наведено декілька таких умов, кожна з яких міститься у деяких, але не у всіх, визначеннях "інформаційної матриці Фішера". Чи є стандартний мінімальний набір умов? З 5 наведених нижче умов, які можна усунути? Якщо одну з умов можна виконати, чому ви …

13 fisher-information 

Мені хотілося б порівняти вибрані моделі з хребтом, ласо і еластичною сіткою. На рис. Нижче показані коефіцієнти шляхів з використанням усіх 3-х методів: конь (рис. А, альфа = 0), ласо (фіг. В; альфа = 1) і еластична сітка (фіг С; альфа = 0,5). Оптимальне рішення залежить від обраного значення лямбда, …

13 r  multiple-regression  modeling  regularization 

Я роблю деякі прогнози в R, використовуючи пакет прогнозу Роб Хандман . Папір, що належить до упаковки, можна знайти тут . У роботі, після пояснення алгоритмів автоматичного прогнозування, автори реалізують алгоритми на тому ж наборі даних. Однак, оцінивши як експоненціальне згладжування, так і модель ARIMA, вони роблять заяву, яку я …

13 time-series  forecasting  model-selection  aic 

Чи однакові поняття коефіцієнтів кореляції фі та Меттьюса? Як вони пов'язані або еквівалентні коефіцієнту кореляції Пірсона для двох бінарних змінних? Я припускаю, що двійкові значення дорівнюють 0 і 1. Кореляція Пірсона між двома випадковими змінними Бернуллі і є:xxxyyy ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]−−−−−−−−−−√=E[xy]−E[x]E[y]Var[x]Var[y]−−−−−−−−−−√=n11n−n1∙n∙1n0∙n1∙n∙0n∙1−−−−−−−−−−√ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]=E[xy]−E[x]E[y]Var[x]Var[y]=n11n−n1∙n∙1n0∙n1∙n∙0n∙1 \rho = \frac{\mathbb{E} [(x - \mathbb{E}[x])(y - \mathbb{E}[y])]} {\sqrt{\text{Var}[x] \, \text{Var}[y]}} …

13 correlation  contingency-tables  bernoulli-distribution  model-evaluation  confusion-matrix 

На запитання вище все сказано. В основному моє запитання стосується загальної функції підгонки (може бути довільно складною), яка буде нелінійною в параметрах, які я намагаюся оцінити, як вибирати початкові значення для ініціалізації пристосування? Я намагаюся робити нелінійні найменші квадрати. Чи є якась стратегія чи метод? Це було вивчено? Будь-які посилання? …

13 least-squares  nonlinear-regression  starting-values 

Я хотів би порівняти засоби у трьох групах однакових розмірів (однаковий розмір вибірки невеликий, 21). Засоби кожної групи будуть нормально розподілені, але їх дисперсія не дорівнює (перевірено з допомогою Levene - х). Чи найкраща траса в цій ситуації? Потрібно спочатку розглянути щось інше?

13 anova  variance  heteroscedasticity 

Я переглянув багато літератури, доступної в Інтернеті, включаючи цей форум без жодної удачі і сподіваючись, що хтось може допомогти статистичній проблемі, з якою я зараз стикаюся: У мене є 5 списків рейтингових даних, кожен з яких містить 10 предметів, класифікованих від позиції 1 (найкраща) до позиції 10 (найгірша). Задля контексту, …

13 statistical-significance  ranking  valuation 

Ступінь свободи в множинній регресії дорівнює , де k - кількість змінних.N- k - 1N−k−1N-k-1kkk Чи мають включають змінний відгук (тобто, Y )? Наприклад, у моделі Y = B 0 + B 1 X 1 + B 2 X 2 , то k = 3 (тобто, 1 df кожен для …

13 self-study  multiple-regression  degrees-of-freedom 

Останні кілька днів я намагався зрозуміти, як працює Марківський ланцюг Монте-Карло (MCMC). Зокрема, я намагався зрозуміти і реалізувати алгоритм Metropolis-Hastings. Поки я думаю, що я цілком розумію алгоритм, але є кілька речей, які мені ще не зрозумілі. Я хочу використовувати MCMC для пристосування деяких моделей до даних. Через це я …

13 mcmc  metropolis-hastings 

Я просто працюю з книгою «Колективний інтелект» (Тобі Сегаран) і натрапив на евклідову оцінку дистанції. У книзі автор показує, як обчислити схожість між двома рекомендаційними масивами (тобто .людина × фільм ↦ бал )person×movie↦score)\textrm{person} \times \textrm{movie} \mapsto \textrm{score}) Він обчислює евклідову відстань для двох осіб і p 2 по d ( …

13 distance-functions  similarities 

Диференціальна ентропія РВ - . Це залежить від , що є стандартним відхиленням.log2(σ2πe−−−√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Якщо нормалізувати випадкову величину, щоб вона мала одиничну дисперсію, її диференціальна ентропія падає. Для мене це контрінтуїтивно, тому що складність нормалізації Колмогорова повинна бути дуже малою порівняно зі зменшенням ентропії. Можна просто розробити декодер кодера, …

13 information-theory  entropy  randomness 

BOUNTY: Повна винагорода буде присуджена тому, хто подасть посилання на будь-який опублікований документ, який використовує або згадує оцінювач нижче.F~F~\tilde{F} Мотивація: Цей розділ для вас, мабуть, не важливий, і я підозрюю, що він не допоможе вам отримати винагороду, але оскільки хтось запитав про мотивацію, ось над чим я працюю. Я працюю …

13 distributions  bernoulli-distribution  stratification  rejection-sampling  ecdf 

Я працюю над класичною проблемою прогнозування холону, використовуючи кількість відвідувань певного користувача на сайт, і я вважав, що Пуассонова регресія - це правильний інструмент для моделювання майбутнього залучення цього користувача. Тоді я натрапив на книгу про аналіз виживання та моделювання небезпеки, і я не знаю, яка методика найкраща. Я не …

13 survival  hazard  poisson-process 

Я хочу обчислити передбачувану функцію виживання для моделі пропорційної небезпеки Кокса з термінами крихкості [використовуючи пакет виживання]. Виявляється, що, коли в моделі є терміни слабкості, прогнозовану функцію виживця неможливо обчислити. ## Example require(survival) data(rats) ## Create fake weight set.seed(90989) rats$weight<-runif(nrow(rats),0.2,0.9) ## Cox model with gamma frailty on litter fit <- …

13 r  survival  cox-model  frailty 

Для випадкової змінної ( ) інтуїтивно відчуваю, що має дорівнювати оскільки за властивістю без запам'ятовування розподіл такий же, як у але зміщений праворуч на .E [ X ] = 1X∼Exp(λ)Х∼Досвід(λ)X\sim \text{Exp}(\lambda) E[X| X>x]x+E[X]X| X>xXxE[X]=1λЕ[Х]=1λ\mathbb{E}[X] = \frac{1}{\lambda}E[X|X>x]Е[Х|Х>х]\mathbb{E}[X|X > x]x+E[X]х+Е[Х]x + \mathbb{E}[X]X|X>xХ|Х>хX|X > xXХXxхx Однак я намагаюся використовувати властивість без запам'ятовування, щоб …

13 random-variable  exponential  conditional-expectation