Статистика та великі дані

У мене є гістограма, щільність ядра та пристосований нормальний розподіл прибутку фінансових журналів, які перетворюються на втрати (знаки змінюються), і нормальний графік QQ цих даних: Сюжет QQ чітко показує, що хвости неправильно підігнані. Але якщо я переглядаю гістограму та пристосований нормальний розподіл (синій), навіть значення близько 0,0 не відповідають правилам. …

12 data-visualization  normality-assumption  histogram  qq-plot 

На даний момент я використовую двійковий класифікатор. Коли я будую криву ROC, я отримую хороший підйом на початку, тоді він змінює напрямок і перетинає діагональ, а потім, звичайно, назад, роблячи криву нахиленою S подібною формою. Що може бути тлумаченням / поясненням цього ефекту? Дякую

12 roc 

Мені знайомі такі позначення, як: yij=β0+βixij+uj+eij=β0j+βixij+eijyij=β0+βixij+uj+eij=β0j+βixij+eij\begin{align} y_{ij} &= \beta_0 + \beta_i x_{ij} + u_j + e_{ij}\\ &= \beta_{0j} + \beta_i x_{ij} + e_{ij} \end{align} where , іβ0j=β0+ujβ0j=β0+uj\beta_{0j}=\beta_{0}+u_j yij=β0+β1xij+u0j+u1jxij+eij=β0j+β1jxij+eijyij=β0+β1xij+u0j+u1jxij+eij=β0j+β1jxij+eij\begin{align} y_{ij} &= \beta_0 + \beta_1 x_{ij} + u_{0j} + u_{1j} x_{ij} + e_{ij} \\ &= \beta_{0j} + \beta_{1j} x_{ij} + e_{ij} \end{align} …

12 mixed-model  mathematical-statistics 

Для аналізу даних експерименту з біофізики я в даний час намагаюся зробити підгонку кривої з дуже нелінійною моделлю. Функція моделі в основному виглядає так: y=ax+bx−1/2y=ax+bx−1/2y = ax + bx^{-1/2} Тут особливо велике значення викликає значення .bbb Сюжет для цієї функції: (Зауважте, що модель моделі заснована на ретельному математичному описі системи, …

12 curve-fitting  nonlinear 

У мене є дві випадкові величини і .X>0X>0X > 0Y>0Y>0Y > 0 З огляду на те, що я можу оцінити як я можу оцінитиCov(X,Y),Cov(X,Y),\text{Cov}(X, Y),Cov(log(X),log(Y))?Cov(log⁡(X),log⁡(Y))?\text{Cov}(\log(X), \log(Y))?

12 data-transformation  covariance  random-variable 

З огляду на той самий набір сімейств коваріатів та розподілу, як я можу порівнювати моделі, що мають різні функції зв’язку? Я думаю, що тут правильна відповідь - "AIC / BIC", але я не впевнений на 100%. Чи можливо мати вкладені моделі, якщо вони мають інше посилання?

12 generalized-linear-model  aic  link-function 

У тенісу є своєрідна система трьох балів, і мені цікаво, чи має це якась статистична користь з точки зору матчу як експерименту для визначення кращого гравця. Для незнайомих людей у ​​звичайних правилах гра виграється від першого до 4 очок, якщо у вас є 2-очковий привід (тобто якщо це 4-2, ви …

12 probability  inference  games 

Кореляція, , - міра лінійної асоціації між двома змінними. Коефіцієнт детермінації, r 2 , - це міра того, яка частина змінності в одній змінній може бути "пояснена" варіацією в іншій.rrrr2r2r^2 Наприклад, якщо - кореляція між двома змінними, то r 2 = 0,64 . Отже, 64% змінності в одному можна пояснити …

12 regression  correlation  r-squared 

У мене є набір даних, який з часом збільшується (обмінний курс валюти, щомісячні дані за 20 років), моє запитання: чи можу я знецінити дані, а потім відмінити їх також, щоб зробити їх нерухомими, якщо деградація сама по собі цього не досягає? І якщо так, то чи вважатиметься це вдвічі різницею, …

12 time-series  stationarity 

У мене є проблеми з розумінням повної достатньої статистики? Нехай є достатньою статистикою.T=ΣxiT=ΣxiT=\Sigma x_i Якщо з ймовірністю 1, для деякої функції , то це повна достатня статистика.E[g(T)]=0E[g(T)]=0E[g(T)]=0ggg Але що це означає? Я бачив приклади уніформи та Бернуллі (стор. 6 http://amath.colorado.edu/courses/4520/2011fall/HandOuts/umvue.pdf ), але це не інтуїтивно, я більше розгубився, побачивши інтеграцію. …

12 self-study  estimation  intuition  decision-theory 

Я намагаюся зрозуміти, чому збільшення кількості функцій може знизити продуктивність. Наразі я використовую класифікатор LDA, який працює краще двозначно серед певних функцій, але гірше, коли дивлюся більше функцій. Моя точність класифікації виконується за допомогою стратифікованого 10-кратного xval. Чи є простий випадок, коли класифікатор працював би краще одноразово, ніж двоваріантно, щоб …

12 classification  feature-selection 

Я використовував stl () в R, щоб розкласти дані про підрахунок на трендові, сезонні та нерегулярні компоненти. Отримані значення тренду вже не є цілими числами. У мене є такі питання: Чи stl () є відповідним способом деасоналізації даних підрахунку? Оскільки результуюча тенденція більше не оцінюється міжджерелом, чи можу я використовувати …

12 r  time-series  poisson-distribution 

У мене є проблема з синтаксисом Stata. Мені потрібно зробити наступну регресію: у= a x + b z+c(xz)+ey=ax+bz+c(xz)+ey = ax + bz + c(xz) + e де і і є інструментованими, а також термін взаємодії використовує інструментовані значення і .xxxzzzxzxzxzzxxxzzz Просто генерування прогнозованих значень для та та використання їх як …

12 stata  interaction  instrumental-variables 

Я щойно натрапив на цей чудовий аналіз, який є і цікавим, і красивим візуально: http://www.nytimes.com/interactive/2012/11/02/us/politics/paths-to-the-white-house.html Мені цікаво, як таке "дерево шляху" можна побудувати за допомогою R. Які дані та алгоритм потрібні для побудови такого дерева шляхів? Дякую.

12 r  data-visualization  politics 

У логістичної регресії з лінійними і квадратичними членами тільки, якщо у мене є лінійний коефіцієнт і квадратичний коефіцієнт , я можу сказати, що є точка повороту ймовірності на ?β1β1\beta_1β2β2\beta_2−β1/(2β2)−β1/(2β2)-\beta_1 / (2\beta_2)

12 interpretation  logit  polynomial