Статистика та великі дані

Що є відповідним графіком для ілюстрації зв’язку між двома порядковими змінними? Я можу придумати кілька варіантів: Графік розсіювання з доданим випадковим тремтінням, щоб зупиняти точки, приховуючи один одного. Мабуть, стандартна графіка - Minitab називає це "індивідуальним графіком значень". На мою думку, це може ввести в оману, оскільки візуально заохочує своєрідну …

46 data-visualization  categorical-data  ordinal-data  scatterplot 

Я тільки починаю самонавчання з аналізу часових рядів. Я помітив, що існує ряд потенційних підводних каменів, які не застосовуються до загальної статистики. Отже, спираючись на Які загальні статистичні гріхи? , Я хотів би запитати: Що таке загальні підводні камені або статистичні гріхи в аналізі часових рядів? Це розроблено як вікі …

46 time-series  self-study 

Приклад Штейна показує, що максимальна оцінка ймовірності nnn нормально розподілених змінних із значеннями μ1,…,μnμ1,…,μn\mu_1,\ldots,\mu_n та дисперсіями 111 є неприпустимою (за функцією квадратних втрат) iff n≥3n≥3n\ge 3 . Для чіткого доказу дивіться першу главу великомасштабного умовиводу: Емпіричні методи Байєса для оцінки, тестування та прогнозування Бредлі Ефрона. x∼N(μ,1)x∼N(μ,1)x \sim \mathcal N(\mu,1)E∥x∥2≈∥μ∥2+nE‖x‖2≈‖μ‖2+n\mathbb{E}\|x\|^2\approx \|\mu\|^2+n …

46 maximum-likelihood  unbiased-estimator  intuition  steins-phenomenon 

Мені було цікаво, враховуючи два звичайних розподілу з таσ1, μ1σ1, μ1\sigma_1,\ \mu_1σ2, μ2σ2, μ2\sigma_2, \ \mu_2 як я можу обчислити відсоток перекриваються областей двох розподілів? Я думаю, ця проблема має конкретну назву, чи знаєте ви якесь конкретне ім’я, що описує цю проблему? Чи знаєте ви про будь-яку реалізацію цього (наприклад, …

46 normal-distribution  similarities  metric  bhattacharyya 

Опис Крістофера Меннінга про логістичну регресію в R показує логістичну регресію в R таким чином: ced.logr <- glm(ced.del ~ cat + follows + factor(class), family=binomial) Деякі результати: > summary(ced.logr) Call: glm(formula = ced.del ~ cat + follows + factor(class), family = binomial("logit")) Deviance Residuals: Min 1Q Median 3Q Max -3.24384 …

46 r  logistic  log-likelihood 

Як може бути корисна модель регресії, якщо ви не знаєте функції, для якої намагаєтеся отримати параметри? Я побачив фрагмент дослідження, в якому говорилося, що матері, які годували грудьми своїх дітей, рідше хворіють на діабет у подальшому житті. Дослідження було проведене під час опитування близько 1000 матерів і було контрольовано на …

46 regression  modeling  epidemiology  log-linear 

Що саме є контрастною матрицею (термін, що стосується аналізу з категоричними предикторами) і як саме вказана контрастна матриця? Тобто, що таке стовпці, що таке рядки, які обмеження в цій матриці і що означає число у стовпці jта рядку i? Я спробував заглянути в документи та в Інтернеті, але, схоже, всі …

46 regression  categorical-data  definition  contrasts  categorical-encoding 

У недавньому дописі блогу Ронге Ге сказано, що: Вважається, що для багатьох проблем, включаючи вивчення глибоких мереж, майже всі локальні мінімуми мають дуже схоже значення функції з глобальним оптимумом, а значить, знайти локальний мінімум досить добре. Звідки походить ця віра?

46 machine-learning  neural-networks  optimization  deep-learning 

У мене виникають проблеми з виведенням формули дивергенції KL, припускаючи два багатоваріантні нормальні розподіли. Я зробив універсальну справу досить легко. Однак минуло досить багато часу, як я взяв статистику з математики, тож у мене виникли певні труднощі з поширенням її на багатоваріантну справу. Я впевнений, що мені просто не вистачає …

46 normal-distribution  kullback-leibler  proof 

Наприклад, у мене є історичні дані про збитки, і я обчислюю екстремальні кванти (величина ризику або ймовірна максимальна втрата). Отримані результати призначені для оцінки збитків чи прогнозування їх? Де можна провести лінію? Я збентежений.

46 estimation  predictor  prediction-interval 

Мені цікаво, чи є пакети для python, який здатний виконувати аналіз виживання. Я використовував пакет виживання в R, але хотів би перенести свою роботу на python.

46 survival  python 

Я шукаю інтуїтивно зрозуміле пояснення зміщення дисперсії, як загалом, так і конкретно в контексті лінійної регресії.

46 regression  variance  bias 

Градієнтний спуск має проблему застрягти в локальних мінімумах. Для того, щоб знайти глобальні мінімуми, нам потрібно запустити експоненціальний час градієнта спуску. Хто-небудь може розповісти мені про будь-які альтернативи градієнтного спуску, що застосовуються в навчанні нейронної мережі, а також їх плюси та мінуси.

46 machine-learning  svm  neural-networks 

Мені цікаво, чи має значення інтерпретація, чи трансформуються лише залежні, і залежні, і незалежні, або лише незалежні змінні. Розглянемо випадок log(DV) = Intercept + B1*IV + Error Я можу трактувати ІV як збільшення відсотка, але як це змінюється, коли я маю log(DV) = Intercept + B1*log(IV) + Error або коли …

46 regression  data-transformation  interpretation  regression-coefficients  logarithm  r  dataset  stata  hypothesis-testing  contingency-tables  hypothesis-testing  statistical-significance  standard-deviation  unbiased-estimator  t-distribution  r  functional-data-analysis  maximum-likelihood  bootstrap  regression  change-point  regression  sas  hypothesis-testing  bayesian  randomness  predictive-models  nonparametric  terminology  parametric  correlation  effect-size  loess  mean  pdf  quantile-function  bioinformatics  regression  terminology  r-squared  pdf  maximum  multivariate-analysis  references  data-visualization  r  pca  r  mixed-model  lme4-nlme  distributions  probability  bayesian  prior  anova  chi-squared  binomial  generalized-linear-model  anova  repeated-measures  t-test  post-hoc  clustering  variance  probability  hypothesis-testing  references  binomial  profile-likelihood  self-study  excel  data-transformation  skewness  distributions  statistical-significance  econometrics  spatial  r  regression  anova  spss  linear-model 

Начебто авторитетні джерела стверджують, що залежна змінна повинна бути нормально розподілена: Модельні припущення: YYY зазвичай розподіляється, помилки нормально розподіляються, ei∼N(0,σ2)ei∼N(0,σ2)e_i \sim N(0,\sigma^2) , і незалежні, і XXX є фіксованим, а постійна дисперсія σ2σ2\sigma^2 . Penn State, STAT 504 Аналіз дискретних даних По-друге, аналіз лінійної регресії вимагає, щоб усі змінні були …

45 regression  least-squares  linear-model  dependent-variable