Статистика та великі дані

Мені було цікаво, чому так важливо принципове / теоретичне машинне навчання? З особистої точки зору як людини я можу зрозуміти, чому принципове машинне навчання було б важливим: людям подобається розуміти, що вони роблять, ми знаходимо красу і задоволення для розуміння. з теоретичної точки зору, математика - це весело коли існують …

25 machine-learning  neural-networks  conv-neural-network  theory 

Розглянемо модель перешкод, яка передбачає підрахунок даних yвід звичайного прогноктора x: set.seed(1839) # simulate poisson with many zeros x <- rnorm(100) e <- rnorm(100) y <- rpois(100, exp(-1.5 + x + e)) # how many zeroes? table(y == 0) FALSE TRUE 31 69 У цьому випадку я маю дані підрахунку …

25 r  count-data  zero-inflation 

Я хочу використовувати глибоке навчання у своєму проекті. Я переглянув пару паперів, і в мене виникло питання: чи є різниця між нейронною мережею згортки та глибоким навчанням? Ці речі однакові чи вони мають якісь основні відмінності, і що краще?

25 machine-learning  neural-networks  deep-learning  terminology  conv-neural-network 

Люди часто кажуть, що певна подія має 50-60% шансів відбутися. Іноді я навіть бачу, як люди дають явні смуги помилок у присвоєнні ймовірностей. Чи мають ці висловлювання якесь значення чи вони просто мовна вигадка дискомфорту, вибираючи конкретне число для чогось, що по суті не пізнається?

25 probability  error 

Я став чимось нігілістом, коли справа стосується рейтингів різної важливості (в контексті багатоваріантних моделей усіх видів). Часто в процесі роботи мене просять або допомогти іншій команді створити рейтинг змінної важливості, або створити змінний рейтинг важливості з моєї власної роботи. У відповідь на ці запити я задаю наступні запитання Для чого …

25 multiple-regression  multivariate-analysis  importance 

Блок-цитата, наведена нижче, від лідерів в області моделювання змішаних ефектів, стверджує, що координаційні зрушення в моделях з нульовою кореляцією між випадковими ефектами ('ZCP' моделі) змінюють прогнози моделі. Але чи може хтось детальніше пояснити або додатково виправдати свої вимоги? Заяви про які йде мова в Бейтс і ін в 2015 документ …

25 r  mixed-model  lme4-nlme 

Я роблю чисельний експеримент, який полягає у вибірці логічного нормального розподілу та намагаюся оцінити моменти двома методами:X∼LN(μ,σ)X∼LN(μ,σ)X\sim\mathcal{LN}(\mu, \sigma)E[Xn]E[Xn]\mathbb{E}[X^n] Дивлячись на середнє значення вибіркиXnXnX^n Оцінюючи μμ\mu та σ2σ2\sigma^2 , використовуючи засоби вибірки для log(X),log2(X)log⁡(X),log2⁡(X)\log(X), \log^2(X) , а потім використовуючи той факт, що для логічного нормального розподілу маємо E[Xn]=exp(nμ+(nσ)2/2)E[Xn]=exp⁡(nμ+(nσ)2/2)\mathbb{E}[X^n]=\exp(n \mu + (n …

25 estimation  bias  lognormal  moments 

В даний час я борюся з пошуком правильної моделі для складних підрахунків даних (залежна змінна). Я спробував різні моделі (для моїх даних потрібні моделі змішаних ефектів), таких як lmerі lme4(з перетворенням журналу), а також узагальнені лінійні змішані ефекти з різними сімействами, такими як гауссова або негативна двочлен. Однак я зовсім …

25 generalized-linear-model  residuals  negative-binomial  count-data  glmm 

Останнім часом я працюю з великими наборами даних і знайшов чимало паперів потокових методів. Назвати декілька: Слідкуйте за регульованим лідером та дзеркальним походженням: теорії еквівалентності та регуляризація L1 ( http://jmlr.org/proceedings/papers/v15/mcmahan11b/mcmahan11b.pdf ) Потокове навчання: однопрохідні SVM ( http://www.umiacs.umd.edu/~hal/docs/daume09onepass.pdf ) Pegasos: Первинна оцінка під-GrAdient SOlver для SVM http://ttic.uchicago.edu/~nati/Publications/PegasosMPB.pdf або тут: Чи може …

25 machine-learning  references  large-data  online 

У книзі Джейнса "Теорія ймовірностей: Логіка науки" , Джейнс є глава (гл 18) під назвою " р розподіл і правила успадкування" , в якому він вводить ідею А р розподілів, які цей уривок допомагає проілюструвати:АpАpA_pАpАpA_p [...] Щоб побачити це, уявіть собі ефект отримання нової інформації. Припустимо, ми кинули монету п'ять …

25 probability  bayesian  beta-distribution 

Читаючи резюме класики постійного часу, я натрапив на твердження, яке хотів би уточнити. Це повідомлення, і моє запитання стосується заключного зауваження: "Я маю зазначити, що всі знання, які я тільки що передав, дещо застаріли; тепер, коли у нас є комп’ютери, ми можемо робити краще, ніж t-тести. Як зазначає Франк, ви …

25 hypothesis-testing  t-test  permutation-test  wilcoxon-mann-whitney 

Я хотів би показати, як змінюються значення певних змінних (~ 15) з часом, але я також хотів би показати, як змінні відрізняються один від одного в кожному році. Тому я створив цей сюжет: Але навіть при зміні колірної гами або додаванні різних типів ліній / форм це виглядає безладним. Чи …

25 r  data-visualization 

Максимальна оцінка ймовірності часто призводить до упереджених оцінок (наприклад, її оцінка для дисперсійної вибірки є упередженою для розподілу Гаусса). Що тоді робить його таким популярним? Чому саме його так багато використовують? Також, що зокрема робить його кращим, ніж альтернативний підхід - метод моментів? Крім того, я помітив, що для Гаусса …

25 normal-distribution  maximum-likelihood  method-of-moments 

Я знаю, що фізичні та математичні спільноти дуже входять у ArXiv, але як щодо спільноти статистики? Чи прийнято публікувати там перед подачею?

25 references  academia 

Я читав статтю, в якій говорилося, що при використанні запланованих контрастів для пошуку засобів, що відрізняються в одну сторону від ANOVA, обмеження повинні бути ортогональними, щоб вони були некоррельованими і не дозволяли помилитися I типу. Я не розумію, чому ортогональний означав би неспоріднений за будь-яких обставин. Я не можу знайти …

25 correlation  independence