Статистика та великі дані

Нормальний розподіл здається неінтуїтивним, поки ви не вивчите CLT, що пояснює, чому він так поширений у реальному житті. Але чи виникає це колись як "природне" розподіл на якусь кількість?

11 normal-distribution  central-limit-theorem 

Якщо р ∼p∼p \sim Уніфікована ( 0 , 1 )(0,1)(0,1) і Х∼Х∼X \sim Bin ( п , с )(н,p)(n, p) , тоді задне середнє значення ppp задається Х+ 1n + 2Х+1н+2\frac{X+1}{n+2} . Чи є загальна назва цього оцінювача? Я виявив, що це вирішує багато проблем людей, і я хотів би …

11 bayesian  terminology  laplace-smoothing 

Нещодавно мені стало відомо про «вірогідні» методи, які перебувають у літературі. Однак мені не ясно, що означає спосіб висновку чи оптимізації бути вірогідним . При машинному навчанні мета зазвичай полягає в тому, щоб максимально збільшити ймовірність того, що деякі параметри підходять до функції, наприклад, ваги в нейронній мережі. Тож у …

11 machine-learning  deep-learning  maximum-likelihood  generative-models  abc 

Фон У інформатиці, математиці, а іноді й в інших галузях, "езотеричні" приклади можуть бути не лише розважальними, але й корисними для ілюстрації певних понять, наприклад: Bogosort і Slowort - це дуже неефективні алгоритми сортування, які можна використовувати для розуміння властивостей алгоритмів, зокрема порівняно з іншими алгоритмами сортування. Езотеричні мови програмування …

11 hypothesis-testing  teaching  humor 

Наскільки я це розумію, це (принаймні, саме так визначає Вікіпедія ). Але я знайшов це твердження Ефрона * (наголос додано): Ланцюжок Маркова Монте-Карло (MCMC) - це велика історія успіху сучасної байєсівської статистики. MCMC та його сестринський метод "вибірки Гіббса" дозволяють числовий розрахунок заднього розподілу в ситуаціях, занадто складних для аналітичного …

11 mcmc  gibbs 

У частотистській статистиці 95% довірчий інтервал - це процедура, що виробляє інтервал, яка, якщо повторюватись нескінченну кількість разів, містила б справжній параметр 95% часу. Чому це корисно? Інтервали довіри часто неправильно розуміються. Вони не є інтервалом, у якому ми можемо бути на 95% впевнені, що параметр знаходиться (якщо ви не …

11 hypothesis-testing  bayesian  mathematical-statistics  confidence-interval  frequentist 

Чому для позначення співвідношення моменту продукту Пірсона був обраний символ rrr ?

11 correlation  history 

Я хотів би, щоб моя навчена модель була протестована на незбалансованому наборі даних. Чи є алгоритми для створення синтетичних даних із збалансованого міченого набору даних (спам / не-спам)?

11 unbalanced-classes  synthetic-data 

(Це питання натхнене цим коментарем від Сіаня .) Добре відомо, що якщо правильний попередній розподіл π(θ)π(θ)\pi(\theta) і чітко визначена ймовірність L(θ|x)L(θ|x)L(\theta | x) , то задній розподіл π(θ|x)∝π(θ)L(θ|x)π(θ|x)∝π(θ)L(θ|x)\pi(\theta|x)\propto \pi(\theta) L(\theta|x) є належним майже напевно. У деяких випадках ми використовуємо натомість загартовану або експоненційну ймовірність, що призводить до псевдо-задньої π~(θ|x)∝π(θ)L(θ|x)απ~(θ|x)∝π(θ)L(θ|x)α\tilde\pi(\theta|x)\propto \pi(\theta) …

11 bayesian  prior  posterior 

Мені часто люди говорять про запозичення інформації або обмін інформацією в ієрархічних моделях Баєса. Я, здається, не можу отримати прямої відповіді про те, що це насправді означає, і якщо воно є унікальним для баєсових ієрархічних моделей. Я якось здобув ідею: деякі рівні у вашій ієрархії мають спільний параметр. Я поняття …

11 machine-learning  bayesian  multilevel-analysis  terminology  hierarchical-bayesian 

З мого розуміння, CNN складаються з двох частин. Перша частина (шари conv / pool), яка виконує вилучення функції, і друга частина (шари fc), яка робить класифікацію за ознаками. Оскільки повноз'єднані нейронні мережі не є найкращими класифікаторами (тобто вони отримують більшу ефективність від SVM та RFs більшу частину часу), чому CNN …

11 neural-networks  svm  random-forest  conv-neural-network 

Якщо слідує за розподілом Коші, то також слідує абсолютно таким же розподілом, що і ; дивись цю нитку .XXXY=X¯=1n∑ni=1XiY=X¯=1n∑i=1nXiY = \bar{X} = \frac{1}{n} \sum_{i=1}^n X_iXXX Чи має ця властивість ім'я? Чи існують інші дистрибутиви, для яких це правда? EDIT Ще один спосіб задати це питання: нехай - випадкова величина з …

11 distributions  expected-value  central-limit-theorem  cauchy 

Я працюю над проектом, який передбачає зчитування тегів RFID та порівняння потужності сигналу, який читач бачить, коли ви змінюєте конфігурацію антени (кількість антени, положення тощо). У рамках проекту мені потрібно порівняти налаштування, щоб побачити, які найбільш ефективні. В ідеалі я мав би змогу виконати непарне тестове тестування або ANOVA між …

11 data-transformation  linear-model  descriptive-statistics 

Мій курс статистики просто навчив мене, що дискретна випадкова величина має обмежену кількість варіантів ... Я цього не усвідомлював. Я б подумав, як набір цілих чисел, це може бути нескінченним. Гуглінг та перевірка декількох веб-сторінок, у тому числі декількох з університетських курсів, цього не вдалося спеціально підтвердити; Більшість сайтів, однак, …

11 random-variable  discrete-data 

Я провів лінійну регресію, яка вийшла зі значним результатом, проте, коли я перевіряв графік розсіювання на лінійність, я не був впевнений, що дані лінійні. Чи є інші способи перевірити на лінійність, не перевіряючи розсіювач? Чи може лінійна регресія бути значною, якби вона не була лінійною? [Відредаговано, щоб включити розсіювачі]

11 regression