Статистика та великі дані

Не могли б ви надати покрокове для манекенів пояснення того, як працює Гамільтоніанський Монте-Карло? PS: Я вже читав відповіді тут, Гамільтонський Монте Карло , і тут, Гамільтоніан Монте-Карло проти Послідовного Монте-Карло , і тут, Гамільтоніан Монте-Карло: як зрозуміти пропозицію Метрополіс-Гастінг? і вони не звертаються до нього поетапно.

14 bayesian  hmc 

Деякі статистичні тести є надійними, а деякі - ні. Що саме означає стійкість? Дивно, але я не зміг знайти таке питання на цьому сайті. Крім того, іноді надійність і потужність тесту обговорюються разом. І інтуїтивно, я не міг розмежовувати два поняття. Що таке потужне випробування? Чим він відрізняється від надійного …

14 statistical-significance  power  robust 

Припустимо, ми знаємо p (x, y), p (x, z) і p (y, z), чи правда, що спільний розподіл p (x, y, z) ідентифікується? Тобто, є лише один можливий p (x, y, z), який має вище маргіналів?

14 distributions  mathematical-statistics 

Ми знаходимось у появі квантових обчислень , і квантові мови передбачають апаратні квантові комп'ютери, які тепер доступні на високих та низьких рівнях для модельованих квантових комп'ютерів. Квантові обчислення приносять нові елементарні функції, такі як заплутування і телепортація кубітів, вимірювання кубітів та накладення суперпозиції на кубіти. Які види статистичних проблем можуть …

14 quantum-computing 

Скажімо, у нас є вхідні (прогнозові) та вихідні (відгукові) точки даних A, B, C, D, E, і ми хочемо встановити рядок через точки. Це проста проблема, щоб проілюструвати це питання, але може бути поширена і на більш високі розміри. Постановка проблеми Поточна найкраща відповідність або гіпотеза представлена чорною лінією вище. …

14 regression  linear  fitting  cost-maximization 

Чи має сім'я з розподілу інше визначення статистики, ніж в інших дисциплінах? Взагалі сімейство кривих - це сукупність кривих, кожна з яких задається функцією або параметризацією, в якій змінюється один або кілька параметрів. Такі сім'ї використовуються, наприклад, для характеристики електронних компонентів . Для статистики сім'я за одним джерелом є результатом …

14 distributions  terminology  parametric  exponential-family 

Отже, це може бути звичайним питанням, але я ніколи не знайшов задовільної відповіді. Як визначити ймовірність того, що нульова гіпотеза є істинною (або помилковою)? Скажімо, ви даєте студентам дві різні версії тесту і хочете перевірити, чи були версії еквівалентними. Ви виконуєте t-тест, і він дає p-значення .02. Яке приємне p-значення! …

14 probability  hypothesis-testing  bayesian 

(аа був би одним із багатьох, bb не став) Я думав, що це буде 10! / 8! Але, мабуть, я роблю щось не так. Хто-небудь може мені допомогти, тому що я наткнувся.

14 self-study  combinatorics 

Наразі я трохи здивований тим, як міні-пакетний градієнтний спуск може бути захоплений у точці сідла. Рішення може бути занадто банальним, щоб я його не розумів. Ви отримуєте новий зразок кожної епохи, і він обчислює нову помилку на основі нової партії, тому функція витрат є лише статичною для кожної партії, що …

14 gradient-descent  sgd 

Я розумію, що це означає, що модель погано прогнозує окремі точки даних, але встановила тверду тенденцію (наприклад, y зростає, коли х зростає).

14 regression  inference  r-squared  linear 

Визначте оцінку ласо де i ^ {th} рядок x_i \ в \ mathbb {R} ^ p проектної матриці X \ in \ mathbb {R} ^ {n \ times p} - вектор коваріатів для пояснення стохастичної відповіді y_i (для i = 1, \ крапки n ).β^λ=argminβ∈Rp12n∥y−Xβ∥22+λ∥β∥1,β^λ=arg⁡minβ∈Rp12n‖y−Xβ‖22+λ‖β‖1,\hat\beta^\lambda = \arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} …

14 lasso  regularization 

Багато акцентів робиться на покладанні на розміри ефекту та звітності, а не на р-значеннях у прикладних дослідженнях (наприклад, цитати далі нижче). Але чи не так, що розмір ефекту так само, як р-значення, є випадковою змінною і як такий може змінюватися від вибірки до вибірки, коли повторюється той же експеримент? Іншими …

14 hypothesis-testing  confidence-interval  p-value  effect-size 

У конволюційних нейронних мережах (CNN) матриця ваг на кожному кроці отримує свої рядки та стовпці, перевернуті, щоб отримати матрицю ядра, перш ніж приступити до згортання. Про це пояснюється у серії відео Уго Ларошель тут : Обчислення прихованих карт буде відповідати виконанню дискретної згортки з каналом з попереднього шару, використовуючи матрицю …

14 machine-learning  neural-networks  conv-neural-network  convolution 

Мені цікаво, чи максимальна оцінка вірогідності коли-небудь використовується в статистиці. Ми дізнаємось про концепцію, але цікаво, коли вона насправді використовується. Якщо припустити розподіл даних, ми знайдемо два параметри, один для середнього та один для дисперсії, але чи реально ви їх використовуєте в реальних ситуаціях? Хтось може сказати мені простий випадок, …

14 estimation  maximum-likelihood 

Чому лінійна регресія та узагальнена модель мають суперечливі припущення? При лінійній регресії ми припускаємо, що залишковий приходить із форми Гаусса В інших регресіях (логістична регресія, регресія отрути), ми припускаємо, що реакція надходить з деякого розподілу (біноміальний, отруєний тощо). Чому іноді припускають залишковий, а інший час припускають відповідь? Це тому, що …

14 regression  generalized-linear-model  assumptions  linear