Статистика та великі дані

Який найпростіший спосіб зрозуміти підвищення? Чому це не підвищує дуже слабкі класифікатори "до нескінченності" (досконалості)?

23 machine-learning  boosting 

(Я новачок у статистиці. Я математик і програміст, і намагаюся створити щось на кшталт наївного байєсівського фільтра спаму.) Я помітив у багатьох місцях, що люди, як правило, розбивають знаменник у рівнянні з теореми Байєса. Тож замість цього: P(A|B)⋅P(B)P(A)P(A|B)⋅P(B)P(A)\frac{P(A|B)\cdot P(B)}{P(A)} Нам представлено таке: P(A|B)⋅P(B)P(A|B)⋅P(B)+P(A|¬B)⋅P(¬B)P(A|B)⋅P(B)P(A|B)⋅P(B)+P(A|¬B)⋅P(¬B)\frac{P(A|B)\cdot P(B)}{P(A|B)\cdot P(B)+P(A|\neg B)\cdot P(\neg B)} Ви можете …

23 bayesian 

Якими методами я можу зробити висновок про розподіл, якщо я знаю лише три процентилі? Наприклад, я знаю, що в певному наборі даних п'ятий перцентиль становить 8,135, 50-й перцентилет - 11,259, а 95-й перцентиль - 23 611. Я хочу мати можливість перейти від будь-якого іншого числа до його процентиля. Це не …

23 r  regression  quantiles 

Як я можу знайти PDF (функція густини ймовірності) розподілу, заданого CDF (функція накопичувального розподілу)?

23 distributions  pdf  cdf 

Я трохи загубився в процесі регресії WLS. Мені було надано набір даних, і моє завдання - перевірити, чи є гетеросцедіальність, і якщо так, я повинен запустити регресію WLS. Я провів тест і виявив докази на гетероскопічність, тому мені потрібно запустити WLS. Мені сказали, що WLS - це в основному регресія …

23 regression  heteroscedasticity  weighted-regression 

Які є максимально вірогідні оцінки параметрів t-розподілу Стьюдента? Чи існують вони в закритому вигляді? Швидкий пошук Google не дав мені жодних результатів. Сьогодні мене цікавить універсальний випадок, але, напевно, мені доведеться поширити модель на кілька вимірів. EDIT: Мене найбільше цікавлять параметри місця та масштабу. На даний момент я можу припустити, …

23 estimation  maximum-likelihood  t-distribution 

У множинній лінійній регресії з сильно корельованими регресорами, яку найкращу стратегію використовувати? Чи правомірний підхід додати добуток усіх корельованих регресорів?

23 regression  multicollinearity 

У своїй роботі " Вибір лінійної моделі шляхом перехресної валідації" Джун Шао показує, що для задачі вибору змінної при багатоваріантній лінійній регресії метод перехресної валідації "відхід один-один" (LOOCV) є "асимптотично несуперечливим". Простий англійською мовою, як правило, вибирають моделі із занадто великою кількістю змінних. У симуляційному дослідженні Шао показує, що навіть …

23 classification  model-selection  cross-validation 

Часто в ході мого (само) дослідження статистики я зустрічав термінологію " σσ\sigma -алгебра, породжена випадковою змінною". Я не розумію визначення у Вікіпедії , але найголовніше, що я не розумію цього. Чому / коли нам потрібні σ−σ−\sigma- алгебри, породжені випадковими змінними? Яке їх значення? Я знаю наступне: a σσ\sigma -алгебра на …

23 probability  random-variable  sigma-algebra 

Я знаю, що було досягнуто великого прогресу щодо розпізнавання зображень, класифікації зображень тощо з глибокими, згорнутими нейронними сітками. Але якщо я треную мережу на, скажімо, зображеннях PNG, чи буде вона працювати лише для таких закодованих зображень? Які інші властивості зображення впливають на це? (альфа-канал, переплетення, роздільна здатність тощо?)

23 neural-networks  deep-learning  image-processing 

Чи може хтось, будь-ласка, пояснити достатню статистику дуже елементарними термінами? Я походжу з інженерного досвіду, і я пережив багато речей, але не зміг знайти інтуїтивного пояснення.

23 machine-learning  mathematical-statistics  intuition 

Я деякий час намагався зрозуміти ідею кон'югованих пріорів у байєсівській статистиці, але просто не розумію. Чи може хтось пояснити цю ідею найпростішими можливими термінами, можливо, використовуючи "приклад Гаусса" як приклад?

23 bayesian  conditional-probability  conjugate-prior 

Я намагаюся навчитися вивченню підкріплення, і ця тема мене дуже бентежить. Я взяв вступ до статистики, але я просто не міг зрозуміти цю тему інтуїтивно.

22 variance  simulation  monte-carlo  unbiased-estimator  importance-sampling 

Чому автокореляція настільки важлива? Я зрозумів принцип цього (я думаю ..), але, як є також приклади, коли не відбувається автокореляція, мені цікаво: чи не все в природі якось автокорельовано? Останній аспект більше спрямований на загальне розуміння самої автокореляції, оскільки, як я вже згадував, чи не кожен стан у Всесвіті залежить …

22 autocorrelation 

Тут є подібна нитка ( Функція вартості нейронної мережі не випукла? ), Але я не зміг зрозуміти моменти у відповідях там, і моя причина знову запитати, сподіваючись, що це прояснить деякі проблеми: Якщо я використовую функцію вартості різниці у квадраті, я в кінцевому підсумку оптимізую щось із вигляду де - …

22 machine-learning  neural-networks  optimization  loss-functions  convex