Статистика та великі дані

Я реалізую перехресну перевірку та обчислення показників помилок, таких як RMSE, R2R2R^2, MAE, MSE тощо. Чи можуть RMSE та MAE мати однакове значення?

9 cross-validation  rms  mae 

В даний час я вивчаю регресію хребта, і я трохи розгубився щодо покарання більш складних моделей (або визначення більш складної моделі). Як я розумію, складність моделі не обов'язково співвідноситься з порядком поліномів. Тому:2 + 3 + 4х2+ 5х3+ 6х42+3+4х2+5х3+6х4 2 + 3+ 4x^2 + 5x^3 + 6x^4є більш складною моделлю, …

9 regression  regularization  hyperparameter 

Уявіть, що у вас є багатокутник, визначений набором координат (x1,y1)...(xn,yn)(x1,y1)...(xn,yn)(x_1,y_1)...(x_n,y_n) і його центр маси знаходиться в (0,0)(0,0)(0,0). Ви можете трактувати багатокутник як рівномірний розподіл з полігональною межею. Я шукаю метод, який знайде матрицю коваріації багатокутника . Я підозрюю, що матриця коваріації багатокутника тісно пов'язана з другим моментом області , але …

9 pca  covariance-matrix  polygon 

Припустимо, у мене є три незалежні групи із середнім значенням μ1, μ2, μ3μ1, μ2, μ3\mu_1,~ \mu_2,~\mu_3 відповідно. Як я можу перевірити, чи μ1&lt;μ2&lt;μ3μ1&lt;μ2&lt;μ3\mu_1 < \mu_2 <\mu_3 або не використовує n1, n2, n3n1, n2, n3n_1,~n_2,~n_3 зразки з кожної групи? Я хочу знати загальну методологію, а не детальний розрахунок. Я не міг …

9 hypothesis-testing  multiple-comparisons  isotonic 

Припустимо, і X_2 є незалежними геометричними випадковими змінними з параметром p . Яка ймовірність того, що X_1 \ geq X_2 ?X1X1X_1X2X2X_2pppX1≥X2X1≥X2X_1 \geq X_2 Я збентежений з цього питання, тому що нам нічого не кажуть про X1X1X_1 та X2X2X_2 окрім як вони геометричні. Хіба це не буде 50%50%50\% оскільки X1X1X_1 та …

9 self-study  random-variable  geometric-distribution 

Тож я читав деякі книги (або їх частини) про моделювання (Ф. Гаррелл «Стратегії моделювання регресії» серед інших), оскільки зараз у мене ситуація полягає в тому, що мені потрібно зробити логістичну модель, засновану на даних бінарних відповідей. У моєму наборі даних є як безперервні, категоричні, так і двійкові дані (предиктори). В …

9 logistic  predictive-models  feature-selection  regression-strategies 

Я намагаюся отримати більш чітку інтуїцію позаду: "Якщо робить більш імовірним, тоді робить більш імовірним", тобтоAAABBBBBBAAA Нехай позначає розмір простору , в якому і є, тоn(S)n(S)n(S)AAABBB Претензія: такP(B|A)&gt;P(B)P(B|A)&gt;P(B)P(B|A)>P(B)n(AB)/n(A)&gt;n(B)/n(S)n(AB)/n(A)&gt;n(B)/n(S)n(AB)/n(A) > n(B)/n(S) томуn(AB)/n(B)&gt;n(A)/n(S)n(AB)/n(B)&gt;n(A)/n(S)n(AB)/n(B) > n(A)/n(S) що єP(A|B)&gt;P( А )P(A|B)&gt;P(A)P(A|B)>P(A) Я розумію математику, але чому це має інтуїтивний сенс?

9 probability  inference  conditional-probability  intuition  association-measure 

Розглянемо байєсівську задню θ ∣ Xθ∣Х\theta\mid X. Асимптотично, його максимум відбувається при оцінці MLE , що просто збільшує ймовірність .θ^θ^\hat \thetaаргмінθfθ( X)аргмінθfθ(Х)\operatorname{argmin}_\theta\, f_\theta(X) Усі ці поняття - байесівські пріори, що збільшують ймовірність - звучать супер принципово і зовсім не довільно. Не видно колоди. Однак MLE мінімізує розбіжність KL між реальним …

9 bayesian  maximum-likelihood  kullback-leibler 

У наукових документах про калібрування ймовірностей вони порівнюють логістичну регресію з іншими методами та зазначають, що випадковий ліс менш калібрований, ніж логістична регресія. Чому логістична регресія добре відкалібрована? Як можна зруйнувати калібрування логістичної регресії (не те, що хотілося б - просто як вправу)?

9 regression  logistic  calibration 

Я працюю над великомірною задачею висновку (близько 2000 параметрів моделі), для якої ми можемо надійно виконати оцінку MAP, знайшовши глобальний максимум журналу заднього за допомогою комбінації оптимізації на основі градієнта та генетичного алгоритму. Я дуже хотів би мати можливість зробити деяку оцінку невизначеностей щодо параметрів моделі на додаток до знаходження …

9 bayesian  uncertainty  high-dimensional  variational-bayes 

Наступне питання мені поставив друг. Я не міг їй допомогти, але сподіваюся, хтось може мені це пояснити. Я не міг знайти жодного подібного прикладу. Дякую за будь-яку допомогу та пояснення. Питання: Результати 100 експериментів з киданням монет записуються як 0 = "Хвіст" і 1 = "Голова". Вихід x - це …

9 probability  inference  bernoulli-distribution 

У Глубокому навчанні з Python Франсуа Шолле сказано: Як результат, налаштування конфігурації моделі на основі її продуктивності на наборі валідації може швидко призвести до надмірного пристосування до набору перевірок, навіть якщо ваша модель ніколи безпосередньо на ній не навчається. Центральним у цьому явищі є поняття протікання інформації. Кожен раз, коли …

9 neural-networks  cross-validation  hyperparameter 

Розглянемо випадок, описаний нижче, з Павича (1972). Цей уривок, мабуть, означає, що молодий статистик робить розумну, правильну заяву. Але він?

9 experiment-design  clinical-trials 

Я намагаюся зрозуміти оптимізацію градієнта спуску в алгоритмах ML (машинне навчання). Я розумію, що існує функція витрат - де мета - мінімізувати помилку . У сценарії, коли ваги оптимізуються, щоб дати мінімальну помилку, і використовуються часткові похідні, чи змінюються вони як і на кожному кроці чи це комбінація (наприклад, у …

9 optimization  gradient-descent 

Чи має у формі стандартна назва? Наприклад, - це лінійна функція.ех/ (1+ех)ех/(1+ех)e^x/(1+e^x)у= a + b xу=а+бхy = a + bx

9 logistic  neural-networks  deep-learning  terminology