Статистика та великі дані

На зображенні нижче показано безперервну криву помилкових позитивних показників проти справжніх позитивних показників: Однак те, що я не одразу отримую, - це те, як розраховуються ці ставки. Якщо метод застосовується до набору даних, він має певну швидкість FP та певну швидкість FN. Чи це не означає, що кожен метод повинен …

22 machine-learning  data-visualization  roc  auc 

Це питання трохи ліворуч, але я подумав, що спільнота тут, мабуть, має сильні погляди на цю тему! Я пишу кандидатську дисертацію. Послідовно, кажучи про величини, які формально пов'язані з гауссовим розподілом, я заздалегідь використовував "N" у "Normal", щоб посилатися на них. Наприклад, "[... За таких обставин] отриманий розподіл не є …

22 normal-distribution  terminology 

Я хотів би ієрархічно кластеризувати свої дані, але замість того, щоб використовувати евклідову відстань, я хотів би використовувати кореляцію. Крім того, оскільки коефіцієнт кореляції коливається від -1 до 1, причому як -1, так і 1 позначають "співрегуляцію" в моєму дослідженні, я розглядаю як -1, так і 1 як d = …

22 correlation  clustering  distance  hierarchical-clustering 

За байєсівським висновком прогнозний розподіл для майбутніх даних виводиться шляхом інтеграції невідомих параметрів; інтеграція по задньому розподілу цих параметрів дає задній прогнозний розподіл - розподіл для майбутніх даних, що обумовлюються вже наявними. Які існують не байєсовські методи прогнозного висновку, які враховують невизначеність в оцінках параметрів (тобто вони не просто включають …

22 prediction  inference  prediction-interval 

У мене в голові з'явилася якась плутанина щодо двох типів оцінювачів популяційного значення коефіцієнта кореляції Пірсона. А. Фішер (1915) показав, що для біваріантної нормальної популяції емпіричний є негативно упередженим оцінником , хоча зміщення може бути практично значним лише для невеликого розміру вибірки ( ). Зразок r недооцінює \ rho в …

22 correlation  pearson-r  unbiased-estimator  estimators  point-estimation 

Чи є якісь хороші документи, які висвітлюють деякі методичні способи вибору розмірів для фільтрів, об'єднання одиниць та визначення кількості згорткових шарів?

22 neural-networks  deep-learning  conv-neural-network 

Більшість ресурсів на правильних правилах балів згадує низку різних правил скорингу, такі як втрата журналу, оцінка Brier або сферичне оцінювання. Однак вони часто не дають великих рекомендацій щодо відмінностей між ними. (Виставка А: Вікіпедія .) Вибір моделі, яка максимально збільшує логарифмічну оцінку, відповідає вибору моделі максимальної ймовірності, що здається хорошим …

22 machine-learning  classification  model-selection  theory  scoring-rules 

Як приворот до питання про лінійно-змішані моделі в R, і поділитися як орієнтир для початківців / проміжних прихильників статистики, я вирішив опублікувати як незалежний "Q & A-стиль" кроки, пов'язані з "ручним" обчисленням коефіцієнти та прогнозовані значення простої лінійної регресії. Приклад - вбудований R набір даних, mtcarsі він буде встановлений як …

22 r  regression  linear-model  lm 

У PCA, коли кількість розмірів більша (або навіть дорівнює) кількості зразків , чому саме у вас буде не більше власних векторів ? Іншими словами, ранг коваріаційної матриці серед розмірів - .dddNNNN−1N−1N-1d≥Nd≥Nd\ge NN−1N−1N-1 Приклад: ваші зразки - це векторизовані зображення розміром , але у вас лише зображень.d=640×480=307200d=640×480=307200d = 640\times480 = 307\,200N=10N=10N=10

22 pca  dimensionality-reduction  eigenvalues 

Я читав "Елементи статистичного навчання" і не міг зрозуміти, про що йдеться в розділі 3.7 "Багаторазове скорочення та вибір". Це говорить про RRR (регресія зі зниженим рангом), і я можу лише зрозуміти, що передумова стосується узагальненої багатовимірної лінійної моделі, де коефіцієнти невідомі (і підлягають оцінці), але, як відомо, не мають …

22 regression  multivariate-analysis  dimensionality-reduction  regularization  reduced-rank-regression 

Який найкращий сюжет, з статистичної точки зору, для відображення таблиці непередбачених ситуацій , яка, як правило, аналізується за допомогою тесту чи-квадрата? Це ухилена барплот, штабельна штанга, теплова карта, контурний графік, тремтіння розсіювання, кілька рядків або щось інше? Чи слід показувати абсолютні значення чи відсотки? Редагувати: Або, як підказує @forecaster у …

22 data-visualization  contingency-tables 

Я шукаю розширений випадок лінійної регресії, що ілюструє кроки, необхідні для моделювання складних, декількох нелінійних зв’язків за допомогою GLM або OLS. Напрочуд складно знайти ресурси, що виходять за рамки базових шкільних прикладів: більшість прочитаних книг не піде далі, ніж перетворення журналу відповіді, поєднане з BoxCox одного прогноктора, або природний сплайн …

22 multiple-regression  generalized-linear-model  data-transformation  splines  nonlinear 

Я зацікавлений , щоб оцінити щільність безперервної випадкової величини ХХX . Один із способів цього, який я дізнався, - це використання оцінки щільності ядра. Але зараз мене цікавить байєсівський підхід, що йде в наступних напрямках. Спочатку я вважаю , що ХХX слід розподіл ЖЖF . Я приймаю ннn свідчення ХХX …

22 bayesian  pdf  nonparametric-bayes  dirichlet-process 

З огляду на матрицю коваріації , як генерувати такі дані, щоб у них була матриця зразкової коваріації \ hat {\ boldsymbol \ Sigma} = \ boldsymbol \ Sigma_s ?ΣsΣs\boldsymbol \Sigma_sΣ^=ΣsΣ^=Σs\hat{\boldsymbol \Sigma} = \boldsymbol \Sigma_s Більш загально: нас часто цікавить генерування даних із щільності f(x|θ)f(x|θ) f(x \vert \boldsymbol\theta) , при цьому …

22 correlation  sampling  random-generation  covariance-matrix 

Я навіть не впевнений, що питання має багато сенсу, але я думаю, що я побачив пару назв робіт, де вони пропонували випадковий ліс із випадковими ефектами. Чи можливо це в R?

22 r  random-forest  random-effects-model