Статистика та великі дані

Сьогодні наш професор на уроці заявив, що "переобладнати лінійними класифікаторами неможливо". Я вважаю, що це неправильно, оскільки навіть лінійні класифікатори можуть бути чутливими до людей, що перебувають у навчальному наборі - візьмімо, наприклад, жорсткий запас підтримки Vector Machine: Один єдиний шумний точок даних може змінити, який гіперплан буде використовуватися для …

10 classification  overfitting 

Малої світова мережа являє собою тип математичного графа , в якому більшість вузлів не є сусідами одного з одним, але більшість вузлів можуть бути досягнуті з будь-яким іншим невеликим числом стрибків або кроків. Зокрема, мережа малого світу визначається як мережа, де типова відстань L між двома випадковими обраними вузлами (кількість …

10 hypothesis-testing  graph-theory  networks 

У цьому документі (у вільному доступі через центральний PubMed) автори використовують негативну біноміальну регресію для моделювання оцінки на 10-елементному інструменті екранування, набраному 0-40. Ця процедура передбачає підрахунок даних, що тут явно не так. Мені б хотілося вашої думки про те, чи прийнятний такий підхід, оскільки я іноді використовую той же …

10 regression  negative-binomial  count-data 

Припустимо, що я намагаюся повторно параметризувати функцію вірогідності, яка розподілена експоненціально. Якщо моя оригінальна функція вірогідності: р (у∣ θ ) = θ e- θ уp(y∣θ)=θe−θy p(y \mid \theta) = \theta e^{-\theta y} і я хотів би повторно параметризувати його за допомогою , оскільки не є випадковою змінною, а параметром, достатньо …

10 regression  bayesian  mathematical-statistics 

У мене виникає питання щодо обґрунтованості використання RMSE (Root Mean Squared Error) для порівняння різних логістичних моделей. Відповідь є 0або, 1і прогнози є ймовірністю між 0- 1? Чи справедливий спосіб, застосований нижче, і для двійкових відповідей? # Using glmnet require(glmnet) load(url("https://github.com/cran/glmnet/raw/master /data/BinomialExample.RData")) cvfit = cv.glmnet(x, y, family = "binomial", type.measure …

10 regression  logistic  generalized-linear-model  glmnet  rms 

Мене цікавить такий тип випадків: є безперервні випадкові змінні, що мають значення n, які повинні дорівнювати 1. Який тоді буде PDF для будь-якої окремої такої змінної? Отже, якщо , то мене цікавить розподіл для , де і розподілені рівномірно. Середнє значення, звичайно, у цьому прикладі становить , оскільки середнє значення …

10 uniform 

У мене є деякі дані, які існують на графіку . Вершини належать до одного з двох класів y i ∈ { - 1 , 1 } , і мені цікаво навчати SVM для розмежування двох класів. Одним відповідним ядром для цього є дифузійне ядро , K = exp ( - …

10 svm  cross-validation  kernel-trick  graph-theory 

Я хочу оцінити середнє значення функції f, тобто де і незалежні випадкові величини. У мене є зразки f, але не iid: Є зразки для і для кожного є зразки з :EX,Y[f(X,Y)]EX,Y[f(X,Y)]E_{X,Y}[f(X,Y)]XXXYYYY1,Y2,…YnY1,Y2,…YnY_1,Y_2,\dots Y_nYiYiY_ininin_iXXXXi,1,Xi,2,…,Xi,niXi,1,Xi,2,…,Xi,niX_{i,1},X_{i,2},\dots, X_{i,n_i} Отже, у мене є зразкиf(X1,1,Y1)…f(X1,n1,Y1)…f(Xi,j,Yi)…f(Xn,nn,Yn)f(X1,1,Y1)…f(X1,n1,Y1)…f(Xi,j,Yi)…f(Xn,nn,Yn)f(X_{1,1},Y_1) \dots f(X_{1,n_1},Y_1 ) \dots f(X_{i,j},Y_i) \dots f(X_{n,n_n},Y_n) Для оцінки середнього значення я …

10 variance  unbiased-estimator  estimators 

Чи існує пакет R (або навіть основна функція R), який реалізує метод Фішера або Штуффера для поєднання p-значень? Кодування цього має бути майже тривіальним, але я б краще скористався пакетом (і цитую його). Приклад коду в цьому запитанні: метод Фішера для розчісування p-значень - а як щодо нижнього хвоста?

10 r  combining-p-values 

Якщо є, між пристосуванням рядка до декількох окремих "експериментів", то усередненням пристосувань або усередненням даних із окремих експериментів, то підходом усереднених даних. Дозвольте мені детальніше: Я виконую комп'ютерне моделювання, яке генерує криву, показану нижче. Ми витягуємо величину, давайте назвемо її "А", встановивши лінійну область ділянки (тривалий час). Значення - це …

10 error  fitting  average 

Я тестую незалежність в таблицю спряженості. Я не знаю, чи краще тест G чи Пірсон чи-квадрат. Розмір вибірки - сотні, але кількість низьких клітин. Як зазначено на сторінці Вікіпедії , наближення до розподілу chi-квадратиком краще для G-тесту, ніж для тесту Хі-квадрата Пірсона. Але я використовую моделювання Монте-Карло для обчислення р-значення, …

10 chi-squared  p-value  monte-carlo  contingency-tables 

Коли корисна трансформація категорійних змінних ваги доказів (WOE)? Приклад можна побачити в трансформації WOE (Отже, для відповіді , і категоричного прогноктора з категоріями, і успіхів з випробувань в рамках ї категорії цього WOE для ї категорії визначається якyyykkkyjyjy_jnjnjn_jjjjjjj logyj∑kjyj∑kj(nj−yj)nj−yjlog⁡yj∑jkyj∑jk(nj−yj)nj−yj\log \frac{y_j} {\sum_j^k {y_j}} \frac{\sum_j^k (n_j-y_j)}{n_j-y_j} & перетворення складається з кодування кожної …

10 logistic  categorical-data  regression-strategies 

Класичний аналіз основного компонента (PCA) - це зробити на матриці вхідних даних, стовпці якої мають нульове середнє значення (тоді PCA може "максимізувати дисперсію"). Цього можна легко досягти шляхом центрування стовпців. Однак, коли вхідна матриця буде рідкою, централізована матриця тепер буде більш рідкою, і - якщо матриця дуже велика - таким …

10 pca  algorithms  dimensionality-reduction  large-data  sparse 

Мені було цікаво, де існує загальна формула, що стосується очікуваного значення безперервної випадкової величини як функції квантилів того ж rv Очікуване значення rv визначається як: E ( X ) = ∫ x d F X ( x ) і квантили визначаються як: Q p X = { x : F …

10 expected-value  quantiles  quantile-regression 

Наскільки я бачив, думки щодо цього зазвичай відрізняються. Найкраща практика, безумовно, диктує використання перехресної перевірки (особливо якщо порівнювати радіочастотні сигнали з іншими алгоритмами на тому ж наборі даних). З іншого боку, першоджерело зазначає, що обчислюється похибка OOB під час навчання моделі є достатньою для показника продуктивності тестового набору. Навіть Тревор …

10 cross-validation  random-forest  overfitting  out-of-sample