Статистика та великі дані

Я намагаюся навчити нейронну мережу для класифікації, але мітки, які у мене є, досить шумні (близько 30% міток неправильні). Втрата перехресної ентропії справді працює, але мені було цікаво, чи є в цьому випадку якісь альтернативи? чи оптимальна втрата перехресної ентропії? Я не впевнений, але я думаю про те, щоб дещо …

14 machine-learning  neural-networks  loss-functions  noise 

Я знаю формулу середньої квадратичної помилки і як її обчислити. Коли ми говоримо про регресію, ми можемо обчислити середню квадратичну помилку. Однак чи можна говорити про MSE для проблеми класифікації та як її обчислити?

14 classification  error 

У мене є дві нерівні групи (94 і 52) і хочу провести U-тест Манна-Вітні, щоб побачити, чи відрізняються їх бали за вимірюваною змінною. Я бачу, що нормально робити з Крускаллом-Уоллісом, чи те саме стосується і Манна-Вітні?

14 sample-size  wilcoxon-mann-whitney 

Як навчається шар вбудовування в шар вбудовування Keras? (скажімо, використовуючи заголовок tensorflow, тобто це схоже на word2vec, рукавичку або швидкий текст) Припустимо, ми не використовуємо перевірене вбудовування.

14 deep-learning  keras  word-embeddings 

Універсальна теорема наближення є досить відомим результатом для нейронних мереж, в основному вказуючи, що за деякими припущеннями функція може бути рівномірно наближена нейронною мережею в будь-якій точності. Чи є якийсь аналогічний результат, який стосується конволюційних нейронних мереж?

14 neural-networks  conv-neural-network  approximation 

Я намагаюся зрозуміти інтуїтивне розуміння та відчути різницю та практичну різницю між терміном послідовним та асимптотично неупередженим. Я знаю їхні математичні / статистичні визначення, але я шукаю щось інтуїтивне. Мені, дивлячись на їх окремі визначення, вони майже здаються одними і тими ж. Я розумію, що різниця повинна бути тонкою, але …

14 bias  convergence  unbiased-estimator  asymptotics  intuition 

У мене є набір даних, що містить 34 колонки введення та 8 вихідних стовпців. Один із способів вирішити проблему - взяти 34 входи та побудувати індивідуальну модель регресії для кожного вихідного стовпчика. Мені цікаво, чи можна вирішити цю проблему, використовуючи лише одну модель, особливо за допомогою нейронної мережі. Я використовував …

14 neural-networks  deep-learning  multivariate-regression 

Зазвичай, коли беруть випадкові середні вибіркові показники розподілу (розмір вибірки більше 30), отримують нормальне центрирование розподілу навколо середнього значення. Однак я чув, що розподіл Коші не має середнього значення. Яке розподіл отримують тоді, коли отримують вибіркові засоби розподілу Коші? В основному для розподілу Коші не визначено, що таке і що …

14 cauchy 

Я щойно запустив негативний біноміальний GLM, і це вихід: Call: glm.nb(formula = small ~ method + site + depth, data = size.dat, init.theta = 1.080668549, link = log) Deviance Residuals: Min 1Q Median 3Q Max -2.2452 -0.9973 -0.3028 0.3864 1.8727 Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) 1.6954 0.1152 …

14 r  categorical-data  generalized-linear-model  interpretation  negative-binomial 

У наступному прикладі > m = matrix(c(3, 6, 5, 6), nrow=2) > m [,1] [,2] [1,] 3 5 [2,] 6 6 > (OR = (3/6)/(5/6)) #1 [1] 0.6 > fisher.test(m) #2 Fisher's Exact Test for Count Data data: m p-value = 0.6699 alternative hypothesis: true odds ratio is not equal …

14 r  odds-ratio  fishers-exact 

З огляду на набір даних із двійковими результатами та деякою матрицею провідників , стандартна модель логістичної регресії оцінює коефіцієнти які максимально збільшують біноміальну ймовірність. Коли повний ранг є унікальним; коли ідеального поділу немає, воно є кінцевим.y∈{0,1}ny∈{0,1}ny\in\{0,1\}^nX∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p}βMLEβMLE\beta_{MLE}XXXβMLEβMLE\beta_{MLE} Чи ця модель максимальної ймовірності також максимізує AUC ROC (він же -статистичний), чи …

13 logistic  maximum-likelihood  auc 

Очевидно, що існує багато способів зловживати статистичними методами. Чи знаєте ви будь-які приклади поганої статистичної практики, які вперше були опубліковані як явні поради (наприклад, "ви повинні використовувати цей метод для ...") у авторитетних академічних журналах, які потім неодноразово цитувалися? Прикладом можуть бути 10 подій на правило передбачення, які часто використовуються …

13 references  statistical-falsehoods 

У Kahneman and Deaton (2010) автори пишуть наступне:††^\dagger Ця регресія пояснює 37% дисперсії із середньоквадратичною помилкою (RMSE) 0,67852. Для усунення збитків та неправдоподібних звітів про прибутки ми відхилили спостереження, в яких абсолютна величина різниці між доходами журналу та його прогнозом перевищила в 2,5 рази більше RMSE. Це звичайна практика? Яка …

13 regression  outliers 

Чи справедливо використовувати середню довжину ( ) та середню вагу ( )) від даної сукупності для обчислення середнього показника ( ) для цієї популяції?годhhшwwБ МЯ= шгод2BMI=wh2BMI = \frac{w}{h^2}

13 mean  sample  population 

Зазвичай при логістичній регресії ми підходимо до моделі і отримуємо деякі прогнози на навчальному наборі. Тоді ми перехресно підтверджуємо ці прогнози тренувань (щось подібне тут ) і визначаємо оптимальне порогове значення на основі чогось кривої ROC. Чому ми не включимо перехресну валідацію порогу в реальну модель і не навчимо все …

13 logistic  cross-validation  optimization  roc  threshold