Статистика та великі дані

Я дуже новачок у баєсівській статистиці, і це може бути дурним питанням. Тим не менш: Розглянемо достовірний інтервал з попереднім, який визначає рівномірний розподіл. Наприклад, від 0 до 1, де 0 до 1 являє собою весь спектр можливих значень ефекту. Чи в цьому випадку 95% достовірний інтервал буде дорівнює довірчому …

31 bayesian  confidence-interval  estimation  prior  credible-interval 

У мене є чотиришаровий CNN для прогнозування відповіді на рак за допомогою даних МРТ. Я використовую активацію ReLU для введення нелінійностей. Точність та втрати поїздів монотонно збільшуються та зменшуються відповідно. Але моя точність тесту починає дико коливатися. Я спробував змінити рівень навчання, зменшити кількість шарів. Але це не зупиняє коливання. …

31 machine-learning  python  deep-learning 

Я намагався засвоїти машинне навчання за допомогою матеріалу Coursera . У цій лекції Ендрю Нг використовує алгоритм спуску градієнта, щоб знайти коефіцієнти лінійної регресійної моделі, які мінімізують функцію помилок (функція витрат). Для лінійної регресії нам потрібен градієнтний спуск? Здається, я можу аналітично диференціювати функцію помилок і встановити її в нуль …

31 regression  machine-learning  linear-model  gradient-descent 

Я бачив інший потік тут , але я не думаю , що відповідь задовольнила актуальне питання. Що я постійно читав, це те, що Naive Bayes є лінійним класифікатором (наприклад, тут ) (таким, що він малює лінійну межу рішення), використовуючи демонстрацію шансів журналу. Однак я імітував дві хмари Гаусса і встановив …

31 classification  naive-bayes 

У примітках MIT OpenCourseWare за 18.05. Вступ до ймовірностей та статистики, Весна 2014 року (зараз доступний тут ), вказується: Метод первинного завантаження привабливий завдяки своїй простоті. Однак це залежить від розподілу завантажувального завантаження на основі конкретного зразка, який є хорошим наближенням до справжнього розподілу . Райс говорить про метод процентиля, …

31 confidence-interval  bootstrap 

Про те, чи існує термін помилки в логістичній регресії (та її припущеному розподілі), я читав у різних місцях, що: термін помилки не існує термін помилки має біноміальний розподіл (відповідно до розподілу змінної відповіді) термін помилки має логістичний розподіл Може хтось, будь ласка, уточнить?

31 logistic  binomial  bernoulli-distribution  logistic-distribution 

Я хотів би визначити відносну важливість наборів змінних до randomForestкласифікаційної моделі в Р. importanceФункція забезпечує MeanDecreaseGiniметрику для кожного окремого предиктора - чи це так просто, як підсумовувати це для кожного предиктора в наборі? Наприклад: # Assumes df has variables a1, a2, b1, b2, and outcome rf <- randomForest(outcome ~ ., …

31 r  machine-learning  classification  random-forest 

Я використовую інструмент libsvm ( http://www.csie.ntu.edu.tw/~cjlin/libsvm/ ) для класифікації вектора підтримки. Однак я збентежений щодо формату вхідних даних. З ПРОЧИТАННЯ: Формат файлу даних про навчання та тестування: <label> <index1>:<value1> <index2>:<value2> ... . . . Кожен рядок містить екземпляр і закінчується символом '\ n'. Для класифікації <label>- це ціле число, що …

31 machine-learning  svm  python  libsvm  c++ 

Часто стверджується, що завантажувальне завантаження може забезпечити оцінку зміщення в оцінці. Якщо - оцінка для деякої статистики, і - це репліки завантажувальної програми (з ), то оцінка завантаження завантажувальної зсуву \ \ {{рівняння} \ mathrm {упередженість} _t \ приблизно \ frac {1} {N} \ sum_i \ tilde {t} _i- \ …

31 bootstrap  bias 

Переглядаючи визначення Вікіпедії: Середня помилка в квадраті (MSE) Залишкова сума квадратів (RSS) Мені це здається MSE=1NRSS=1N∑(fi−yi)2MSE=1NRSS=1N∑(fi−yi)2\text{MSE} = \frac{1}{N} \text{RSS} = \frac{1}{N} \sum (f_i -y_i)^2 де NNN - кількість зразків, а - наша оцінка .fifif_iyiyiy_i Однак жодна із статей Вікіпедії не згадує про ці стосунки. Чому? Я щось пропускаю?

31 residuals  mse 

Скажімо, що у мене є 1000 компонентів, і я збирав дані про те, скільки разів цей помилок записується, і кожен раз, коли вони реєстрували помилку, я також відслідковую, скільки часу моїй команді потрібно було вирішити проблему. Коротше кажучи, я записував час на ремонт (у секундах) для кожного з цих 1000 …

31 distributions  data-visualization  survival  reliability  distribution-identification 

Чи можна обчислити значення AIC або BIC для регресійних моделей ласо та інших регульованих моделей, де параметри лише частково вводяться в рівняння. Як можна визначити ступеня свободи? Я використовую R для підключення регресійних моделей ласо з glmnet()функцією з glmnetпакету, і я хотів би знати, як обчислити значення AIC та BIC …

31 r  model-selection  lasso  aic  bic 

Це схоже на подібне запитання і не отримало багато відповідей. Пропускаючи тести, такі як Кук Д, і просто дивлячись на залишки як на групу, мене цікавить, як інші використовують залишки під час оцінки придатності. Я використовую залишки сировини: у QQ-графіку для оцінки нормальності у розсіюванні відносно залишків, для перевірки очним …

31 goodness-of-fit  residuals 

Чи є термін "втрата" синонімом "помилки"? Чи є різниця у визначенні? Також, яке походження терміна "втрата"? Примітка: Згадану тут функцію помилок не слід плутати з звичайною помилкою.

31 loss-functions 

Чому ми використовуємо випрямлені лінійні одиниці (ReLU) з нейронними мережами? Як це покращує нейронну мережу? Чому ми говоримо, що ReLU - це функція активації? Чи не функція активації softmax для нейронних мереж? Я здогадуюсь, що ми використовуємо обидва, ReLU та softmax, як це: нейрон 1 з виведенням softmax ----> ReLU …

31 neural-networks