Статистика та великі дані

Прогнозовані класи від (бінарної) логістичної регресії визначаються за допомогою порогу щодо ймовірностей членства в класі, породжених моделлю. Як я розумію, типово 0,5 використовується за замовчуванням. Але зміна порогу змінить передбачувані класифікації. Чи означає це поріг - гіперпараметр? Якщо так, то чому (наприклад) неможливо легко здійснити пошук по сітці порогів за …

13 machine-learning  logistic  scikit-learn  hyperparameter 

Зараз я працюю над проблемою, за якою у нас є невеликий набір даних, і ми зацікавлені в ефекті причинності лікування на результат. Мій радник доручив мені виконати одноманітну регресію для кожного прогноктора з результатом як відповідь, потім призначення лікування як відповідь. Тобто, мене просять встановити регресію по одній змінній за …

13 regression  multivariate-analysis  model-selection  causality  univariate 

Це якась дивна думка, яку я мав під час перегляду старої статистики, і я чомусь не можу думати про відповідь. Безперервний PDF нам повідомляє про щільність спостереження значень у будь-якому заданому діапазоні. А саме, якщо, наприклад, X∼N(μ,σ2)X∼N(μ,σ2)X \sim N(\mu,\sigma^2) , то ймовірність того, що реалізація падає між aaa і bbb …

13 normal-distribution  maximum-likelihood  pdf 

Я подав опитування на зразок художників. Одним із запитань було вказати відсоток доходу, отриманий завдяки: мистецькій діяльності, державній підтримці, приватній пенсії, діяльності, не пов'язаній із мистецтвом. Близько 65% людей відповіли таким чином, що сума відсотка становить 100. Інші не відповідають: наприклад, є такі, хто відповідає, що 70% доходу, отриманого його …

13 survey  bias 

Регресія на не повинна бути причинною, якщо є опущені змінні, які впливають і на і на . Але якщо не для опущених змінних та помилки вимірювання, чи є причиною регресії? Тобто, якщо в регресію включена кожна можлива змінна?yyyxxxxxxyyy

13 regression  bias  causality 

Я помічав, що у багатьох практичних програмах методики на основі MCMC використовуються для оцінки параметра, навіть якщо задній є аналітичним (наприклад, тому, що пріори були сполученими). Для мене має сенс використовувати MAP-оцінки, а не оцінки на основі MCMC. Чи може хтось зазначити, чому MCMC все ще є відповідним методом за …

13 bayesian  mcmc  posterior 

Я читаю про найкращий вибір підмножини в книзі «Елементи статистичної книги». Якщо у мене є 3 предиктори , я створюю підмножини:2 3 = 8х1, х2, х3x1,x2,x3x_1,x_2,x_323= 823=82^3=8 Підмножина без прогнозів підмножина з предикторомх1x1x_1 підмножина з предикторомх2x2x_2 підмножина з предикторомх3x3x_3 підмножина з предикторамих1, х2x1,x2x_1,x_2 підмножина з предикторамих1, х3x1,x3x_1,x_3 підмножина з предикторамих2, …

13 regression  feature-selection  lasso  bias-variance-tradeoff 

Я думаю, що це щось базове, але скажіть, у мене є випадкова величина , це ймовірність така сама, як для будь-якої реально оціненої безперервної функції ?P ( X ≤ a )XXXP(X≤a)P(X≤a)P(X \leq a)fP(f(X)≤f(a))P(f(X)≤f(a))P(f(X) \leq f(a))fff

13 probability  distributions 

Якщо все, що ви робите, - це повторний відбір з емпіричного розподілу, чому б не просто вивчити емпіричний розподіл? Наприклад, замість вивчення змінності за допомогою повторного відбору проб, чому б не просто кількісно оцінити мінливість від емпіричного розподілу?

13 machine-learning  mathematical-statistics  sampling  bootstrap  resampling 

У багатьох працях, які розглядають питання лікування та результатів, я бачу таблиці (зазвичай "таблиця 1") того, що можна назвати змінними неприємності (часто демографічні показники, іноді медичні умови) з тестами на значущість та текстом, наприклад "групи були в основному подібними, не було суттєвих відмінностей у XXXXX, див. таблицю ". Тож чітка …

13 equivalence  controlling-for-a-variable 

Що таке байєсівське глибоке навчання і як воно пов'язане з традиційною баєсійською статистикою та традиційним глибоким навчанням? Які основні поняття та математика задіяні? Чи можу я сказати, що це просто не параметрична байесівська статистика? Які його семінарські роботи, а також сучасні основні розробки та застосування? PS: Байєсівське глибоке навчання привертає …

13 bayesian  deep-learning 

Чи є розподіл чи я можу працювати з іншого дистрибутива, щоб створити такий розподіл на зображенні нижче (вибачення за погані малюнки)? де я даю число (0,2, 0,5 та 0,9 у прикладах), де має бути пік, і стандартне відхилення (сигма), яке робить функцію ширшою або менш широкою. PS: Коли задане число …

13 distributions  normal-distribution 

Нехай і - чотири випадкові величини, такі, що , де - невідомі параметри. Припустимо також, що ,Тоді яка з них справжня?Y1, Y2, Y3Y1,Y2,Y3Y_1,Y_2,Y_3Y4Y4Y_4Е( Y1) = θ1- θ3; Е ( Y2) = θ1+ θ2- θ3; Е ( Y3) = θ1- θ3; Е ( Y4) = θ1- θ2- θ3E(Y1)=θ1−θ3; E(Y2)=θ1+θ2−θ3; E(Y3)=θ1−θ3; E(Y4)=θ1−θ2−θ3E(Y_1)=\theta_1-\theta_3;\space\space …

13 self-study  estimation  inference 

Однією загальною мірою, яка використовується для порівняння двох або більше моделей класифікації, є використання площі під кривою ROC (AUC) як спосіб опосередкованої оцінки їх ефективності. У цьому випадку модель з більшою AUC зазвичай трактується як краща, ніж модель з меншою AUC. Але, за даними Vihinen, 2012 ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/ ), коли …

13 machine-learning  classification  roc  auc  model-evaluation 

Я використовую сценарій. Це для основних записів. У мене є кадр даних, який показує різні елементарні композиції в стовпцях на заданій глибині (у першому стовпці). Я хочу виконати з нею PCA, і я плутаюсь щодо методу стандартизації, який я повинен вибрати. Хто-небудь з вас використовував цю програму clr()для підготовки ваших …

13 r  pca  normalization  compositional-data