Статистика та великі дані

У Scikit є CalibratedClassifierCV , що дозволяє нам калібрувати наші моделі на певній парі X, y. Він також чітко стверджує, щоdata for fitting the classifier and for calibrating it must be disjoint. Якщо вони повинні бути непересічними, чи законно навчати класифікатора наступним чином? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, y_train) Я побоююся, …

16 cross-validation  scikit-learn  validation  train  calibration 

Як randomForestоцінює ймовірність класу пакетів, коли я використовую predict(model, data, type = "prob")? Я використовував rangerдля навчання випадкових лісів, використовуючи probability = Tаргумент для прогнозування ймовірностей. rangerв документації говорить, що це: Вирощувати ймовірнісні ліси, як у Malley et al. (2012 р.). Я імітував деякі дані і спробував обидва пакети та …

16 r  random-forest  prediction 

Я аналізую набір даних, використовуючи модель змішаних ефектів з одним фіксованим ефектом (умовою) та двома випадковими ефектами (учасник, обумовлений в рамках проекту та пари). Модель була згенерована з lme4пакетом: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Далі я провів перевірку коефіцієнта ймовірності цієї моделі проти моделі без фіксованого ефекту (умови) і маю суттєву різницю. У моєму …

16 r  repeated-measures  multiple-comparisons  post-hoc  lsmeans  bayesian  posterior  marginal  integral  anova  time-series  regularization  machine-learning  pca  computational-statistics  references  inference  regression  cross-validation  python  random-forest  chi-squared  spearman-rho  r  machine-learning  confidence-interval  bagging  clustering  feature-selection  model-selection  bic  hypothesis-testing  kurtosis  r  regression  residuals  terminology 

У мене є питання про два різні методи з різних бібліотек, які, здається, виконують ту саму роботу. Я намагаюся зробити лінійну регресійну модель. Ось код, за допомогою якого я використовую бібліотеку statsmodel з OLS: X_train, X_test, y_train, y_test = cross_validation.train_test_split(x, y, test_size=0.3, random_state=1) x_train = sm.add_constant(X_train) model = sm.OLS(y_train, x_train) …

16 regression  python  scikit-learn  statsmodels 

Чим відрізняється інтуїція від розподілу Gamma та Weibull? Чи є якась залежність між двома щільністю? Ласкаво допоможіть.

16 gamma-distribution  weibull 

Враховуючи передбачувану змінну (P), випадковий ефект (R) та фіксований ефект (F), можна помістити дві моделі змішаних ефектів * ( синтаксис lme4 ): m1 = lmer( P ~ (1|R) + F ) m2 = lmer( P ~ (1+F|R) + F) Як я розумію, друга модель - це та, яка дозволяє фіксованому …

16 mixed-model 

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/ Якщо ви подивитеся на верхню частину цього повідомлення, письменник зазначає, що норма L2 має унікальне рішення, а норма L1, можливо, має багато рішень. Я розумію це з точки зору регуляризації, але не з точки зору використання норми L1 або норми L2 у функції втрат. Якщо ви подивитеся на графіки …

16 regression  lasso  regularization 

Яка похідна функції активації ReLU визначається як: ReLU(x)=max(0,x)ReLU(x)=max(0,x) \mathrm{ReLU}(x) = \mathrm{max}(0, x) Що з особливим випадком, коли в спостерігається розрив функції ?x=0x=0x=0

16 self-study  neural-networks 

Я намагаюся зрозуміти функцію втрати Yolo v2: λcoord∑i=0S2∑j=0B1objij[(xi−x^i)2+(yi−y^i)2]+λcoord∑i=0S2∑j=0B1objij[(wi−−√−w^i−−√)2+(hi−−√−h^i−−√)2]+∑i=0S2∑j=0B1objij(Ci−C^i)2+λnoobj∑i=0S2∑j=0B1noobjij(Ci−C^i)2+∑i=0S21obji∑c∈classes(pi(c)−p^i(c))2λcoord∑i=0S2∑j=0B1ijobj[(xi−x^i)2+(yi−y^i)2]+λcoord∑i=0S2∑j=0B1ijobj[(wi−w^i)2+(hi−h^i)2]+∑i=0S2∑j=0B1ijobj(Ci−C^i)2+λnoobj∑i=0S2∑j=0B1ijnoobj(Ci−C^i)2+∑i=0S21iobj∑c∈classes(pi(c)−p^i(c))2\begin{align} &\lambda_{coord} \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}[(x_i-\hat{x}_i)^2 + (y_i-\hat{y}_i)^2 ] \\&+ \lambda_{coord} \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}[(\sqrt{w_i}-\sqrt{\hat{w}_i})^2 +(\sqrt{h_i}-\sqrt{\hat{h}_i})^2 ]\\ &+ \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}(C_i - \hat{C}_i)^2 + \lambda_{noobj}\sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{noobj}(C_i - \hat{C}_i)^2 \\ &+ \sum_{i=0}^{S^2} \mathbb{1}_{i}^{obj}\sum_{c \in classes}(p_i(c) - \hat{p}_i(c))^2 \\ \end{align} Якщо будь-яка людина може деталізувати функцію.

16 neural-networks  loss-functions  object-detection  yolo 

Чи можуть значення AUC-ROC бути між 0-0,5? Чи модель коли-небудь виводить значення між 0 і 0,5?

16 roc  model-evaluation  auc 

Чи є відео чи інші книги / примітки, що хтось натрапив на те, щоб слідувати розпізнаванню візерунків та машинному навчанню Кріс Бішоп? Я купив цю книгу, щоб навчитися машинному навчанню, і у мене виникли проблеми з її переходом.

16 machine-learning  references  pattern-recognition 

Скажімо, у нас є модель mod <- Y ~ X*Condition + (X*Condition|subject) # Y = logit variable # X = continuous variable # Condition = values A and B, dummy coded; the design is repeated # so all participants go through both Conditions # subject = random effects for different …

16 mixed-model  lme4-nlme  overfitting  singular 

Точність визначається як: p = справжні позитиви / (справжні позитиви + хибні позитиви) Яке значення точності, якщо (справжні позитивні + хибні позитивні) = 0? Це просто невизначено? Те саме запитання для відкликання: r = справжні позитиви / (справжні позитиви + хибні негативи) У цьому випадку, яке значення пригадування, якщо (справжні …

16 precision-recall 

Я треную нейронну мережу за допомогою i) SGD та ii) Адапта оптимізатора. Під час використання звичайного SGD я отримую плавну криву втрати тренувань проти ітерації, як показано нижче (червона). Однак, коли я використовував оптимізатор Адама, крива втрати тренувань має деякі сплески. Яке пояснення цих шипів? Деталі моделі: 14 вхідних вузлів …

16 neural-networks  deep-learning  adam 

Іноді я бачив, як підручники посилаються на другий параметр у нормальному розподілі як на стандартне відхилення та дисперсію. Наприклад, випадкова величина X ~ N (0, 4). Незрозуміло, чи дорівнює рівню сигми або сигми квадрат 4. Я просто хочу з'ясувати загальну умову, яка використовується, коли стандартне відхилення або дисперсія не визначені.

15 distributions  normal-distribution