Запитання з тегом «model-evaluation»

Це загальне запитання, яке тут задавали побічно багато разів, але на нього немає однозначної відповіді. Було б чудово отримати детальну відповідь на це для довідки. Точність , частка правильних класифікацій серед усіх класифікацій є дуже простою та дуже "інтуїтивно зрозумілою" мірою, проте вона може бути поганою мірою для незбалансованих даних …

107 machine-learning  classification  accuracy  model-evaluation  scoring-rules 

Раніше я запитував це в StackOverflow, але, здається, це може бути більш доречним, враховуючи, що він не отримав відповідей на SO. Це свого роду на перетині між статистикою та програмуванням. Мені потрібно написати якийсь код, щоб зробити PCA (аналіз основних компонентів). Я переглянув відомі алгоритми і реалізував цей , який, …

54 pca  algorithms  model-evaluation  high-dimensional 

Я помітив, що є кілька реалізацій випадкових лісів, таких як ALGLIB, Waffles і деякі подібні R-пакети randomForest. Хтось може сказати мені, чи ці бібліотеки високо оптимізовані? Вони в основному еквівалентні випадковим лісам, як це детально описано в «Елементах статистичного навчання», або було додано багато зайвих хитрощів? Я сподіваюся, що це …

44 random-forest  algorithms  model-evaluation 

Однією з найбільш важливих проблем кластерного аналізу є те, що, можливо, нам доведеться робити різні висновки, коли базуватися на різних методах кластеризації (включаючи різні методи зв’язку в ієрархічній кластеризації). Мені хотілося б дізнатися вашу думку з цього приводу - який метод ви виберете та як. Можна сказати, «найкращий метод кластеризації …

35 clustering  validation  model-evaluation  hierarchical-clustering 

Нещодавно я натрапив на документ, який пропонує використовувати класифікатор k-NN на певному наборі даних. Автори використовували всі наявні вибірки даних для здійснення k-кратної перехресної перевірки для різних значень k та звітування про результати перехресної перевірки найкращої конфігурації гіперпараметра. Наскільки мені відомо, цей результат є необ'єктивним, і вони повинні були зберегти …

30 cross-validation  references  model-selection  model-evaluation 

Як ми всі знаємо, існує 2 методи оцінки логістичної регресійної моделі, і вони тестують дуже різні речі Прогнозова сила: Отримайте статистику, яка вимірює, наскільки добре ви можете передбачити залежну змінну на основі незалежних змінних. Добре відомі псевдо R ^ 2 - Макфадден (1974) і Кокс і Снелл (1989). Статистика придатності …

24 r  logistic  goodness-of-fit  regression-strategies  model-evaluation 

Я маю справу з проблемою виявлення шахрайства (як кредитно-рахунковий). Як такий, існує сильно незбалансований зв’язок між шахрайськими та не шахрайськими спостереженнями. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html надає чудовий огляд різних класифікаційних показників. Precision and Recallабо kappaобидва здаються хорошим вибором: Одним із способів обґрунтувати результати таких класифікаторів є порівняння їх з результатами базових класифікаторів та …

22 classification  unbalanced-classes  precision-recall  cohens-kappa  model-evaluation 

Чи можуть значення AUC-ROC бути між 0-0,5? Чи модель коли-небудь виводить значення між 0 і 0,5?

16 roc  model-evaluation  auc 

Конкуренція Kaggle Безпечний прогноз водія Porto Seguro використовує нормований показник Джині в якості метрики оцінювання, і це мене зацікавило причин такого вибору. Які переваги використання нормалізованої оцінки джині замість найбільш звичайних показників, таких як AUC, для оцінки?

14 classification  auc  model-evaluation  gini 

Однією загальною мірою, яка використовується для порівняння двох або більше моделей класифікації, є використання площі під кривою ROC (AUC) як спосіб опосередкованої оцінки їх ефективності. У цьому випадку модель з більшою AUC зазвичай трактується як краща, ніж модель з меншою AUC. Але, за даними Vihinen, 2012 ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/ ), коли …

13 machine-learning  classification  roc  auc  model-evaluation 

Чи однакові поняття коефіцієнтів кореляції фі та Меттьюса? Як вони пов'язані або еквівалентні коефіцієнту кореляції Пірсона для двох бінарних змінних? Я припускаю, що двійкові значення дорівнюють 0 і 1. Кореляція Пірсона між двома випадковими змінними Бернуллі і є:xxxyyy ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]−−−−−−−−−−√=E[xy]−E[x]E[y]Var[x]Var[y]−−−−−−−−−−√=n11n−n1∙n∙1n0∙n1∙n∙0n∙1−−−−−−−−−−√ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]=E[xy]−E[x]E[y]Var[x]Var[y]=n11n−n1∙n∙1n0∙n1∙n∙0n∙1 \rho = \frac{\mathbb{E} [(x - \mathbb{E}[x])(y - \mathbb{E}[y])]} {\sqrt{\text{Var}[x] \, \text{Var}[y]}} …

13 correlation  contingency-tables  bernoulli-distribution  model-evaluation  confusion-matrix 

У моїй аудиторії впливу даних обміну даними метод тримання був запроваджений як спосіб оцінки продуктивності моделі. Однак, коли я взяв свій перший клас на лінійних моделях, це не було запроваджено як засіб перевірки чи оцінки моделі. Моє онлайн-дослідження також не показує ніякого перехрестя. Чому метод класифікації не використовується в класичній …

12 regression  validation  model-evaluation  out-of-sample 

Я хотів краще зрозуміти точний тест Фішера, тому я розробив наступний іграшковий приклад, де f і m відповідає чоловічому та жіночому, а n і y відповідає такому "споживання соди", як це: > soda_gender f m n 0 5 y 5 0 Очевидно, це різке спрощення, але я не хотів, щоб …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling 

Я читав про регресійні метрики в посібнику з python scikit-learn, і хоча кожен з них має власну формулу, я не можу інтуїтивно сказати, у чому різниця між R2R2R^2 та шкалою дисперсії, а отже, коли використовувати те чи інше для оцінки мого моделей.

12 regression  variance  scikit-learn  r-squared  model-evaluation 

Це показник F бета: Fβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallFβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallF_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}} У статті Вікіпедії зазначено, що .FβFβF_\beta "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision" Я не здобув ідеї. Чому так …

10 machine-learning  precision-recall  model-evaluation