Запитання з тегом «roc»

Чому область під кривою ROC вірогідність того, що класифікатор класифікує випадково вибраний "позитивний" екземпляр (із отриманих прогнозів) вище, ніж випадково обраний "позитивний" (від початкового позитивного класу)? Як можна довести це твердження математично, використовуючи інтеграл, даючи CDF та PDF справжнього розподілу класів на позитивні та негативні?

14 probability  roc  auc 

Зазвичай при логістичній регресії ми підходимо до моделі і отримуємо деякі прогнози на навчальному наборі. Тоді ми перехресно підтверджуємо ці прогнози тренувань (щось подібне тут ) і визначаємо оптимальне порогове значення на основі чогось кривої ROC. Чому ми не включимо перехресну валідацію порогу в реальну модель і не навчимо все …

13 logistic  cross-validation  optimization  roc  threshold 

Однією загальною мірою, яка використовується для порівняння двох або більше моделей класифікації, є використання площі під кривою ROC (AUC) як спосіб опосередкованої оцінки їх ефективності. У цьому випадку модель з більшою AUC зазвичай трактується як краща, ніж модель з меншою AUC. Але, за даними Vihinen, 2012 ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/ ), коли …

13 machine-learning  classification  roc  auc  model-evaluation 

Я отримав модель логістичної регресії (через train) для бінарного відповіді, і я отримав логістичну матрицю сплутаності через confusionMatrixв caret. Це дає мені матрицю плутанини логістичної моделі, хоча я не впевнений, який поріг використовується для її отримання. Як отримати матрицю плутанини для конкретних порогових значень, використовуючи confusionMatrixв caret?

13 r  classification  roc  caret  confusion-matrix 

Я працюю над логістичною моделлю, і у мене виникають певні труднощі з оцінкою результатів. Моя модель - двочленний логіт. Мої пояснювальні змінні: категорична змінна з 15 рівнями, дихотомна змінна та 2 безперервні змінні. Мій N великий> 8000. Я намагаюся моделювати рішення фірм інвестувати. Залежна змінна - це інвестиція (так / …

13 r  logistic  goodness-of-fit  roc 

ми використовували для створення кривої GINI, використовуючи ліфт, створений за допомогою відсотка хорошого та поганого для моделювання показників. Але те, що я вивчив, крива ROC створюється за допомогою матриці плутанини зі специфічністю (1- вірно негативним) як вісь x, а чутливість (справжній позитивний) як вісь Y. Таким чином, результат GINI і …

13 roc  gini 

Зазвичай ми не можемо намалювати криву ROC для дискретних класифікаторів, таких як дерева рішень. Я правий? Чи є можливість намалювати криву ROC для Dtrees?

13 roc  cart 

У машинному навчанні ми можемо використовувати область під кривою ROC (часто скорочено AUC або AUROC), щоб підсумувати, наскільки добре система може розрізняти дві категорії. У теорії виявлення сигналу часто (індекс чутливості) використовується з подібною метою. Обидва тісно пов'язані між собою, і я вважаю, що вони рівноцінні один одному, якщо певні …

13 machine-learning  roc  auc  signal-detection  d-prime 

Я натрапляю на коефіцієнт кістки для подібності обсягу ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) та точності ( https://en.wikipedia.org/wiki/Accuracy_and_precision ). Мені здається, що ці два заходи однакові. Будь-які думки?

13 descriptive-statistics  roc  accuracy  precision-recall  auc 

Я намагаюся знайти спосіб обчислити р-значення для області під характеристикою оператора приймача (ROC). У мене є безперервна змінна та діагностичний результат тесту. Хочу дізнатися, чи AUROC є статистично значущим. Я знайшов багато пакетів, що стосуються кривих ROC: pROC, ROCR, caTools, верифікація, Epi. Але навіть після багатьох годин, проведених за читанням …

12 r  p-value  roc 

На даний момент я використовую двійковий класифікатор. Коли я будую криву ROC, я отримую хороший підйом на початку, тоді він змінює напрямок і перетинає діагональ, а потім, звичайно, назад, роблячи криву нахиленою S подібною формою. Що може бути тлумаченням / поясненням цього ефекту? Дякую

12 roc 

Коли ви схильні використовувати криві ROC для деяких інших тестів, щоб визначити здатність прогнозування певного вимірювання результату? Що стосується дискретних результатів (живих / мертвих, присутніх / відсутніх), що робить ROC криві більш-менш потужними, ніж щось на зразок хі-квадрата?

12 regression  roc 

У мене 100 000 спостережень (9 фіктивних змінних показників) з 1000 позитивних. Логістична регресія повинна спрацьовувати нормально в цьому випадку, але ймовірність відсічення мене спантеличує. У загальній літературі ми обираємо 50% відсікання для прогнозування 1 і 0. Я не можу цього зробити, оскільки моя модель дає максимальне значення ~ 1%. …

11 regression  logistic  classification  generalized-linear-model  roc 

Я хотів би порівняти два різних класифікатори для проблеми класифікації багатокласового тексту, які використовують великі набори навчальних даних. Я сумніваюся, чи варто використовувати криві ROC або криві навчання для порівняння двох класифікаторів. З одного боку, криві навчання корисні для визначення розміру навчального набору даних, оскільки ви можете знайти розмір набору …

11 machine-learning  classification  roc  accuracy 

Я читав цей підпис у папері і ніколи більше не бачив AUC, описаного таким чином. Це правда? Чи є доказ чи простий спосіб це побачити? На рис. 2 показана точність прогнозування дихотомічних змінних, виражена у частині площі під кривою функціонування приймача (AUC), що еквівалентно ймовірності правильного класифікації двох випадково вибраних …

11 classification  roc  auc