Статистика та великі дані

Припустимо, у мене є алгоритм, який класифікує речі на дві категорії. Я можу виміряти точність алгоритму на скажімо 1000 тестових речей - припустимо, 80% речей класифіковано правильно. Припустимо, я змінив алгоритм якось так, щоб 81% речей були класифіковані правильно. Чи може статистика мені щось сказати про те, чи є вдосконалення …

14 statistical-significance  classification 

У більшості прикладів, які я бачив досі з нейронних мереж, мережа використовується для класифікації, і вузли трансформуються сигмоподібною функцією. Однак я хотів би використовувати нейронну мережу для виведення безперервної реальної величини (реально, вихід зазвичай знаходитиметься в діапазоні від -5 до +5). Мої запитання: 1. Should I still scale the input …

14 regression  neural-networks 

Я переглядаю відеозаписи на безкоштовному онлайн-курсі машинного навчання Ендрю Нґ в Стенфорді. Він розглядає спуск градієнта як алгоритм вирішення лінійної регресії та функції запису в Octave для його виконання. Імовірно, я міг би переписати ці функції в R, але моє запитання: чи функція lm () вже не дає мені вихід …

14 r  regression  machine-learning  gradient-descent 

Чи може хтось пояснити мені свою модель Кокса простою англійською мовою? Наступну модель регресії Кокса я прилаштував до всіх своїх даних за допомогою cphфункції. Мої дані зберігаються в об'єкті, який називається Data. Змінні w, xі yє безперервними; zє фактором двох рівнів. Час вимірюється місяцями. Деяким з моїх пацієнтів відсутні дані …

14 r  cross-validation  survival  cox-model 

Цитуючи статтю у Вікіпедії про оцінку параметрів для наївного класифікатора Байєса : "типовим припущенням є те, що безперервні значення, пов'язані з кожним класом, розподіляються відповідно до розподілу Гаусса". Я розумію, що розподіл Гаусса зручно з аналітичних причин. Однак чи є якась інша причина в реальному світі, щоб зробити це припущення? …

14 normal-distribution 

Центральна межа теореми зазначає, що середнє значення iid змінних, як переходить до нескінченності, стає нормально розподіленим.NNN Це викликає два питання: Чи можемо ми вивести із цього закон великих чисел? Якщо закон великих чисел говорить, що середнє значення вибірки значення випадкової величини дорівнює справжньому середньому оскільки переходить до нескінченності, тоді здається, …

14 probability  central-limit-theorem  law-of-large-numbers 

Може хто-небудь скажіть, будь ласка, як R оцінити точку розриву в кусково-лінійній моделі (як фіксований або випадковий параметр), коли мені також потрібно оцінити інші випадкові ефекти? Нижче я включив приклад іграшки, що відповідає регресії хокейної палиці / розбитої палиці зі випадковими відхиленнями нахилу та випадковою відхиленням y-перехоплення для точки перерви …

14 r  mixed-model  lme4-nlme  change-point  piecewise-linear 

Чи є якісь пакети, щоб зробити кусочну лінійну регресію, яка може виявити кілька вузлів автоматично? Спасибі. Коли я використовую пакунок strucchange. Я не міг виявити точки зміни. Я поняття не маю, як він визначає точки зміни. З сюжетів я міг бачити, що є кілька моментів, я хочу, щоб це могло …

14 regression  change-point 

У заголовку все сказано, і я розгублений. Далі виконується повторне вимірювання aov () в R, і виконує те, що я вважав еквівалентним викликом lm (), але вони повертають різні залишки помилок (хоча суми квадратів однакові). Очевидно, що залишки та пристосовані значення з aov () є тими, які використовуються в моделі, …

14 r  anova  repeated-measures  linear-model 

Я новачок, який збирається почати читати про пошук даних. Я маю основні знання про ІС та статистику. Оскільки багато хто каже, що машинне навчання також відіграє важливу роль у видобутку даних, чи варто читати про машинне навчання, перш ніж я міг би продовжувати процес видобутку даних?

14 machine-learning  references  data-mining 

Чи може хтось вказати мені на реалізацію k-засобів (було б краще, якщо в matlab), яка може взяти матрицю відстані у введенні? Стандартна реалізація matlab потребує вхідної матриці спостереження, і неможливо настроїти зміну міри подібності.

14 clustering  matlab  k-means 

Програмні пакети для виявлення мережевих мотивів можуть повернути надзвичайно високі показники Z (найвищий показник, який я бачив, - 600 000+, але Z-бали понад 100 є досить поширеними). Я планую показати, що ці Z-бали є хибними. Величезні Z-бали відповідають надзвичайно низьким асоційованим ймовірностям. Значення пов'язаних ймовірностей наведено, наприклад, на сторінці звичайної …

14 probability  normal-distribution  p-value  approximation  z-statistic 

Мій непараметричний текст, Практична непараметрична статистика , часто дає чіткі формули для очікувань, дисперсій, тестових статистичних даних тощо, але включає застереження, що це працює лише в тому випадку, якщо ми ігноруємо зв'язки. Розраховуючи статистику Манна-Вітні U, рекомендується викинути зв'язані пари при порівнянні, яка більша. Я розумію, що зв’язки насправді не …

14 nonparametric  ties 

Зачинено. Це питання поза темою . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно було тематичним для перехресної перевірки. Закрито 8 місяців тому . Легко знайти площу обчислення пакету під ROC, але чи існує пакет, який обчислює площу за кривою точності нагадування?

14 r  precision-recall 

Я збираюся зануритися у вивчення R, і мій навчальний проект потягне за собою застосування регресії змішаних чи випадкових ефектів до набору даних для розробки прогнозного рівняння. Я поділяю занепокоєння письменника в цій публікації Як вибрати бібліотеку nlme або lme4 R для моделей зі змішаними ефектами? цікаво, чи краще NLME чи …

14 r  regression  random-effects-model