Статистика та великі дані

У певних колах усадка слів дуже багато. Але що таке усадка, то, схоже, не існує чіткого визначення. Якщо у мене є часовий ряд (або будь-яка колекція спостережень за деяким процесом), то якими різними способами я можу виміряти певний тип емпіричної усадки на серії? Про які різні теоретичні усадки я можу …

13 estimation  predictive-models  shrinkage 

Припустимо, гра пропонує подію, яка по завершенні або дає нагороду, або нічого не дає. Точний механізм визначення того, чи присуджується винагорода, невідомий, але я припускаю, що використовується генератор випадкових чисел, і якщо результат більший, ніж якесь твердо кодоване значення, ви отримуєте винагороду. Якщо я хочу в основному реверсувати інженер, яке …

13 logistic  mathematical-statistics  sample-size  power-analysis  bernoulli-distribution 

Які способи вибрати, яке ядро ​​призведе до гарного поділу даних у кінцевому виведенні даних за допомогою PCA ядра (аналіз основних компонентів), і які способи оптимізації параметрів ядра? Якщо можливо, умови Лаймана були б дуже вдячні, і посилання на документи, що пояснюють такі методи, також були б непоганими.

13 pca  cross-validation  dimensionality-reduction  kernel-trick  manifold-learning 

У машинному навчанні ми можемо використовувати область під кривою ROC (часто скорочено AUC або AUROC), щоб підсумувати, наскільки добре система може розрізняти дві категорії. У теорії виявлення сигналу часто (індекс чутливості) використовується з подібною метою. Обидва тісно пов'язані між собою, і я вважаю, що вони рівноцінні один одному, якщо певні …

13 machine-learning  roc  auc  signal-detection  d-prime 

Це питання може бути надто елементарним. Для тимчасової тенденції даних я хотів би з’ясувати, де відбувається «різка» зміна. Наприклад, на першому малюнку, показаному нижче, я хотів би з’ясувати точку зміни за допомогою якогось статистичного методу. І я хотів би застосувати такий метод в деяких інших даних, точка зміни яких не …

13 time-series  trend  change-point 

Намагаюся вивчити деякі Python та Sklearn, але для своєї роботи мені потрібно запустити регресії, які використовують розподіл помилок із сімей Пуассона, Гамми та особливо Tweedie. Я нічого не бачу в документації про них, але вони знаходяться в декількох частинах розподілу R, тому мені було цікаво, чи хтось бачив реалізацію для …

13 generalized-linear-model  python  scikit-learn  gradient-descent  tweedie-distribution 

Я аналізував деякі дані, використовуючи лінійне моделювання змішаних ефектів у Р. Я планую зробити плакат з результатами, і мені було просто цікаво, чи може хтось із досвідчених моделей зі змішаним ефектом запропонувати, які сюжети використовувати для ілюстрації результатів модель. Я думав про залишкові графіки, графік пристосованих значень проти початкових значень …

13 r  data-visualization  mixed-model 

Якщо у формулі glm використовується факторна змінна (наприклад, стать із рівнями M і F), ​​створюються фіктивні змінні (і), які можна знайти в резюме моделі glm разом із пов'язаними з ними коефіцієнтами (наприклад, genderM) Якщо замість того, щоб покластися на R, поділити коефіцієнт таким чином, коефіцієнт кодується в ряд числових змінних …

13 r  generalized-linear-model  categorical-data  categorical-encoding 

Як змінюється відносний розмір значення ap для різних розмірів вибірки? Наприклад, якщо ви отримали при для кореляції, а потім при ви отримали те саме значення p 0,20, який би був відносний розмір p значення для другого тесту порівняно з вихідним значенням p коли ?p=0.20p=0.20p=0.20n=45n=45n=45n=120n=120n=120n=45n=45n=45

13 p-value  sample-size 

Чи є література, яка вивчає вибір розміру міні-партії при виконанні стохастичного градієнтного спуску? На мій досвід, це здається, що це емпіричний вибір, який зазвичай виявляється шляхом перехресної перевірки або з використанням різних правил. Це гарна ідея повільно збільшувати розмір міні-партії, оскільки зменшується помилка перевірки? Які наслідки це матиме на помилку …

13 machine-learning  gradient-descent  hyperparameter  deep-learning 

Відбір проб із заміною має дві переваги перед вибіркою без заміни, як я це бачу: 1) Вам не потрібно турбуватися про обмежене виправлення популяції. 2) Є ймовірність, що елементи з популяції малюються кілька разів - тоді ви можете переробити вимірювання та заощадити час. Звичайно, з академічного POV треба досліджувати обидва …

13 sampling  finite-population 

Мені потрібно оцінити базову функцію небезпеки у залежності від часу моделі Коксаλ0( t )λ0(т)\lambda_0(t) λ ( t ) = λ0( t ) експ( Z( t )'β)λ(т)=λ0(т)досвід⁡(Z(т)'β)\lambda(t) = \lambda_0(t) \exp(Z(t)'\beta) Поки я проходив курс виживання, я пам’ятаю, що пряма похідна від функції накопичувальної небезпеки ( ) не була б хорошим оцінником, …

13 r  survival  cox-model 

Чи є спосіб провести регресію Гаусса на багатовимірному виході (можливо, корельованому) за допомогою GPML ? У демо-скрипті я міг знайти лише 1D приклад. Аналогічне питання про те , що CV талі випадок багатовимірного введення. Я переглянув їхню книгу, щоб побачити, чи зможу щось знайти. У 9-му розділі цієї книги (розділ …

13 regression  machine-learning  matlab  gaussian-process  nonparametric-bayes 

Мені було цікаво, як визначено його "стаціонарний процес другого порядку" у " Вступі Броквеля та Девіса в часові ряди та прогнозування" : Клас лінійних моделей часових рядів, який включає клас авторегресивних моделей ковзних середніх (ARMA), забезпечує загальну основу для вивчення стаціонарних процесів. Насправді кожен стаціонарний процес другого порядку є або …

13 time-series 

Я вивчаю машинне навчання, і кожна книга, яку я відкриваю, натрапляю на розподіл чі-квадрата, гамма-функцію, t-розподіл, гауссова тощо. Кожна книга, яку я відкрив до цього часу, визначає лише те, що таке розподіли: вони не пояснюють і не дають інтуїції, звідки беруться конкретні формули для функцій. Наприклад, чому розподіл чі-квадрата таким, …

13 probability  distributions  mathematical-statistics  references