Статистика та великі дані

Мені цікаво дізнатись, як розробити географічне наближення якогось епіцентру на основі даних спалаху Джона Снігової Холери. Яке статистичне моделювання можна використовувати для вирішення такої проблеми без попереднього знання місця розташування свердловин. Як загальна проблема, ви мали б доступний час, розташування відомих точок та пішохідну стежку спостерігача. Метод, який я шукаю, …

23 bayesian  spatial  epidemiology  gis 

Я пишу приклад і склав деякі дані. Я хочу, щоб читачеві було зрозуміло, що це не реальні дані, але я також не хочу створювати враження злоби, оскільки це просто слугує прикладом. Немає (псевдо) випадкових компонентів для цих конкретних даних, тому мені здається, що "модельований" не підходить. Якщо я називаю це …

23 terminology  synthetic-data 

Припустимо, я хочу створити логістичну регресійну модель, яка може оцінити ймовірність появи деяких видів тварин, що живуть на деревах, виходячи з особливостей дерев (висота fe). Як завжди, мій час і гроші обмежені, тому я можу збирати лише обмежений розмір вибірки. У мене є такі запитання: Чи має співвідношення «1» та …

23 logistic  sampling 

Під час побудови прогностичної моделі з використанням машинних методів навчання, який сенс робити дослідницький аналіз даних (EDA)? Чи добре переходити безпосередньо до генерації функцій та будувати свої моделі? Наскільки важлива описова статистика, яка використовується в EDA?

23 machine-learning  predictive-models  descriptive-statistics  eda 

Я багато читав про алгоритм -sneтtt для зменшення розмірності. Я дуже вражений роботою на "класичних" наборах даних, як-от MNIST, де вона чітко розмежовує цифри ( див. Оригінальну статтю ): Я також використовував це для візуалізації функцій, засвоєних нейронною мережею, яку я навчаю, і я був дуже задоволений результатами. Отже, наскільки …

23 clustering  data-visualization  dimensionality-reduction  high-dimensional  tsne 

У запитанні, яке я нещодавно задав , мені відповіли, що екстраполяція з льосом було великим «ні-ні». Але в останній статті Нейт Сілвер на FiveThirtyEight.com він обговорював використання льосу для здійснення передвиборчих прогнозів. Він обговорював специфіку агресивних проти консервативних прогнозів з льосом, але мені цікаво обгрунтованість того, щоб робити майбутні прогнози …

23 time-series  forecasting  predictive-models  loess  politics 

Ми зазвичай використовуємо PCA як метод зменшення розмірності для даних, коли випадки вважаються ідентичними Запитання: Які типові нюанси у застосуванні PCA для залежних від неідентифікованих даних? Які приємні / корисні властивості PCA, які зберігаються для даних iid, поставлені під загрозу (або повністю втрачені)? Наприклад, дані можуть бути багатоваріантним часовим рядом, …

23 time-series  pca  non-independent  iid 

Я займаюся деякими дослідженнями методів оптимізації машинного навчання, але я здивований, коли велика кількість алгоритмів оптимізації визначено в плані інших проблем оптимізації. Деякі приклади проілюструю нижче. Наприклад https://arxiv.org/pdf/1511.05133v1.pdf Все виглядає красиво і добре , але тоді ця в г K + 1 оновлення .... так що алгоритм , який вирішує …

23 machine-learning  svm  optimization 

Монти досконало знав, чи за дверима стоїть коза (чи вона порожня). Цей факт дозволяє гравцеві удвічі підвищити свою успішність, переключивши «здогадки» на іншу «Двері». Що робити, якщо знання Монті були менш ніж досконалими? Що робити, якщо іноді Премія справді БУЛА в тих же дверях, що і Коза? Але ви не …

23 conditional-probability 

Нещодавно я бігав і вивчав тензорний потік і отримав кілька гістограм, які не знав, як інтерпретувати. Зазвичай я вважаю висоту брусків як частоту (або відносну частоту / рахунки). Однак мене не бентежить той факт, що немає барів, як у звичайній гістограмі, і той факт, що речі затінені. також здається, що …

23 machine-learning  neural-networks  conv-neural-network  tensorflow 

Якщо ви подивитеся на документацію http://keras.io/optimizers/, в SGD є параметр для розпаду. Я знаю, що з часом знижується швидкість навчання. Однак я не можу зрозуміти, як саме це працює. Чи є це значення, помножене на ступінь навчання, наскільки lr = lr * (1 - decay) це експоненціальне? Також як я …

23 neural-networks  python 

Після довгого траулінгу Cross Valified я все ще не відчуваю, що я ближче до розуміння розбіжності KL поза сферою теорії інформації. Це досить дивно, як комусь із математичним фоном, щоб було набагато простіше зрозуміти пояснення теорії інформації. Щоб окреслити моє розуміння з передумови теорії інформації: Якщо у нас є випадкова …

23 inference  entropy  information-theory  kullback-leibler  compression 

Припустимо, я тренував кілька моделей на навчальному наборі, вибирав найкращу, використовуючи набір перехресних перевірок і вимірював продуктивність на тестовому наборі. Тож тепер у мене є одна остаточна найкраща модель. Чи повинен я перекваліфікувати його на всіх своїх наявних даних або на суднових рішеннях, що навчаються лише на навчальному наборі? Якщо …

23 machine-learning  validation  regression-strategies 

Я переглядав цей огляд формул lm / lmer R від @conjugateprior і збентежився наступним записом: Тепер припустимо, що A є випадковим, але B є фіксованим, а B вкладений у межах A. aov(Y ~ B + Error(A/B), data=d) Нижче подано аналогічну змішану формулу моделі lmer(Y ~ B + (1 | A:B), …

23 r  anova  mixed-model  repeated-measures  lme4-nlme 

Мені сьогодні прийшло в голову, що розподіл можна розглядати як компроміс між Гауссом та Лапласом розподіли для таЧи має такий розподіл назву? І чи має вираз його константа нормалізації? Обчислення мене обминає, тому що я не знаю, як навіть почати розв’язувати для в інтегралі x∈R,p∈[1,2]β>0.C1=C⋅∫ ∞ - ∞ exp(-|x-μ | …

23 distributions  normal-distribution  terminology  laplace-distribution  distribution-identification