Статистика та великі дані

Я намагаюся реалізувати алгоритм звернення та запуску MCMC, але у мене виникають проблеми з розумінням того, як це зробити. Загальна ідея полягає в наступному: Щоб створити скачок пропозиції в МЗ, ми: Створіть напрямок з розподілу на поверхні одиничної сфериdddOO\mathcal{O} Створіть підписану відстань вздовж обмеженого простору.λλ\lambda Однак я не маю уявлення …

16 r  bayesian  mcmc 

Хто з вас на цьому форумі використовує "> R з багатоядерними , сніговими пакетами або CUDA , тому для розширених обчислень, які потребують більшої потужності, ніж процесор робочої станції? На якому апараті ви обчислюєте ці сценарії? Вдома / на роботі чи у вас є доступ до центру обробки даних десь? …

16 r  mathematical-statistics  computing  parallel-computing 

Зачинено. Це питання поза темою . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно було тематичним для перехресної перевірки. Закрито 6 років тому . Це питання пов'язане з моїм попереднім запитанням . Я хотів би розмістити значення над барами на барплоті. Я початківець у змові в …

16 r  data-visualization 

Чи може хто-небудь допомогти мені в інтерпретації результатів PCA? Мої дані походять з анкети щодо ставлення до ведмедів. Згідно з навантаженнями, я тлумачив один із своїх основних компонентів як "страх перед ведмедями". Чи будуть пов’язані оцінки цього основного компонента з тим, як кожен респондент вимірює рівень до цього основного компонента …

16 pca 

У мене простий часовий ряд з 5-10 точками даних на набір даних через регулярні інтервали. Мені цікаво, який найкращий спосіб визначити, чи відрізняються два набори даних. Чи варто спробувати тести на кожній точці даних, або подивитися на ділянку під кривими, чи є якась багатоваріантна модель, яка б працювала краще?

16 time-series  statistical-significance 

Кілька місяців тому я опублікував запитання про тести на госседастичність в R на SO, і Ян Флоуз відповів, що (я перефразую його відповідь дуже вільно): Тести на гомосексуальність не є хорошим інструментом для перевірки на придатність вашої моделі. З невеликими зразками у вас не вистачає сили для виявлення відхилень від …

16 hypothesis-testing  anova  nonparametric  goodness-of-fit  heteroscedasticity 

Якщо ви встановите нелінійну функцію до набору точок (якщо вважати, що для кожної абсциси є лише одна ордината), результат може бути: дуже складна функція з невеликими залишками дуже проста функція з великими залишками Перехресне підтвердження зазвичай використовується для пошуку "найкращого" компромісу між цими двома крайнощами. Але що означає "найкраще"? Це …

16 model-selection  cross-validation 

У мене є невелика проблема, яка змушує мене лякатися. Я маю написати процедуру онлайн-процесу придбання багатовимірного часового ряду. Кожен проміжок часу (наприклад, 1 секунда) я отримую новий зразок, який в основному є вектором з плаваючою точкою розміром N. Операція, яку я повинен зробити, є трохи хитрою: Для кожного нового зразка …

16 algorithms  quantiles  online  large-data 

Процедура ЕМ видається непосвяченим як більш-менш чорна магія. Оцініть параметри HMM (наприклад) за допомогою контрольованих даних. Потім розшифруйте нетегіровані дані, використовуючи вперед-назад для "підрахунку" події так, як ніби дані позначені, більш-менш. Чому це робить модель кращою? Я щось знаю про математику, але я все ще бажаю якоїсь ментальної картини.

16 expectation-maximization  intuition 

Наступне питання - одне із тих святих граалів для мене вже певний час, сподіваюся, хтось, можливо, зможе запропонувати гарну пораду. Я б хотів виконати непараметричні повторні заходи мультиварки anova з використанням Р. Я деякий час займався пошуком і читанням в Інтернеті, і поки що міг знайти рішення лише для деяких …

16 r  anova  repeated-measures  nonparametric  manova 

У мене є парних спостережень ( , ), отриманих із загального невідомого розподілу, який має кінцевий перший та другий моменти, і симетричний навколо середнього.NNNXiXiX_iYiYiY_i Нехай стандартне відхилення (безумовне на ), а те саме для Y. Я хотів би перевірити гіпотезу σXσX\sigma_XXXXYYYσYσY\sigma_Y H0H0H_0 :σX=σYσX=σY\sigma_X = \sigma_Y H1H1H_1 :σX≠σYσX≠σY\sigma_X \neq \sigma_Y Хтось …

16 distributions  hypothesis-testing  standard-deviation  normal-distribution 

Я намагаюся отримати глобальну точку зору на деякі найважливіші ідеї машинного навчання, і мені було цікаво, чи існує комплексне трактування різних понять втрат (квадрат, журнал, шарнір, проксі тощо). Я думав про щось більш чітке, формальне представлення чудового посту Джона Ленгфорда на тему « Семантика функцій втрат» .

16 references  loss-functions 

Економетрики часто говорять про інтеграцію часових рядів із порядком k, I (k) . k - мінімальна кількість різниць, необхідних для отримання стаціонарного часового ряду. Які методи чи статистичні тести можна використовувати для визначення, з урахуванням рівня впевненості, порядку інтеграції часових рядів?

16 time-series 

Нещодавно двоє різних колег використовували своєрідний аргумент щодо відмінностей між умовами, які мені здаються неправильними. Обидва ці співробітники використовують статистику, але вони не є статистиками. Я початківець у статистиці. В обох випадках я стверджував, що, оскільки в експерименті не було суттєвої різниці між двома умовами, неправильно було робити загальну претензію …

16 statistical-significance 

Я намагаюся моделювати деякі дані про час прибуття поїзда. Я хотів би використовувати розподіл, який фіксує "чим довше я чекаю, тим більше шансів, що поїзд з'явиться" . Здається, такий розподіл повинен виглядати як CDF, так що P (показ поїзда | чекав 60 хвилин) близький до 1. Який розподіл доцільно використовувати …

16 distributions  modeling