Статистика та великі дані

Я намагаюся зрозуміти динамічний показник викривлення часу для порівняння між собою часових рядів. У мене є три набори даних тимчасових рядів: T1 <- structure(c(0.000213652387565, 0.000535045478866, 0, 0, 0.000219346347883, 0.000359669104424, 0.000269469145783, 0.00016051364366, 0.000181950509461, 0.000385579332948, 0.00078170803205, 0.000747244535774, 0, 0.000622858922454, 0.000689084895259, 0.000487983408564, 0.000224744353298, 0.000416449765747, 0.000308388157895, 0.000198906016907, 0.000179549331179, 9.06289650172e-05, 0.000253506844685, 0.000582896161212, 0.000386473429952, 0.000179839942451, 0, …

14 r  time-series  clustering 

Я намагаюся відтворити існуючий алгоритм прогнозування, переданий дослідником у відставці. Перший крок - приєднання деяких спостережуваних даних до розподілу Weibull, щоб отримати форму та масштаб, які будуть використані для прогнозування майбутніх значень. Я використовую R для цього. Ось приклад мого коду: x<-c(23,19,37,38,40,36,172,48,113,90,54,104,90,54,157,51,77,78,144,34,29,45,16,15,37,218,170,44,121) f<-fitdistr(x, 'weibull') Це добре працює, якщо у вхідному …

14 distributions  curve-fitting 

Будь-які рекомендації щодо вибору бібліотеки з обмеженою оптимізацією, що підходить для моєї функції оптимізації? Я звожу до мінімуму ai) нелінійну функцію з лінійними рівностями та обмеженнями нерівності, і ii) наявний градієнт та гессіан функції. Якщо це допомагає, функція, яку я мінімізую, - це розбіжність Куллбека-Ліблера . constrOptim має справу лише …

14 r  optimization  software 

У панельному аналізі даних я використовував багаторівневі моделі з випадковими / змішаними ефектами для вирішення питань автоматичної кореляції (тобто спостереження кластеруються в межах індивідів у часі) з іншими параметрами, що додаються для коригування для певного уточнення часу та шокових інтересів. . ARMA / ARIMA, здається, розроблені для вирішення подібних проблем. …

14 time-series  mixed-model  arima  multilevel-analysis 

Я натрапив на ці два терміни, які взаємозамінно використовуються у багатьох контекстах. В основному, модератор (M) є фактором, який впливає на взаємозв'язок між X та Y. Аналіз модерації зазвичай проводиться за допомогою регресійної моделі. Наприклад, стать (M) може впливати на взаємозв'язок між "продуктом дослідження" (X) та "покупкою товару" (Y). У …

14 regression  interaction  interpretation  regression-coefficients  terminology 

У дослідницькій статті про аналіз чутливості звичайної диференціальної моделі рівняння динамічної системи автор запропонував розподіл параметра моделі як нормальний розподіл (середнє = 1e-4, std = 3e-5), усічений до діапазону [0,5e -4 1,5е-4]. Потім він використовує зразки з цього усіченого розподілу для моделювання моделі. Що означає мати усічений розподіл та вибірку …

14 distributions  simulation  truncation 

По-перше, я припускаю, що не всі активні учасники цього цікавого веб-сайту є статистиками як їхня робота. Інакше питання, яке задається наступним чином, не має сенсу! Я, звичайно, їх поважаю, але мені потрібно пояснення, які є трохи більш практичними, ніж концептуальними. Почну з прикладу з Вікіпедії, щоб визначити point process: Нехай …

14 self-study  terminology  notation 

Перш за все, я хотів би описати деякі загальні схеми, якими користуються книги Data Mining, що пояснюють, як поводитися з незбалансованими наборами даних . Зазвичай основний розділ має назву Незбалансовані набори даних, і вони охоплюють ці два підрозділи: Методи класифікації та вибірки, що чутливі до витрат. Схоже, що, зіткнувшись з …

14 machine-learning  classification  unbalanced-classes 

Це наївне питання того, хто починає вивчати машинне навчання. Я читаю в наші дні книгу "Машинне навчання: алгоритмічна перспектива" від Marsland. Я вважаю це корисним як вступна книга, але зараз я хотів би перейти до вдосконалених алгоритмів, тих, які в даний час дають найкращі результати. Мене найбільше цікавить біоінформатика: кластеризація …

14 machine-learning  clustering  bioinformatics 

При дихотомізації змінних, яка інформація втрачається в процесі? Як допомагає дихотомізація в аналізах?

14 regression  data-transformation  binary-data 

Простіше кажучи: Чи є якісь відмінності в байєсівському та частотологічному підходах до дослідницького аналізу даних? Я не знаю жодних властивих упередженості методам ЕДА, оскільки гістограма - це гістограма, розсіювач - це розсіювач тощо, і я не знайшов прикладів відмінностей у тому, як навчають чи представляють ЕДА (ігноруючи особливо теоретичний документ …

14 bayesian  frequentist  eda 

У мене є кілька сумнівів у розумінні SVM інтуїтивно. Припустимо, ми навчили модель SVM для класифікації, використовуючи стандартний інструмент, наприклад SVMLight або LibSVM. Коли ми використовуємо цю модель для прогнозування тестових даних, модель генерує файл із значеннями "альфа" для кожної точки тестування. Якщо значення альфа позитивне, тестова точка належить до …

14 machine-learning  svm  max-margin 

Я новачок у статистиці та R, і у мене проблеми з використанням функції Levene (я хотів би перевірити рівність дисперсії двох зразків). Документація говорить, що я повинен запускати: levene.test (y, група) Але я поняття не маю, що я повинен ставити як y та групу? У мене є два різних зразки, …

14 r  variance  levenes-test 

Я намагаюся малювати сюжетні скрипки і цікавлюсь, чи існує прийнята найкраща практика їх масштабування по групах. Ось три варіанти, які я спробував за допомогою mtcarsнабору даних R (Автомобільні тенденції автомобілів 1973 року, знайдені тут ). Рівні ширини Здається, те, що робить оригінальний папір *, а що vioplotробить R ( приклад …

14 distributions  data-visualization  nonparametric 

В даний час я намагаюся моделювати значень NNN - мірної випадкової величини , що має багатовимірне нормальний розподіл із середнім вектор і ковариационная матриця .XXXμ=(μ1,...,μN)Tμ=(μ1,...,μN)T\mu = (\mu_1,...,\mu_N)^TSSS Я сподіваюся використовувати методику , аналогічну методу зворотного CDF, а це означає , що я хочу , щоб спочатку створити - мірний рівномірна …

14 matlab  algorithms  random-generation  multivariate-normal