Статистика та великі дані

У мене є кореляційна матриця, яка визначає, як кожен елемент співвідноситься з іншим елементом. Отже, для N елементів я вже маю кореляційну матрицю N * N. Використовуючи цю кореляційну матрицю, як я кластеризую N елементів у M-бункерах, щоб я міг сказати, що Nk-елементи в kth bin поводяться однаково. Прошу допомогти …

20 clustering  python  k-means 

Теорема Байєса йде P(model|data)=P(model)×P(data|model)P(data)P(model|data)=P(model)×P(data|model)P(data) P(\textrm{model}|\textrm{data}) = \frac{P(\textrm{model}) \times P(\textrm{data}|\textrm{model})}{P(\textrm{data})} Це все добре. Але я десь читав: В основному P (дані) - це не що інше, як нормалізуюча константа, тобто константа, яка змушує задню щільність інтегруватися в одну. Ми знаємо, що і . 0≤P(model)≤10≤P(model)≤10 \leq P(\textrm{model}) \leq 10≤P(data|model)≤10≤P(data|model)≤1 0 \leq P(\textrm{data}|\textrm{model}) …

20 probability  bayesian  conditional-probability  bayes 

Концептуально я розумію значення фрази "загальна площа під PDF - 1". Це має означати, що шанси на те, що результат буде в загальному інтервалі можливостей, становлять 100%. Але я не можу реально зрозуміти це з "геометричної" точки зору. Якщо, наприклад, у форматі PDF вісь x являє собою довжину, чи загальна …

20 probability  pdf  integral 

Передумови: я викладаю колегам, які працюють на тестуванні гіпотез, і розумію більшу частину цього чудово, але є один аспект, який я зав’язую у вузли, намагаючись зрозуміти, а також пояснюю іншим. Це я думаю, що знаю (будь ласка, виправте, якщо не так!) Статистика, яка була б нормальною, якби відома дисперсія, слідкуйте …

20 hypothesis-testing  normal-distribution  t-test  assumptions  z-test 

Чи перекваліфікується caretпакет R як для моделі, так alphaі lambdaдля glmnetмоделі? Запустивши цей код, eGrid <- expand.grid(.alpha = (1:10) * 0.1, .lambda = (1:10) * 0.1) Control <- trainControl(method = "repeatedcv",repeats = 3,verboseIter =TRUE) netFit <- train(x =train_features, y = y_train, method = "glmnet", tuneGrid = eGrid, trControl = Control) …

20 r  machine-learning  cross-validation  caret  glmnet 

Коли я оцінюю різницю в моделі відмінностей з двома часовими періодами, еквівалентною моделлю регресії буде а. Yist=α+γs∗Treatment+λdt+δ∗(Treatment∗dt)+ϵistYist=α+γs∗Treatment+λdt+δ∗(Treatment∗dt)+ϵistY_{ist} = \alpha +\gamma_s*Treatment + \lambda d_t + \delta*(Treatment*d_t)+ \epsilon_{ist} де - манекен, який дорівнює 1, якщо спостереження від групи лікуванняTreatmentTreatmentTreatment і - манекен, який дорівнює 1 за часовий період після початку обробкиddd Таким …

20 regression  modeling  econometrics  panel-data  difference-in-difference 

Як я можу взяти вибірку з розподілу суміші, зокрема суміші звичайних розподілів R? Наприклад, якщо я хотів зробити вибірку з: 0.3×N(0,1)+0.5×N(10,1)+0.2×N(3,.1)0.3×N(0,1)+0.5×N(10,1)+0.2×N(3,.1) 0.3\!\times\mathcal{N}(0,1)\; + \;0.5\!\times\mathcal{N}(10,1)\; + \;0.2\!\times\mathcal{N}(3,.1) як я міг це зробити?

20 r  random-generation  mixture 

Нещодавно я почав читати «Вступ до байєсівської статистики» 2-го видання Bolstad. У мене був клас вступної статистики, який охоплював в основному статистичні тести і я майже через клас регресійного аналізу. Які ще книги я можу використати, щоб доповнити своє розуміння цієї? Я проробив це на перших 100-125 сторінках добре. Після …

20 hypothesis-testing  bayesian 

Я починаю з моєї регресії OLS: де D - фіктивна змінна, оцінки стають різними від нуля з низьким р-значенням. Потім я заздалегідь підготую тест Рамзі RESET і виявляю, що у мене є деяка помилка рівняння, я таким чином включаю квадрат x: y = β 0 + β 1 x 1 …

20 regression  multiple-regression  interpretation  least-squares  polynomial 

Чому зворотне розповсюдження не працює, коли ви ініціалізуєте всю вагу одного і того ж значення (скажімо, 0,5), але працює добре, коли задаються випадкові числа? Чи не повинен алгоритм обчислювати помилку і працювати звідти, незважаючи на те, що ваги спочатку однакові?

20 machine-learning  neural-networks  backpropagation 

Я використовую R, і я аналізував свої дані за допомогою GLM за допомогою біноміального зв'язку. Я хочу знати, яке значення перехоплює у вихідній таблиці. Перехоплення для однієї з моїх моделей суттєво відрізняється, проте змінна - ні. Що це означає? Що таке перехоплення. Я не знаю, чи я просто плутаю себе, …

20 r  generalized-linear-model 

Яке значення має тильда, коли вказується розподіл ймовірностей? Наприклад: Z∼Normal(0,1).Z∼Normal(0,1).Z \sim \mbox{Normal}(0,1).

20 probability  distributions  notation 

Якщо у вас є матриця з n рядками та m стовпцями, ви можете використовувати SVD або інші методи для обчислення наближення низького рангу даної матриці. Однак наближення низького рангу все одно матиме n рядків та m стовпців. Як низькі рангові наближення можуть бути корисними для машинного навчання та обробки природних …

20 r  matrix  approximation 

Я студентка другого курсу, вивчаю математику, і я говорив з одним із своїх професорів хорошу суму про різницю між математичними здібностями та статистичними здібностями. Однією з ключових відмінностей, яку він висунув, було "сенс даних", який він пояснив як поєднання технічних можливостей під час роботи в рамках того, що я неофіційно …

20 references  philosophical 

Зачинено. Це питання поза темою . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно було тематичним для перехресної перевірки. Закритий минулого року . Я хотів би зробити теплову карту з кластеризацією рядків на основі косинусних відстаней. Я використовую R і heatmap.2()для виготовлення фігури. Я бачу, що …

20 r  clustering  similarities