Статистика та великі дані

Я дивився на цю сторінку про реалізацію Монте-Карло тесту Ліллефорса. Я не розумію цього речення: Існує випадкова помилка в цьому розрахунку від моделювання. Однак через хитрість додавання 1 до чисельника та знаменника при обчисленні значення P це може бути використане прямо, без огляду на випадковість. Що вони означають під хитрістю …

11 monte-carlo  lilliefors 

Може хтось, будь ласка, пояснить мені, коли слід використовувати домішки Джині та отримання інформації для дерев рішень? Чи можете ви надати мені ситуації / приклади, коли найкраще використовувати який?

11 machine-learning  classification  data-mining  cart 

Припустимо, у мене є -вимірний набір даних, де розміри приблизно ортогональні (мають нульову кореляцію).NNNNNNN Чи є якась утиліта з точки зору: Візуалізація Представлення (для ефективності класифікатора) Або інші критерії виконати зменшення розмірності даних?

11 pca  dimensionality-reduction 

Я насправді вагаюся з цим запитати, бо боюся, що мене віднесуть до інших питань або Вікіпедії щодо вибірки Гіббса, але я не маю відчуття, що вони описують те, що під рукою. Дана умовна ймовірність : p ( x | y ) y = y 0 y = y 1 x …

11 sampling  mcmc  gibbs 

Я дивився опитування у WashingtonTimes / ABC, і результати, особливо за віком, здалися мені дивовижними. Тому я пішов шукати упередження. У ньому сказано: "опитування було проведено по телефону 11-14 грудня 2014 року серед випадкової вибірки 1000 дорослих людей. Інтерв'ю проводили англійською та іспанською мовами на стаціонарних та мобільних телефонах". Опитування …

11 polling  politics 

Дослідження подій широко поширені в економіці та фінансах, щоб визначити вплив події на ціну акцій, але вони майже завжди базуються на частоталістичних міркуваннях. Регресія OLS - протягом еталонного періоду, що відрізняється від вікна події - зазвичай використовується для визначення параметрів, необхідних для моделювання нормальної віддачі для активу. Потім визначається статистична …

11 bayesian  econometrics  finance 

Я створив гістограму для епохи респондента і зумів отримати дуже гарну криву дзвоникоподібної форми, з якої я зробив висновок, що розподіл нормальний. Тоді я провів тест на нормальність у SPSS, з n = 169. Р- значення (Сиг.) Тесту Колмогорова-Смірнова менше 0,05, і тому дані порушили припущення про нормальність. Чому тест …

11 normality-assumption  kolmogorov-smirnov  histogram  eda 

Коли я читаю книгу «Вся статистика» Вассермана, я помічаю тонку тонкість у визначенні p-значень, яку я не можу мати сенс. Неофіційно Wassermann визначає значення p як [..] ймовірність (під ) спостереження за значенням тестової статистики такою ж, як і більше, ніж те, що фактично спостерігалось.Н0Н0H_0 Акцент додано. Те ж саме …

11 hypothesis-testing  chi-squared  p-value 

У мене є два набори даних: Мій перший набір даних - це вартість інвестицій (у мільярдах доларів) за часом, кожен одиниця часу становить одну чверть з першого кварталу 1947 року. Час поширюється на 3 квартал 2002 року. Мій другий набір даних "є результатом перетворення значень інвестицій [першого набору даних] у …

11 r  self-study  data-visualization  autocorrelation 

Я думаю, що контроль за змінною у вашому проекті дослідження є більш ефективним для зменшення помилок, ніж контроль за нею пост-хок у вашій регресійній моделі. Хтось міг би офіційно пояснити, чим відрізняються ці два випадки "контролю"? Наскільки порівняно ефективні вони при зменшенні помилок та більш точних прогнозах?

11 regression  experiment-design  controlling-for-a-variable 

Я намагаюся вирішити наступну вправу, але фактично не маю поняття, як почати це робити. У своїй книзі я знайшов якийсь код, який виглядає так, але це зовсім інша вправа, і я не знаю, як їх пов’язати з іншим. Як я можу почати моделювати прибуття та як дізнатися, коли вони закінчуються? …

11 r  monte-carlo  queueing 

Я розробляю програму прогнозування, мета якої - дозволити імпортеру прогнозувати попит на свою продукцію із своєї мережі клієнтів дистриб'юторів. Показники продажів є досить хорошим показником попиту, якщо існує достатня кількість запасів, щоб заповнити попит. Однак, коли товарний запас знижується до нуля (ситуація, яку ми прагнемо допомогти нашому клієнту уникнути), ми …

11 r  regression  machine-learning  censoring 

Я намагаюся автоматизувати зовнішнє виявлення у часових рядах, і я використав модифікацію рішення, запропонованого тут Роб Хайндманом . Скажімо, я вимірюю щоденні відвідування веб-сайту з різних країн. Для деяких країн, де щоденних відвідувань є кілька тисяч або тисячі, мій метод, здається, працює розумно. Однак у тих випадках, коли країна веде …

11 time-series  outliers  computational-statistics 

Чому так, що генератори випадкових чисел, як runif()у R, не створюють однаковий результат кожного разу? Наприклад: X <- runif(100) X щоразу генерує різні результати. Яка причина щоразу створювати різні результати? Які функції функціонують у фоновому режимі для цього?

11 r  algorithms  random-generation  uniform 

Наступна проблема: Я хочу передбачити категоричну змінну відповіді з однією (або більше) категоричними змінними за допомогою glmnet (). Однак я не можу зрозуміти, що вихідний glmnet дає мені. Гаразд, спочатку сгенеруємо дві пов'язані категоріальні змінні: Створення даних p <- 2 #number variables mu <- rep(0,p) sigma <- matrix(rep(0,p^2), ncol=p) sigma[1,2] …

11 categorical-data  multinomial  glmnet