Статистика та великі дані

Я знайшов посилання в статті, яка виглядає так: За даними Tabachnick & Fidell (1996), незалежні змінні з двоваріантною кореляцією більше, ніж 70, не повинні включатись у багаторазовий регресійний аналіз. Проблема: Я використовував у дизайні множинних регресій 3 корельовані змінні> .80, VIF з приблизно .2 - .3, толерантність ~ 4- 5. …

18 correlation  multiple-regression  multicollinearity  partial-correlation 

Подано: Монета з невідомим ухилом (Голова).ppp Строго позитивний реальний .a>0a>0a > 0 Проблема: Утворіть випадкову змінну Бернуллі з ухилом .papap^{a} Хтось знає, як це зробити? Наприклад, коли є додатним цілим числом, тоді можна перевернути монету рази і побачити, чи всі результати були Heads: якщо вони потім видають "0", в іншому …

18 sampling 

Тут "обрізання" передбачає зниження точності випадкових чисел і не обрізання рядів випадкових чисел. Наприклад, якщо у мене є справді випадкових чисел (витягнутих з будь-якого розподілу, наприклад, нормальних, рівномірних тощо) з довільною точністю, і я усікаю всі числа, щоб, нарешті, закінчити набір чисел, кожне з яких точно 2 цифри після десяткової. …

18 random-generation  measurement-error  truncation 

У мене є дані часових рядів, і я використовував A R IМА ( р , д, q) + XтАRЯМА(p,г,q)+ХтARIMA(p,d,q)+X_t в якості моделі для відповідності даним. ХтХтX_t є показником випадкова величина, або 0 (коли я не бачу рідкісна подія) або 1 (коли я бачу рідкісна подія). На основі попередніх спостережень, які …

18 time-series  forecasting  simulation 

Нещодавно мене дуже збентежило, коли я дав відповідь манжеті про мінімальну дисперсійну неупереджену оцінку параметрів рівномірного розподілу, що було абсолютно неправильним. На щастя, мене одразу виправили кардинал та Генрі з Генрі, надавши правильні відповіді на ОП . Це все-таки задумалось. Я вивчив теорію найкращих неупереджених оцінювачів в моєму випускницькому класі …

18 estimation  point-estimation 

Нещодавно я натрапив на багатовимірне масштабування. Я намагаюся краще зрозуміти цей інструмент та його роль у сучасній статистиці. Ось ось декілька провідних питань: На які питання він відповідає? Які дослідники часто зацікавлені в його використанні? Чи є інші статистичні методи, які виконують подібні функції? Яка теорія розроблена навколо неї? Як …

18 multidimensional-scaling 

Я використовую SAS професійно вже близько 5 років. У мене він встановлений на моєму ноутбуці і часто доводиться аналізувати набори даних за допомогою 1000-2000 змінних і сотень тисяч спостережень. Я шукав альтернативи SAS, які дозволяють мені проводити аналізи на схожих наборах даних. Мені цікаво, що інші люди використовують у таких …

18 r  sas  large-data 

Просто для уточнення, коли я маю на увазі підсумкову статистику, я маю на увазі середній, середній квартільний діапазон, дисперсія, стандартне відхилення. Підсумовуючи однозначний, який є категоричним або якісним , враховуючи і номінальний, і ординарний випадки, чи є сенс знаходити його середній, медіанний, четвертичний діапазони, дисперсію та стандартне відхилення? Якщо так, …

18 categorical-data  descriptive-statistics 

Яке значення наведене в резюме кокс-моделі в R? Наприклад,R2R2R^2 Rsquare= 0.186 (max possible= 0.991 ) Я нерозумно включив у нього рукопис як значення і рецензент стрибнув на нього, сказавши, що він не знає аналог статистики з класичної лінійної регресії, що розробляється для моделі Кокса, і якщо була одна, будь ласка …

18 r  survival  r-squared  cox-model 

У мене є деяка розподілена змінна величина, що не є Гауссом, і мені потрібно перевірити, чи є значні відмінності між значеннями цієї змінної у 5 різних групах. Я провів односторонній аналіз дисперсії Крускала-Уолліса (який виявився значним) і після цього мені довелося перевірити, які групи суттєво відрізняються. Оскільки групи є сортованими …

18 hypothesis-testing  post-hoc  wilcoxon-mann-whitney  kruskal-wallis  dunn-test 

Я працюю над заявкою на відкрите опитування здоров’я, яку планують використовувати в країні, що розвивається. Основна ідея полягає в тому, що інтерв'ю для опитування є переповненим - вони проводяться неорганізованими волонтерами, які подають форми даних інтерв'ю, які вони виконували, використовуючи свої мобільні пристрої, а кожне опитування супроводжується GPS-даними місця інтерв'ю. …

18 sampling 

Схоже, фахівці з візуалізації даних зазвичай не схвалюють калібрувальних діаграм (див. Тут: Як ви називаєте діаграму, яка виглядає як напівподібна діаграма з голкою, що вказує відсоток? ). Основна причина полягає в тому, що каліброва діаграма має низьке відношення даних до чорнила. З тих пір, як я був підданий цим поняттям …

18 data-visualization 

Я не знаю, чи це лише я, але я взагалі дуже скептично ставлюсь до статистики. Я можу це зрозуміти в іграх на кубики, в покер і т. Д. Дуже маленькі, прості, в основному автономні повторювані ігри - це добре. Наприклад, посадка монети на її край достатньо мала, щоб прийняти ймовірність …

18 probability  expected-value  philosophical 

Я дізнався, що сума експоненціальних випадкових величин слід за розподілом Gamma. Але скрізь, коли я читаю, параметризація різна. Наприклад, Wiki описує відносини, але не кажіть, що насправді означають їх параметри? Форма, масштаб, швидкість, 1 / ставка? Експоненційний розподіл: xxx ~ exp(λ)exp(λ)exp(\lambda) E [ x ] = 1 / λ v …

18 distributions  probability  gamma-distribution 

Наразі це питання не підходить для нашого формату запитань. Ми очікуємо, що відповіді будуть підкріплені фактами, посиланнями або експертними знаннями, але це питання, ймовірно, вимагатиме дискусій, аргументів, опитувань чи розширеної дискусії. Якщо ви вважаєте, що це питання можна вдосконалити та, можливо, знову відкрити, відвідайте довідковий центр для ознайомлення . Закрито …

18 machine-learning  text-mining  natural-language