Статистика та великі дані

«Перевірка завантажувального завантаження» / «переспромінення перехресної перевірки» є для мене новим, але обговорювалося у відповіді на це питання . Я збираю, що це включає 2 типи даних: реальні дані та змодельовані дані, де заданий набір модельованих даних генерується з реальних даних шляхом перекомпонування з заміною, поки змодельовані дані не мають …

15 cross-validation  bootstrap  validation  resampling 

У мене є часовий ряд цін двох цінних паперів, A і B, за той самий період часу, і вибірки з однаковою періодичністю. Я хотів би перевірити, чи існує якась статистично значуща різниця між часом між двома цінами (моя нульова гіпотеза полягала в тому, що різниця є нульовою). Зокрема, я використовую …

15 time-series  hypothesis-testing  statistical-significance 

Я маю на увазі скориговані формули R-квадрата, запропоновані: Єзекіїль (1930), який, на мою думку, є таким, який зараз використовується в SPSS. R2adjusted=1−(N−1)(N−p−1)(1−R2)Radjusted2=1−(N−1)(N−p−1)(1−R2)R^2_{\rm adjusted} = 1 - \frac{(N-1)}{(N-p-1)} (1-R^2) Олкін і Пратт (1958) R2unbiased=1−(N−3)(1−R2)(N−p−1)−2(N−3)(1−R2)2(N−p−1)(N−p+1)Runbiased2=1−(N−3)(1−R2)(N−p−1)−2(N−3)(1−R2)2(N−p−1)(N−p+1)R^2_{\rm unbiased} = 1 - \frac{(N-3)(1-R^2)}{(N-p-1)} - \frac{2(N-3)(1-R^2)^2}{(N-p-1)(N-p+1)} За яких обставин (якщо такі є) я повинен віддати перевагу …

15 regression  r-squared 

Як обчислити статистику R-квадрата ( ) в R для та / або виводу функції? Наприклад, для цих даних:r2r2r^2loesspredict cars.lo <- loess(dist ~ speed, cars) cars.lp <- predict(cars.lo, data.frame(speed = seq(5, 30, 1)), se = TRUE) cars.lpмає два масиви fitдля моделі та se.fitдля стандартної помилки.

15 r  r-squared  loess 

Заблокований . Це запитання та його відповіді заблоковано, оскільки це питання поза темою, але має історичне значення. Наразі не приймає нових відповідей чи взаємодій. У мене виникає наступна проблема під час аналізу аналізу з Р. У мене є такий кадр даних: Name | Group | Count Person 1 | A …

15 r 

1. Чи є у статистиці якесь узгодження імен щодо капелюха та символу тильда? Я знайшов β описує блок оцінки для бета ( Вікіпедія ) Але я також знайшов ~ β описує блок оцінки для р ( Wolfram ). Чи є різниця в значенні? В Інтернеті я знайшов якусь різницю, але …

15 notation 

CARET автоматично використовувати заздалегідь задану сітку налаштування для побудови різних моделей перед вибором кінцевої моделі, а потім тренінг кінцевої моделі на повних даних про навчання. Я можу забезпечити власну сітку настройки лише однією комбінацією параметрів. Однак навіть у цьому випадку CARET "вибирає" найкращу модель серед параметрів настройки (навіть якщо в …

15 r  caret 

Після пошуку роз’яснень щодо коефіцієнтів лінійної моделі тут у мене з’являється додаткове запитання щодо не-значущого (високого значення p) для коефіцієнтів рівнів факторів. Приклад: Якщо моя лінійна модель включає коефіцієнт з 10 рівнями, і лише 3 з цих рівнів мають значні значення p, пов'язані з ними, при використанні моделі для прогнозування …

15 statistical-significance  linear-model  model-selection  regression-coefficients  regression-strategies 

Я аналізую дані незбалансованого факторного експерименту як з, так SASі з R. Обидва SASі Rзабезпечують подібну суму квадратів I типу, але їх квадрати III типу відрізняються одна від одної. Нижче наведені SASі Rкоди і виходи. DATA ASD; INPUT Y T B; DATALINES; 20 1 1 25 1 2 26 1 …

15 r  anova  sas  sums-of-squares 

Я зібрав відповіді від 85 людей про їх здатність виконувати певні завдання. Відповіді є за п’ятибальною шкалою Лікерта: 5 = дуже добре, 4 = добре, 3 = середній, 2 = поганий, 1 = дуже поганий, Середній бал - 2,8, а стандартне відхилення - 0,54. Я розумію, що означає середнє і …

15 standard-deviation 

Мені хотілося б знати чи мати посилання на процес аналізу, який проходить більшість аналітиків статистичних даних для кожного проекту аналізу даних. Якщо я складаю "список", для завершення проекту аналізу даних аналітик повинен: спочатку збирайте вимоги до проекту, планувати / проектувати його аналіз даних на основі цих вимог раніше фактично попередньо …

15 project-management 

Я читаю "Роль шахів у дослідженні штучного інтелекту" ( pdf ), і що цікаво: Досвід [...] говорить про те, що вкладення шахових експертів, хоча вони загалом корисні, не можна повністю довіряти. Хорошим прикладом цього є функція оцінки глибокої думки. Декілька змін здібних фахівців з шахів з людини не змогли досягти …

15 games  artificial-intelligence 

У рамках завдання мені доведеться написати алгоритм генетичного програмування , який прогнозує рівень забруднювачів атмосфери. Оскільки у мене немає досвіду, чи може хто-небудь вказати мені на вказівки на пропозиції мов програмування, на яких будуть записані розвинуті програми . Уточнення: я не запитую, якою буде мова, я сам напишу генетичний алгоритм …

15 genetic-algorithms 

Мене цікавить, чому методи вибору моделі LASSO та LARS настільки популярні, хоча вони в основному є лише варіаціями поетапного вибору вперед (і, отже, страждають від залежності від шляху)? Аналогічно, чому загальновиробничі (GETS) методи вибору моделі здебільшого ігноруються, хоча вони й краще, ніж LARS / LASSO, оскільки вони не страждають від …

15 feature-selection  model-selection  lasso  stepwise-regression  lars 

Мені потрібно навчити лінійний класифікатор на своєму ноутбуці із сотнями тисяч точок даних та близько десяти тисяч функцій. Які мої варіанти? Який стан сучасної проблеми для цього типу? Схоже, стохастичний градієнтний спуск є перспективним напрямком, і я відчуваю, що це найсучасніший: "Пегасос: первинна оцінка суб-GrAdient SOlver для SVM" Шай Шалев-Шварц, …

15 classification