Статистика та великі дані

Контекст Популярне питання на цьому веб-сайті " Що таке загальні статистичні гріхи? ". Один з гріхів згадувалося за умови , що «кореляція має на увазі причинно - наслідковий зв'язок ...» посилання Потім, у коментарях із 5 опублікованими повідомленнями, пропонується: "Google заробляє $ 65 млрд на рік, не піклуючись про різницю". …

21 machine-learning  causality 

Припустимо, . Мене цікавить граничний розподіл діагональних елементів diag ( X ) = ( x 11 , … , x p p ) . Існує кілька простих результатів щодо розподілу підматриць X (принаймні деякі, перелічені у Вікіпедії). З цього можу зрозуміти, що граничний розподіл будь-якого одного елемента по діагоналі є …

21 distributions  probability  pdf 

Я хотів би використовувати модель бінарної логістичної регресії в контексті потокової передачі даних (багатовимірний часовий ряд), щоб передбачити значення залежної змінної даних (тобто рядка), що щойно надійшла, враховуючи минулі спостереження. Наскільки я знаю, логістичну регресію традиційно застосовують для післясмертного аналізу, де кожна залежна змінна вже встановлена ​​(або шляхом інспекції, або …

21 r  time-series  logistic 

Це запитання було перенесено із переповнення стека, оскільки на нього можна відповісти на перехресному підтвердженні. Мігрували 8 років тому . У мене є дві змінні, обидві з класу "числові": > head(y) [1] 0.4651804 0.6185849 0.3766175 0.5489810 0.3695258 0.4002567 > head(x) [1] 59.32820 68.46436 80.76974 132.90824 216.75995 153.25551 Я побудував їх, …

21 r 

Контекст Я читав про теорію відгуку предметів, і вважаю це захоплюючою. Я вважаю, що я розумію основи, але мені залишається цікаво, як застосувати статистичні прийоми, пов'язані з цією областю. Нижче наведено дві статті, схожі на область, у якій я хотів би застосувати ІТР: http://www.jstor.org/stable/4640738?seq=7 http://www.ncbi.nlm.nih.gov/pubmed/21744971 Другий - той, кого я …

21 psychometrics  latent-variable  irt 

Майже кожен приклад дерева, який я зустрічав, є двійковим деревом. Це досить універсально? Чи підтримують більшість стандартних алгоритмів (C4.5, CART тощо) лише бінарні дерева? З того, що я збираю, CHAID не обмежується двійковими деревами, але це, здається, є винятком. Двосторонній розкол з наступним двостороннім розщепленням на одного з дітей - …

21 machine-learning  data-mining  cart 

Я вписую модель ARIMA у щоденний часовий ряд. Дані збираються щодня з 02-01-2010 по 30-07-2011 і стосуються продажів газет. Оскільки щотижневий зразок продажів можна знайти (середньоденна кількість проданих примірників зазвичай однакова з понеділка по п’ятницю, потім збільшується в суботу та неділю), я намагаюся зафіксувати цю «сезонність». Враховуючи дані "продажів", я …

21 r  time-series  arima  seasonality 

У статистичному моделюванні: дві культури пише Лео Брейман Сучасна прикладна практика полягає в тому, щоб перевірити відповідність даних за допомогою тестів на придатність та аналіз залишків. Одного разу, кілька років тому, я створив симульовану проблему регресії в семи вимірах з контрольованою кількістю нелінійності. Стандартні тести на придатність до придатності не …

21 regression  goodness-of-fit 

Заблокований . Це запитання та його відповіді заблоковано, оскільки це питання поза темою, але має історичне значення. Наразі він не приймає нових відповідей чи взаємодій. Чи може хтось запропонувати деякі покажчики, як використовувати weightsаргумент у lmфункції R ? Скажімо, ви, наприклад, намагалися встановити модель на дані про трафік, і у …

21 r  regression 

Регресія Пуассона - це GLM з функцією log-link. Альтернативний спосіб моделювання нерозподілених даних підрахунку - це попередня обробка, взяття журналу (а точніше, журналу (1 + кількість) для обробки 0). Якщо ви регресуєте з мінімальними квадратами для відповідей підрахунку журналів, це пов’язано з регресією Пуассона? Чи може вона впоратися з подібними …

21 regression  poisson-distribution  generalized-linear-model 

Примітка: Справа n >> p Я читаю «Елементи статистичного навчання» і є різні згадки про «правильний» спосіб перехресної перевірки (наприклад, сторінка 60, стор. 245). Зокрема, моє запитання полягає в тому, як оцінити кінцеву модель (без окремого тестового набору) за допомогою CV-кратного реєстру чи завантажувального завантаження, коли відбувся пошук моделі? Здається, …

21 machine-learning  model-selection  data-mining  cross-validation 

Мені цікаво дізнатись більше про непараметричні байєсівські (та пов'язані з ними) методики. Моє знання в галузі інформатики, і хоча я ніколи не брав курс з теорії вимірювань або теорії ймовірностей, у мене був обмежений обсяг формальної підготовки з питань ймовірності та статистики. Хтось може порекомендувати читати вступ до цих понять, …

21 probability  bayesian  references  theory 

Яке співвідношення між оцінкою та оцінкою?

21 estimation  terminology  estimators 

SPSS забезпечує вихід "довірчий інтервал значень різниці". Я десь читав, що це означає "95 разів із 100, середня наша вибіркова різниця буде між цими межами". Я вважаю це незрозумілим. Чи може хтось запропонувати більш чітке формулювання для пояснення "довірчого інтервалу різниці в засобах"? Цей результат з'являється в контексті однопробного t-тесту.

21 confidence-interval 

Я жодним чином не є статистиком (я пройшов курс математичної статистики, але не більше того), і нещодавно, вивчаючи теорію інформації та статистичну механіку, я зустрів цю річ під назвою "міра невизначеності" / "ентропія". Я читав виведення цього Хінчіна як міру невизначеності, і це мало для мене сенс. Інша річ, яка …

21 entropy  inference