Статистика та великі дані

Анонімний читач розмістив таке запитання у своєму блозі . Контекст: Читач хотів провести факторний аналіз за шкалою з анкети - але дані були від парних чоловіків і дружин. Питання: Чи можна проводити факторний аналіз на діадичних даних? Якщо так, то як? Чи буде припущення про незалежність справедливим для аналізу факторів?

9 factor-analysis  independence 

Я намагаюся оцінити середнє значення більш-менш гауссового розподілу за допомогою вибірки. Я не маю попередніх знань про його значення або його відмінність. Кожен зразок є дорогим для отримання. Як я динамічно вирішую, скільки зразків потрібно для отримання певного рівня впевненості / точності? Як варіант я дізнаюся, коли я можу припинити …

9 estimation  sample-size 

Мене цікавить розподіл максимальної просадки випадкової прогулянки: Нехай де . Максимальна сумація після періодів - . Документ Магдона-Ісмаїла та ін. ін. дає розподіл для максимального витягування броунівського руху з дрейфом. Вираз включає нескінченну суму, яка включає деякі терміни, визначені лише неявно. У мене виникають проблеми з написанням реалізації, яка зближується. …

9 distributions  cdf  finance  random-walk 

Мені потрібно оновити рівень відмов (дається як детермінований) на основі нової швидкості відмов приблизно в тій же системі (вона також є детермінованою). Я читав про кон'юговані пріори та розподіл гамми як кон'югат для процесу Пуассона. Також я можу прирівняти середнє значення гамма-дист. ( ) до нової норми (як середнє значення), …

9 bayesian 

Кілька статистичних пакетів, такі як SAS, SPSS і R, дозволяють здійснити якесь обертання факторів після PCA. Чому після PCA необхідний обертання? Чому б ви застосували похиле обертання після PCA, враховуючи, що метою PCA є створення ортогональних розмірів?

9 pca  factor-analysis  factor-rotation 

Чи має функція автокореляції якесь значення з нестаціонарним часовим рядом? Часовий ряд, як правило, вважається нерухомим до того, як автокореляція буде використана для моделювання Бокса та Дженкінса.

9 time-series  autocorrelation  box-jenkins 

Побіжний пошук виявляє, що латинські квадрати досить широко використовуються при розробці експериментів. Під час доктора наук я вивчав різні теоретичні властивості латинських квадратів (з точки зору комбінаторики), але не маю глибокого розуміння того, що це стосується латинських квадратів, які роблять їх особливо придатними до експериментального дизайну. Я розумію, що латинські …

9 experiment-design 

У мене є дані з подвійним піком, які я намагаюся моделювати, і між вершинами достатньо перекриття, що я не можу їх самостійно лікувати. Гістограма даних може виглядати приблизно так: Для цього я створив дві моделі: одна використовує два розподіли Пуассона, а друга використовує два негативних біноміальних розподілу (для обліку наддисперсії). …

9 modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio 

Виконуючи лінійну регресію, часто корисно робити таке перетворення, як log-перетворення для залежної змінної для досягнення кращої нормальної конформації розподілу. Часто також корисно оглянути бета-версію від регресії, щоб краще оцінити розмір ефекту / реальну релевантність результатів. Це викликає проблему, що при використанні, наприклад, перетворення журналу, розміри ефектів будуть в масштабі журналу, …

9 regression  data-transformation  effect-size 

Перестановочні тести - це тести на значущість, засновані на перестановці перестановок, проведених навмання з вихідних даних. Перестанови перестановки малюються без заміни, на відміну від зразків завантажувальної програми, які малюються із заміною. Ось приклад, який я зробив у R простого тесту на перестановку. (Ваші коментарі вітаються) Пермутаційні тести мають великі переваги. …

9 confidence-interval  bootstrap  permutation-test 

Для вибору провісників в багатовимірної лінійної регресії з відповідними провісниками, які методи доступні , щоб знайти «оптимальні» підмножина предикторов без явного тестування всіх підмножин? У "Прикладному аналізі виживання" Хосмер і Лемшоу посилаються на метод Кука, але не можу знайти оригінальний документ. Чи може хтось описати цей метод чи, ще краще, …

9 modeling  regression  multivariable  model-selection  feature-selection 

Незважаючи на кілька спроб читання про завантажувальну машину, я, здається, завжди потрапляв у цегляну стіну. Цікаво, чи може хтось дати досить нетехнічне визначення завантажувальної програми? Я знаю, що на цьому форумі неможливо надати достатньо деталей, щоб я міг його повністю зрозуміти, але легкий поштовх у правильному напрямку з головною метою …

9 nonparametric  bootstrap  intuition 

У мене є дві реалізації генетичного алгоритму, які повинні поводитися однаково. Однак через технічні обмеження, які неможливо вирішити, їх вихід не є абсолютно однаковим з огляду на один і той же вхід. Я все-таки хотів би показати, що суттєвої різниці в продуктивності немає. У мене є 20 запусків з однаковою …

9 hypothesis-testing  genetic-algorithms 

Я намагаюся побудувати модель прогнозування регресії часових рядів для змінної результату, у розмірі долара, з точки зору інших прогнозів / змінних входів та автокорельованих помилок. Таку модель називають також динамічною регресійною моделлю. Мені потрібно навчитися визначати функції передачі для кожного прогноктора, і я хотів би почути від вас про способи …

9 time-series  forecasting  dynamic-regression 

Яка різниця між наявністю чогось статистично значущого (наприклад, різницею між двома вибірками) та констатацією того, чи є група чисел незалежною чи залежною.

9 statistical-significance  independence