Статистика та великі дані

У мене є два набори даних, орієнтовно орієнтовані навколо нуля, але я підозрюю, що вони мають різні хвости. Я знаю кілька тестів для порівняння розподілу з нормальним розподілом, але я хотів би безпосередньо порівняти два розподіли. Чи є простий тест для порівняння жирності хвоста 2 розподілу ? Спасибі fRed

13 hypothesis-testing  distributions  kurtosis  fat-tails 

Це може бути наївним питанням, але ось ідеться. Якщо я маю набір емпіричних даних і прилаштовую до нього щільність ядра, а потім отримаю нове єдине значення, яке, можливо, походить від того самого процесу, який генерував вихідний набір даних, чи можу я призначити ймовірність того, що це нове значення належить до …

13 kde 

Я б хотів автоматизувати вибір спалювання для ланцюга MCMC, наприклад, видаливши перші n рядів на основі діагностики конвергенції. Наскільки цей крок може бути безпечно автоматизований? Навіть якщо я все ще перевіряю автокореляцію, mcmc слід та pdfs, було б непогано мати вибір довжини спалювання автоматизованим. Моє запитання загальне, але було б …

13 r  bayesian  mcmc 

Я веду логістичну модель. Фактичний набір даних моделі містить понад 100 змінних, але я вибираю тестовий набір даних, в якому є близько 25 змінних. До цього я також створив набір даних, який мав 8-9 змінних. Мені кажуть, що значення AIC і SC можна використовувати для порівняння моделі. Я помітив, що …

13 model-selection  logistic  aic 

Нехай тому для дуже короткого зразка типу його можна обчислити від знаходження го порядку статичного парних відмінностей: { 1 , 3 , 6 , 2 , 7 , 5 } kQн= Сн. { | Хi- Xj| ; i&lt;j }( k )Qn=Cn.{|Xi−Xj|;i&lt;j}(k)Q_n = C_n.\{|X_i-X_j|;i < j\}_{(k)}{ 1 , 3 , 6 …

13 data-transformation  scales  robust  optimal-scaling 

У мене є багатоваріантна регресія, яка включає взаємодії. Наприклад, щоб отримати оцінку ефекту лікування для найбіднішого квінтиля, мені потрібно додати коефіцієнти від регресора лікування до коефіцієнта з змінної взаємодії (яка взаємодіє з лікуванням та квінтил 1). Як додавати два коефіцієнти від регресії, як можна отримати стандартні помилки? Чи можна додати …

13 regression  standard-deviation  standard-error 

Запитання: Який хороший метод проведення пост-спеціальних тестів на відмінності між груповими засобами після коригування ефекту коваріату? Прототипний приклад: Чотири групи, по 30 учасників у групі (наприклад, чотири різних групи клінічної психології) Залежна змінна є числовою (наприклад, оцінка інтелекту) Коваріат чисельний (наприклад, індекс соціально-економічного статусу) Питання дослідження стосуються того, чи будь-яка …

13 anova  multiple-comparisons  ancova 

Я прочитав і побачив багато сюжетів паралельних координат. Може хтось відповість на такий набір питань: Що таке паралельні графіки координат (PCP) простими словами, щоб мирянин міг зрозуміти? Математичне пояснення з якоюсь інтуїцією, якщо це можливо Коли PCP корисні і коли їх використовувати? Коли PCP не корисні і коли їх слід …

13 r  data-visualization 

Зачинено. Це питання поза темою . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно було тематичним для перехресної перевірки. Закрито 6 місяців тому . Чи є хороша бібліотека пітонів для навчання підсилених дерев рішень?

13 python  cart  boosting 

Скажімо, у мене є 50 мільйонів унікальних речей, і я беру 10 мільйонів зразків (із заміною) ... Перший графік, який я додав, показує, скільки разів я відбираю ту саму «річ», що є порівняно рідкісним кількість населення більша, ніж мій зразок. Однак якщо моє населення складає лише 10 мільйонів речей, і …

13 r  sampling  expectation-maximization 

Яким має бути співвідношення кількості спостережень та кількості змінних? Як виявити перевиконання в моделі нейронної мережі та які способи уникнути перевиконання? Якщо я хочу здійснити класифікацію за допомогою нейронної мережі, чи повинні заняття мати однакову частоту? Будь ласка, допоможіть мені.

13 neural-networks 

Під час читання лекцій статистикою може бути корисно включити епізодичне коротке відео. Мої перші думки включали: Анімація та візуалізація статистичних понять Розповіді щодо застосування певної техніки Жартівливі відео, які мають відношення до статистичної ідеї Інтерв'ю зі статистиком або дослідником, який використовує статистику Чи є відео, які ви використовуєте під час …

13 teaching  references 

Слідуючи останнім питанням, які у нас виникли тут . Я хотів дізнатись, чи натрапив хтось чи може поділитися кодом R для виконання спеціального аналізу потужності на основі моделювання для лінійної моделі? Пізніше я, очевидно, хотів би поширити це на більш складні моделі, але, здається, lm - це правильне місце для …

13 r  power  power-analysis 

Які тести доступні для тестування двох незалежних зразків на нульову гіпотезу про те, що вони походять з популяцій з однаковим перекосом? Існує класичний тест на 1 зразок щодо того, чи перекос дорівнює фіксованому числу (тест передбачає 6-й момент вибірки!); чи є прямий переклад на 2-зразок тесту? Чи є методи, які …

13 hypothesis-testing  distributions  bootstrap  moments  l-moments 

Я боровся з наступною проблемою, сподіваюсь, це легка проблема для статистиків (я програміст із деяким впливом на статистику). Мені потрібно узагальнити відповіді на опитування (для управління). В опитуванні є 100+ питань, згрупованих у різних областях (з приблизно 5 до 10 питань на область). Усі відповіді є категоричними (у порядковому масштабі …

13 categorical-data  data-transformation  descriptive-statistics