Статистика та великі дані

Я хочу здійснити поступову регресію процесу гауса, використовуючи розсувне вікно над точками даних, які надходять по черзі через потік. Дозволяє гddпозначають розмірність вхідного простору. Отже, кожен пункт даниххixix_i має гdd кількість елементів. Дозволяє нnn бути розміром розсувного вікна. Для того, щоб робити прогнози, мені потрібно обчислити зворотну грамматрицю КKK, де …

11 regression  covariance  gaussian-process  linear-algebra  online 

Вивчаючи два незалежні засоби вибірки, нам кажуть, що ми дивимось на "різницю двох засобів". Це означає, що ми беремо середнє значення від сукупності 1 ( ) і віднімаємо з нього середнє значення від сукупності 2 ( ). Отже, наша "різниця у двох засобах" - це ( - ).у¯1у¯1\bar y_1у¯2у¯2\bar y_2у¯1у¯1\bar …

11 paired-comparisons  paired-data  mean 

У мене є часовий ряд і я хотів би моделювати його як процес ARFIMA (він же FARIMA). Якщо інтегрований у (дробовий) порядок , я хотів би дробово відрізнити його, щоб зробити його нерухомим.утyty_tутyty_tгdd Запитання : чи правильна наступна формула, що визначає дробову диференціацію? Δгут: =ут- дуt - 1+г( д- 1 …

11 time-series  arima  arfima 

Яка різниця між обертанням варімакса і обертанням обліміна в факторному аналізі? Також мене плутає взаємозв'язок між аналізом основних компонентів, обертанням варімакса та аналітичним факторним аналізом, як теоретично, так і в SPSS. Як вони пов'язані?

11 factor-analysis  rotation 

Я застосував тест DW до моєї регресійної моделі в R, і я отримав статистику тесту DW 1,78 і p-значення 2,2e-16 = 0. Чи означає це, що між залишками не існує автокореляції, тому що stat близький до 2 з невеликим p-значенням чи це означає, хоча stat є близьким до 2, p-значення …

11 r  regression  hypothesis-testing  autocorrelation  residuals 

Розглянемо просту регресію (нормальність не передбачається): Yi= a + bХi+еi,Yi=a+bXi+ei,Y_i = a + b X_i + e_i, де еieie_i з середнім значенням 000 і стандартне відхилення σσ\sigma. Оцінки найменших квадратнихаaa і бbb некорельований?

11 regression  correlation  estimation 

Крістофер Бішоп пише у своїй книзі Розпізнавання візерунків та машинне навчання доказом того, що кожен послідовний головний компонент максимізує дисперсію проекції до одного виміру після того, як дані проектуються в ортогональний простір до вибраних раніше компонентів. Інші демонструють подібні докази. Однак це лише доводить, що кожна послідовна складова є найкращою …

11 machine-learning  variance  pca  dimensionality-reduction  eigenvalues 

Я розумію, що f-міра (заснована на точності та відкликання) - це оцінка того, наскільки точним є класифікатор. Крім того, f-міра віддається перевазі точності, коли у нас є неврівноважений набір даних. У мене просте запитання (яке стосується скоріше використання правильної термінології, ніж щодо технології). У мене незбалансований набір даних і я …

11 machine-learning  classification  data-mining  unbalanced-classes  accuracy 

У мене є питання про правильний розподіл, який потрібно використовувати для створення моделі з моїми даними. Я провів лісову інвентаризацію на 50 ділянок, кожна ділянка розміром 20м × 50м. Для кожної ділянки я оцінив відсоток козирка дерев, що затінює землю. Кожна ділянка має одне значення, у відсотках, для покриття навісом. …

11 distributions  binomial  gamma-distribution 

Я реалізував таку функцію для обчислення ентропії: from math import log def calc_entropy(probs): my_sum = 0 for p in probs: if p > 0: my_sum += p * log(p, 2) return - my_sum Результат: >>> calc_entropy([1/7.0, 1/7.0, 5/7.0]) 1.1488348542809168 >>> from scipy.stats import entropy # using a built-in package # …

11 mathematical-statistics  python  entropy 

Я намагався підняти свої статистичні знання, особливо стосовно визначення розміру вибірки та статистичного аналізу потужності. Але здається, що чим більше я читаю, тим більше мені потрібно читати. У будь-якому випадку я знайшов інструмент під назвою G * Power, який, здається, робить усе, що мені потрібно, але у мене виникає проблема, …

11 power-analysis  power  non-central 

Як припущення про лінійну регресію, нормальність розподілу помилки іноді помилково "розширюється" або трактується як потреба в нормальності y або x. Чи можливо побудувати сценарій / набір даних, що там, де X і Y ненормальні, але термін помилки є, і тому отримані оцінки лінійної регресії є дійсними?

11 regression  linear-model  assumptions 

Використовуючи біплот значень, отриманих за допомогою аналізу основних компонентів, можна досліджувати пояснювальні змінні, що складають кожен компонент принципу. Чи можливо це також за допомогою лінійного дискримінаційного аналізу? Наведені приклади використання даних "Дані Іриса Едгара Андерсона" ( http://en.wikipedia.org/wiki/Iris_flower_data_set ). Ось дані райдужки : id SLength SWidth PLength PWidth species 1 5.1 …

11 r  pca  multivariate-analysis  discriminant-analysis  biplot 

Я написав програму для імітації перемикання накладних карт. Кожна карта пронумерована, з костюмом, що йде від CLUBS, DIAMONDS, HEARTS, SPADESта до двох до десяти, потім Джек, Королева, Кінг та Ейс. Таким чином, два клуби мають число 1, три клуби - 2 .... туз клубів - 13 ... туз піки - …

11 correlation  pearson-r  information-theory 

Я порівнюю продуктивність декількох алгоритмів у кількох наборах даних. Оскільки ці показники ефективності не гарантуються нормально розподіленими, я обрав тест Фрідмана за допомогою спеціального тесту Nemenyi на основі Демшара (2006) . Потім я знайшов ще один документ, який, окрім запропонованих інших методів, таких як тест Quade з подальшим пост-хоковим тестом …

11 nonparametric  multiple-comparisons  post-hoc