Статистика та великі дані

Питання та відповіді для людей, зацікавлених у статистиці, машинному навчанні, аналізі даних, інтелектуальному аналізу даних та візуалізації даних

3
Різниця між машинами для факторизації та матричною факторизацією?
Я натрапив на термін Факторизаційні машини в системах рекомендацій. Я знаю, що таке матрична факторизація для систем рекомендування, але ніколи не чув про машини факторизації. То яка різниця?

2
Отримання двовимірного розподілу Пуассона
Нещодавно я стикався з біваріантним розповсюдженням Пуассона, але я трохи розгублений, як це можна отримати. Розподіл задається: P(X=x,Y=y)=e−(θ1+θ2+θ0)θx1x!θy2y!∑i=0min(x,y)(xi)(yi)i!(θ0θ1θ2)iP(X=x,Y=y)=e−(θ1+θ2+θ0)θ1xx!θ2yy!∑i=0min(x,y)(xi)(yi)i!(θ0θ1θ2)iP(X = x, Y = y) = e^{-(\theta_{1}+\theta_{2}+\theta_{0})} \displaystyle\frac{\theta_{1}^{x}}{x!}\frac{\theta_{2}^{y}}{y!} \sum_{i=0}^{min(x,y)}\binom{x}{i}\binom{y}{i}i!\left(\frac{\theta_{0}}{\theta_{1}\theta_{2}}\right)^{i} З того, що я можу зібрати, термін θ0θ0\theta_{0} є мірою кореляції між XXX і YYY ; отже, коли XXX і YYY незалежні, θ0=0θ0=0\theta_{0} …

2
AIC, BIC та GCV: що найкраще приймати рішення в методах санкціонованої регресії?
Моє загальне розуміння - AIC стосується компромісу між хорошою придатністю моделі та складністю моделі. А яС= 2 k - 2 l n ( L )AIC=2k−2ln(L)AIC =2k -2ln(L) кkk = кількість параметрів у моделі LLL = ймовірність Байєсівський інформаційний критерій BIC тісно пов'язаний з AIC. AIC карає кількість параметрів менш сильно, …

2
Використання вкладеної перехресної перевірки
На сторінці Scikit Learn щодо вибору моделі згадується використання вкладеної перехресної перевірки: >>> clf = GridSearchCV(estimator=svc, param_grid=dict(gamma=gammas), ... n_jobs=-1) >>> cross_validation.cross_val_score(clf, X_digits, y_digits) Дві петлі перехресної перевірки виконуються паралельно: один за допомогою оцінювача GridSearchCV для встановлення гамми, а другий через cross_val_score для вимірювання показників прогнозування оцінювача. Отримані результати є неупередженими …

1
Навіщо використовувати параметричний завантажувальний пристрій?
На даний момент я намагаюсь обміняти деякі речі щодо параметричного завантажувального пристрою. Більшість речей, ймовірно, банальні, але я все ще думаю, що я, можливо, щось пропустив. Припустимо, я хочу отримати довірчі інтервали для даних за допомогою параметричної процедури завантаження. Отже, у мене є цей зразок, і я вважаю його нормально …

2
Причинність у мікроекономічних показниках порівняно з великою причинністю в економетриці часових рядів
Я розумію причинно-наслідкові зв’язки, що використовуються в мікроекономіці (зокрема, проект IV або регресії регресії), а також причинність Грейнджера, що використовується в економетрії часових рядів. Як я пов’язую одне з іншим? Наприклад, я бачив, як обидва підходи використовуються для даних панелі (скажімо, , T = 20 ). Будь-які посилання на документи …

2
Чому сферичність, діагностована Тестом Бартлетта, означає, що PCA є невідповідним?
Я розумію, що Тест Бартлетта стосується визначення того, чи є ваші зразки з популяцій з однаковими відмінностями. Якщо вибірки є з популяцій з однаковими дисперсіями, то ми не можемо відкинути нульову гіпотезу тесту, і тому аналіз основних компонентів є недоцільним. Я не впевнений, де криється проблема з цією ситуацією (маючи …

3
R: Що я бачу в часткових залежностях графіків gbm та RandomForest?
Власне, я думав, що зрозумів, що можна показати за допомогою часткової залежності, але, використовуючи дуже простий гіпотетичний приклад, я здивувався. У наступному фрагменті коду я генерую три незалежні змінні ( a , b , c ) та одну залежну змінну ( y ) з c, що показує тісний лінійний зв’язок …


1
Пропускна здатність ядра: правила Скотта проти Сільвермена
Чи може хто-небудь пояснити простою англійською мовою, в чому різниця між правилами Скотта та Сільвермана для вибору пропускної здатності? Зокрема, коли один кращий за іншого? Це пов’язано з базовим розподілом? Кількість зразків? PS Я маю на увазі код у SciPy .

1
Чи існує інтуїтивна характеристика кореляції відстані?
Я дивився на сторінку вікіпедії для кореляції відстаней, де, здається, характеризується тим, як це можна обчислити. Хоча я міг робити обчислення, я намагаюся визначити, які заходи кореляції відстані і чому розрахунки виглядають так, як вони роблять. Чи є (або багато) більш інтуїтивна характеристика кореляції відстані, яка могла б допомогти мені …

1
Програма вибору eps та minPts для DBSCAN
DBSCAN є найбільш цитованим алгоритмом кластеризації відповідно до деякої літератури, і він може знайти кластери довільної форми на основі щільності. Він має два параметри eps (як радіус сусідства) та minPts (як мінімальний сусід, який вважає точку основою), і я вважаю, що це дуже залежить від них. Чи є якийсь рутинний …

4
Що просто мається на увазі під скороченою формою?
Що в економетриці розуміють під скороченою формою? Крім того, що шукають люди, коли вони говорять: "Я хотів би бачити зменшені оцінки". Це було вирішено на роботі, і окремі пояснення та пошук Google є надмірно технічними. Сподіваючись, що хтось зможе навести простий приклад.

3
Де корисна оцінка щільності?
Переглянувши трохи збиту математику, я думаю, що у мене є незначна інтуїція оцінки щільності ядра. Але я також усвідомлюю, що оцінка багатоваріантної щільності для більш ніж трьох змінних може бути не дуже хорошою ідеєю з точки зору статистичних властивостей її оцінювачів. Отже, у яких ситуаціях слід оцінити, скажімо, біваріантну щільність …

3
Обчисліть дисперсію, пояснену кожним предиктором при множинній регресії, використовуючи R
Я провів багаторазову регресію, в якій модель в цілому є значною і пояснює приблизно 13% дисперсії. Однак мені потрібно знайти кількість дисперсії, пояснену кожним значущим прогноктором. Як я можу це зробити за допомогою R? Ось деякі зразкові дані та код: D = data.frame( dv = c( 0.75, 1.00, 1.00, 0.75, …
14 r  regression  variance 

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.