Статистика та великі дані

Тож для задоволення я беру деякі дані дзвінків з кол-центру, в якому я працюю, і намагаюся зробити тестування гіпотез щодо них, зокрема кількість отриманих дзвінків за тиждень, і використовую розподіл Пуассона, щоб підходити до нього. Зважаючи на тему моєї роботи, є два типи тижнів, давайте назвемо один з них на …

9 hypothesis-testing  poisson-distribution 

Я думав, оскільки це від , то вони незалежніX,YX,YX, YN(0,1)N(0,1)N(0,1) X−2YX−2YX - 2Y має розподіл . Тоді має ймовірність .N(0,5)N(0,5)N(0, 5)X−2Y>0X−2Y>0X-2Y > 01/21/21/2 Сказане мені здається правильним, хоча здається, що тоді мав би ймовірність . Це здається трохи неправильним. Невже я щось зрозумів?X>nYX>nYX>nY1/21/21/2

9 probability  normal-distribution 

Сьогодні я наткнувся на книгу Джеймса Стоуна "Теорія інформації: вступ до навчального посібника" і на хвилину-другу подумав про ступінь використання теорії інформації у прикладній науці даних (якщо вам не до вподоби цей ще дещо нечіткий термін, Подумайте аналіз даних , який є науковим даними ІМХО - це прославлена ​​версія). Я …

9 information-theory 

Іноді ми припускаємо, що регресори є фіксованими, тобто вони нестахастичні. Я думаю, що це означає, що всі наші прогноктори, оцінки параметрів і т. Д. Тоді безумовні, правда? Чи можу я навіть зайти так далеко, що вони більше не є випадковими змінними? Якщо, з іншого боку, ми погоджуємось, що більшість регресорів …

9 regression  inference  philosophical  conditioning  ancillary-statistics 

Я намагаюся зрозуміти результат аналізу основних компонентів, який виконується наступним чином: > head(iris) Sepal.Length Sepal.Width Petal.Length Petal.Width Species 1 5.1 3.5 1.4 0.2 setosa 2 4.9 3.0 1.4 0.2 setosa 3 4.7 3.2 1.3 0.2 setosa 4 4.6 3.1 1.5 0.2 setosa 5 5.0 3.6 1.4 0.2 setosa 6 5.4 …

9 r  pca  interpretation 

У мене, мабуть, є дурне питання, щодо якого, мушу зізнатися, я розгублений. Уявіть повторне генерування рівномірно розподілених випадкових ортогональних (ортонормальних) матриць певного розміру . Іноді згенерована матриця має визначник а іноді - детермінант . (Є лише два можливі значення. З точки зору ортогонального обертання означає, що крім обертання є ще …

9 mathematical-statistics  matrix  random-generation  rotation  determinant 

Я провожу аналіз, де головна мета - зрозуміти дані. Набір даних достатньо великий для перехресної перевірки (10 к), і передбачувачі включають як безперервні, так і фіктивні змінні, а результат - безперервний. Основна мета полягала в тому, щоб зрозуміти, чи є сенс виганяти деякі прогнози, щоб спростити інтерпретацію моделі. Запитання: Моє …

9 lasso  explanatory-models 

Я знаю, що OLS є неупередженим, але неефективним при гетеросцедастичності в умовах лінійної регресії. У Вікіпедії http://en.wikipedia.org/wiki/Minimum_mean_square_error Оцінювач MMSE є асимптотично неупередженим і він переходить у розподіл до нормального розподілу: n−−√(x^−x)→dN(0,I−1(x))n(x^−x)→dN(0,I−1(x))\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right), де I (x) - інформація про Фішера з x. Таким чином, оцінювач MMSE …

9 least-squares  heteroscedasticity  efficiency 

В даний час я вивчаю ієрархічні байєсові моделі за допомогою JAGS від R, а також pymc за допомогою Python ( "Байєсівські методи для хакерів" ). Я можу отримати певну інтуїцію з цього посту : "ви закінчите купу купу чисел, яка виглядає" так, ніби "вам якимось чином вдалося взяти незалежні вибірки …

9 bayesian  mcmc  expectation-maximization 

У коментарі тут @gung написав: Я вважаю, що вони можуть трохи перекритись (можливо, ~ 25%) і все-таки бути значущими на рівні 5%. Пам’ятайте, що 95% ІС, який ви бачите, призначений для індивідуального АБО, але тест 2 АБО полягає в різниці між ними. Однак якщо вони взагалі не перетинаються, то вони, …

9 logistic  confidence-interval  odds-ratio  references 

Я вивчаю модель Гауссової суміші і сам придумую це питання. Припустимо, основні дані генеруються із суміші КKK Гауссова розподіл і кожен з них має середній вектор мкк∈Rpμk∈Rp\mu_k\in\mathbb{R}^p, де 1 ≤ k ≤ K1≤k≤K1\leq k\leq K і кожен з них має однакову ко-дисперсійну матрицю ΣΣ\Sigma і припустимо це ΣΣ\Sigmaє діагональною матрицею. …

9 self-study  expectation-maximization  gaussian-mixture  consistency 

Я буду викладати статистику як асистент викладання в другій половині цього семестру студентам, орієнтованим на CS. Більшість учнів, які взяли клас, не стимулюють вивчати предмет, а сприйняли його лише для основних вимог. Я хочу зробити тему цікавою та корисною, а не просто клас, який вони навчаються, щоб отримати B +, …

9 hypothesis-testing  confidence-interval  teaching 

Ось проблема, яка з’явилася на семестровому іспиті в нашому університеті кілька років тому, яку я намагаюся вирішити. Якщо є незалежними випадковими змінними з щільністю та відповідно, то показують, що слідує .X1,X2X1,X2X_1,X_2ββ\betaβ(n1,n2)β(n1,n2)\beta(n_1,n_2)β(n1+12,n2)β(n1+12,n2)\beta(n_1+\dfrac{1}{2},n_2)X1X2−−−−−√X1X2\sqrt{X_1X_2}β(2n1,2n2)β(2n1,2n2)\beta(2n_1,2n_2) Я використав метод щоб отримати щільність така: Y=X1X2−−−−−√Y=X1X2Y=\sqrt{X_1X_2}fY(y)=4y2n1B(n1,n2)B(n1+12,n2)∫1y1x2(1−x2)n2−1(1−y2x2)n2−1dxfY(y)=4y2n1B(n1,n2)B(n1+12,n2)∫y11x2(1−x2)n2−1(1−y2x2)n2−1dxf_Y(y)=\dfrac{4y^{2n_1}}{B(n_1,n_2)B(n_1+\dfrac{1}{2},n_2)}\int_y^1\dfrac{1}{x^2}(1-x^2)^{n_2-1}(1-\dfrac{y^2}{x^2})^{n_2-1}dx Насправді я загублений. Тепер у головному документі я знайшов підказку. Я …

9 self-study  random-variable  beta-distribution  distributions  jacobian 

Я намагаюсь передбачити балансову оцінку і спробував кілька різних методів регресії. Одне, що я помітив, - це те, що передбачувані значення, здається, мають якусь верхню межу. Тобто фактичний баланс знаходиться у , але мої прогнози становлять приблизно . Наступний графік показує фактичний та передбачуваний баланс (прогнозований з лінійною регресією):[0.0,1.0)[0.0,1.0)[0.0, 1.0)0.80.80.8 …

9 regression  distributions  data-transformation  prediction  bounds 

Я намагаюся краще зрозуміти сприйнятливі поля CNN. Для цього я хотів би обчислити сприйнятливе поле кожного нейрона в LeNet. Для нормального MLP це досить просто (див. Http://deeplearning.net/tutorial/lenet.html#sparse-connectivity ), але складніше обчислити сприйнятливе поле нейрона в шарі, що слідує за одним або кількома згортковими шарами і об'єднання шарів. Яке сприйнятливе поле …

9 deep-learning  conv-neural-network