Статистика та великі дані

Я нобіль у статистиці, тож чи можете ви, хлопці, допомогти мені тут. Моє запитання таке: Що насправді означає об'єднана дисперсія ? Коли я шукаю формулу для об'єднаної дисперсії в Інтернеті, я знаходжу багато літератури, використовуючи наступну формулу (наприклад, тут: http://math.tntech.edu/ISR/Mathematical_Statistics/Introduction_to_Statistic_Tests/thispage/newnode19.html ): S2p=S21(n1−1)+S22(n2−1)n1+n2−2Sp2=S12(n1−1)+S22(n2−1)n1+n2−2\begin{equation} \label{eq:stupidpooledvar} \displaystyle S^2_p = \frac{S_1^2 (n_1-1) + S_2^2 …

15 variance  mean  pooling 

Я думаю, що у мене є деяка принципова плутанина щодо того, як функціонують функції логістичної регресії (або, можливо, просто функціонують в цілому). Як так, що функція h (x) виробляє криву, видно в лівій частині зображення? Я бачу, що це графік з двох змінних, але потім ці дві змінні (x1 & …

15 logistic  data-visualization  function 

Я хотів би поради щодо об'єднання графіків / статистичних даних щодо калібрування після багаторазової імпутації. Налагоджуючи розробку статистичних моделей з метою прогнозування майбутньої події (наприклад, використовуючи дані з лікарняних записів для прогнозування виживання після лікарні або після подій у лікарні), можна уявити, що є дещо до безлічі відомостей. Множинна імпутація …

15 data-visualization  data-imputation  multiple-imputation  pooling  calibration 

Я працюю над проблемою кластеризації тексту. Дані містять кілька пропозицій. Чи є хороший алгоритм, який досягає високої точності на короткому тексті? Чи можете ви надати хороші довідки? Такі алгоритми, як KMeans, спектральна кластеризація не дуже добре справляються з цією проблемою.

15 machine-learning  clustering  text-mining 

Нехай {Xi}ni=1{Xi}i=1n\{X_i\}_{i=1}^n - сімейство iid випадкових величин, що приймають значення в [0,1][0,1][0,1] , що мають середнє μμ\mu та дисперсію σ2σ2\sigma^2 . Простий довірчий інтервал для середнього, використовуючи σσ\sigma коли він відомий, задається П( | X¯- мк | > ε ) ≤ σ2n ε2≤ 1n ε2( 1 ) .П(|Х¯-мк|>ε)≤σ2нε2≤1нε2(1). P( | …

15 normal-distribution  confidence-interval  references  asymptotics  approximation 

Існує багато літератури, що підкреслюють метод максимізації очікування на моделях сумішей (суміш Гауссова, модель прихованого Маркова тощо). Чому ЕМ важлива? ЕМ - це лише спосіб оптимізації і не використовується широко як градієнтний метод (метод градієнта пристойний або метод ньютона / квазі-ньютона) або інший метод без градієнтів, обговорений ТУТ . Крім …

15 machine-learning  optimization  expectation-maximization  gaussian-mixture 

У мене є модель прогнозування, протестована чотирма методами, як ви бачите на малюнку boxplot нижче. Атрибут, який передбачає модель, знаходиться в межах 0-8. Ви можете помітити, що існує одна верхня межа та три нижньої межі, що вказана усіма методами. Цікаво, чи доцільно видалити ці дані з даних? Або це свого …

15 regression  machine-learning  multiple-regression  predictive-models  outliers 

Я знаю, що звичайний PCA не дотримується імовірнісної моделі спостережуваних даних. Отже, в чому полягає основна відмінність PCA від PPCA ? У латентній змінній моделі PPCA містяться, наприклад, спостережувані змінні , латентні (незабезпечені змінні x ) та матриця W , яка не повинна бути ортонормальною, як у звичайній PCA. Ще …

15 pca 

Під час навчання простого двійкового класифікатора нейронної мережі я отримую високе значення втрат, використовуючи крос-ентропію. Незважаючи на це, значення точності в наборі перевірки зберігається досить добре. Чи має це якесь значення? Не існує суворої кореляції між втратою та точністю? У мене на тренуванні та валідації ці значення: 0.4011 - соотв …

15 neural-networks  accuracy 

Припустимо, вам підходить лінійна / логістична регресія , з метою неупередженої оцінки . Ви дуже впевнені, що і дуже позитивно відносно шуму в їх оцінках.g(y)=a0+a1⋅x1+a2⋅x2g(y)=a0+a1⋅x1+a2⋅x2g(y) = a_0 + a_1\cdot x_1 + a_2\cdot x_2a1a2a1a2\frac{a_1}{a_2}a1a1a_1a2a2a_2 Якщо у вас спільна коваріація , ви можете прорахувати або принаймні імітувати відповідь. Чи є кращі способи, …

15 regression  regression-coefficients  unbiased-estimator  ratio 

Я намагаюся використати lme4::glmer()для встановлення біноміальної узагальненої змішаної моделі (GLMM) із залежною змінною, яка є не бінарною, а суцільною змінною між нулем та одиницею. Можна вважати цю змінну як ймовірність; насправді це ймовірність того, як повідомили людських суб'єктів (в експерименті , який я допомогти аналізує). Тобто це не "дискретна" частка, …

15 r  logistic  mixed-model  glmm  lme4-nlme 

Чи існує розподіл для двох iid випадкових величин де спільний розподіл є рівномірним щодо підтримки [0,1]?X,YX,YX,YX−YX−YX-Y

15 distributions  random-variable 

Багатогранні бандити добре працюють у ситуаціях, коли у вас є вибір, і ви не впевнені, який з них дозволить максимально покращити ваше самопочуття. Можна використовувати алгоритм для деяких реальних життєвих ситуацій. Як приклад, навчання може бути хорошим полем: Якщо дитина вивчає столярні вироби і йому погано в цьому, алгоритм скаже …

15 algorithms  reinforcement-learning  multiarmed-bandit 

Для даної проблеми висновку ми знаємо, що байєсівський підхід зазвичай відрізняється як за формою, так і за результатами підходу фекзиста. Часто лікарі (зазвичай включають мене) часто зазначають, що їхні методи не вимагають попереднього, а отже, більше "керованих даними", ніж "обґрунтованих судженнями". Звичайно, Байєсіанські можуть вказувати на неінформативні пріори, або, будучи …

15 bayesian  inference  likelihood  likelihood-ratio  frequentist 

Розглянемо одновимірну випадкову прогулянку на цілі числа з початковим станом :ZZ\mathbb{Z}x∈Zx∈Zx\in\mathbb{Z} Sn=x+∑i=1nξiSn=x+∑i=1nξi\begin{equation} S_n=x+\sum^n_{i=1}\xi_i \end{equation} де прирости є IID такими, що .ξiξi\xi_iP{ξi=1}=P{ξi=−1}=12P{ξi=1}=P{ξi=−1}=12P\{\xi_i=1\}=P\{\xi_i=-1\}=\frac{1}{2} Можна довести, що (1) Px{Sn reaches +1 eventually}=1Px{Sn reaches +1 eventually}=1\begin{equation} P^x{\{S_n \text{ reaches +1 eventually}\}} = 1 \end{equation} де підписник позначає початкову позицію. Нехай є першим часом проходження, …

15 probability  terminology  stochastic-processes  randomness  random-walk