Статистика та великі дані

Я зіткнувся з такою проблемою моделювання: заданий набір {ω1,…,ωd}{ω1,…,ωг}\{\omega_1,\ldots,\omega_d\} відомих реальних чисел, розподіл на {−1,1}d{-1,1}г\{-1,1\}^d визначається через P(X=(x1,…,xd))∝(x1ω1+…+xdωd)+П(Х=(х1,…,хг))∝(х1ω1+…+хгωг)+\mathbb{P}(X=(x_1,\ldots,x_d))\propto (x_1\omega_1+\ldots+x_d\omega_d)_+ де (z)+(z)+(z)_+ позначає позитивну частину zzz. Хоча я можу подумати про пробірник Metropolis-Hastings, націлений на цей розподіл, мені цікаво, чи існує ефективний прямий пробовідбірник, скориставшись великою кількістю нульових ймовірностей для зменшення …

9 simulation  algorithms  random-generation  computational-statistics  metropolis-hastings 

Найпростіше визначення достатньої статистики з точки зору частістів дано тут у Вікіпедії . Однак я нещодавно натрапив на байєсівську книгу з визначеннямП( θ | x , t ) = P( θ | t )П(θ|х,т)=П(θ|т)P(\theta|x,t)=P(\theta|t). У посиланні сказано, що обидва рівнозначні, але я не бачу як. Крім того, на цій самій …

9 bayesian  mathematical-statistics  sufficient-statistics 

Я намагаюся моделювати та прогнозувати часові ряди, які є циклічними, а не сезонними (тобто є сезонні структури, але не з фіксованим періодом). Це має бути можливо зробити, використовуючи модель ARIMA, як зазначено в розділі 8.5 Прогнозування: принципи та практика : Значення важливо, якщо дані показують цикли. Для отримання циклічних прогнозів …

9 time-series  forecasting  arima  seasonality 

Я вивчаю різницю між регуляризацією в регресії RKHS і лінійною регресією, але мені важко зрозуміти вирішальну різницю між ними. Дано пари введення-виведення (xi,yi)(xi,yi)(x_i,y_i), Я хочу оцінити функцію f(⋅)f(⋅)f(\cdot) наступним чином f(x)≈u(x)=∑i=1mαiK(x,xi),f(x)≈u(x)=∑i=1mαiK(x,xi),\begin{equation}f(x)\approx u(x)=\sum_{i=1}^m \alpha_i K(x,x_i),\end{equation} де K(⋅,⋅)K(⋅,⋅)K(\cdot,\cdot)є функцією ядра. Коефіцієнтиαmαm\alpha_m можна або знайти, вирішивши minα∈Rn1n∥Y−Kα∥2Rn+λαTKα,minα∈Rn1n‖Y−Kα‖Rn2+λαTKα,\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation} …

9 regression  generalized-linear-model  regularization  kernel-trick  rbf-kernel 

Нещодавно я спостерігав за цим розмовою Еріка Дж. Ма і перевіряв його запис у блозі , де він цитує Радфорда Ніла, що байєсські моделі не надмірно (але вони можуть переповнювати ), і при їх використанні нам не потрібні тестові набори для їх перевірки (для мені здається, що цитати, швидше, говорять …

9 machine-learning  bayesian  cross-validation  deep-learning 

Pdf зазвичай записується як , де малий трактується як реалізація або результат випадкової величини яка має цей pdf. Аналогічно, cdf записується як , що має значення . Однак, за деяких обставин, таких як визначення функції рахунку та це виведення, що cdf рівномірно розподілений , виявляється, що випадкова величина підключається до …

9 random-variable  pdf  cdf  intuition 

Закрито . Це питання має бути більш зосередженим . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно зосередило увагу на одній проблемі лише редагуючи цю публікацію . Закрито 2 роки тому . Я новачок у галузі машинного навчання, але хотів спробувати застосувати простий алгоритм класифікації з …

9 machine-learning  classification  neural-networks  transfer-learning 

Я зустрів парадоксальну поведінку так званих "точних тестів" або "тестів на перестановку", прототипом яких є тест Фішера. Ось. Уявіть, що у вас є дві групи з 400 осіб (наприклад, 400 контрольних проти 400 випадків) і коваріат з двома способами (наприклад, піддаються / не піддаються впливу). Є лише 5 осіб, що …

9 power  permutation-test  fishers-exact 

Зараз я шукаю Огляд алгоритмів навчання для посилення та, можливо, їх класифікацію. Але поряд із Sarsa та Q-Learning + Deep Q-Learning я не можу реально знайти жодного популярного алгоритму. Вікіпедія дає мені огляд різних загальних методів зміцнення, але немає посилань на різні алгоритми, що реалізують ці методи. Але, можливо, я …

9 reinforcement-learning  q-learning 

Дозволяє Z∼N(μ,Σ)Z∼N(μ,Σ)Z \sim \mathcal N(\mu, \Sigma) бути в RdRd\mathbb R^d. Назвіть середню та коваріаційну матрицюZ+=max(0,Z)Z+=max(0,Z)Z_+ = \max(0, Z) (з максимально обчисленими елементами)? Це виникає, наприклад, тому, що якщо ми використовуємо функцію активації ReLU всередині глибокої мережі, і припустимо через CLT, що входи до даного шару приблизно нормальні, то це розподіл …

9 probability  distributions  normal-distribution  moments  censoring 

Я намагаюся зрозуміти внутрішню роботу Гамільтоніана Монте-Карло (HMC), але не можу повністю зрозуміти ту частину, коли ми замінимо детерміновану інтеграцію часу на пропозицію Метрополіс-Гастінг. Я читаю дивовижний вступний документ «Концептуальне вступ до гамільтоніану Монте-Карло » Майкла Бетанкура, тому я буду дотримуватися тих же позначень, які використовуються в ньому. Фон Загальна …

9 mcmc  monte-carlo  hmc 

Не настільки рідкісне явище при роботі зі складними максимально змішаними моделями (оцінка всіх можливих випадкових ефектів для даних та моделі) є ідеальним (+1 або -1) або майже ідеальним співвідношенням між деякими випадковими ефектами. З метою обговорення, дотримуйтесь наступної моделі та резюме моделі Model: Y ~ X*Cond + (X*Cond|subj) # Y …

9 r  correlation  mixed-model  lme4-nlme  covariance-matrix 

Припустимо, ми робимо приклад іграшки на градієнті пристойному, мінімізуючи квадратичну функцію , використовуючи фіксований розмір кроку . ( )хТА хxTAxx^TAxα = 0,03α=0.03\alpha=0.03А = [ 10 , 2 ; 2 , 3 ]A=[10,2;2,3]A=[10, 2; 2, 3] Якщо ми побудуємо слід у кожній ітерації, отримаємо наступний малюнок. Чому точки стають «набагато щільнішими», …

9 r  machine-learning  optimization  gradient-descent 

Якщо у мене є два різних симетричних (щодо середнього) розподілу ХXX і YYY, є різниця Х- YX−YX-Y також симетричне (щодо медіани) розподіл?

9 distributions  median 

Якщо , знайдіть розподіл .X∼C(0,1)X∼C(0,1)X\sim\mathcal C(0,1)Y=2X1−X2Y=2X1−X2Y=\frac{2X}{1-X^2} У нас єFY(y)=Pr(Y≤y)FY(y)=Pr(Y≤y)F_Y(y)=\mathrm{Pr}(Y\le y) =Pr(2X1−X2≤y)=Pr(2X1−X2≤y)\qquad\qquad\qquad=\mathrm{Pr}\left(\frac{2X}{1-X^2}\le y\right) =⎧⎩⎨⎪⎪⎪⎪⎪⎪Pr(X∈(−∞,−1−1+y2√y])+Pr(X∈(−1,−1+1+y2√y]),ify&gt;0Pr(X∈(−1,−1+1+y2√y])+Pr(X∈(1,−1−1+y2√y]),ify&lt;0={Pr(X∈(−∞,−1−1+y2y])+Pr(X∈(−1,−1+1+y2y]),ify&gt;0Pr(X∈(−1,−1+1+y2y])+Pr(X∈(1,−1−1+y2y]),ify&lt;0\qquad\qquad=\begin{cases} \mathrm{Pr}\left(X\in\left(-\infty,\frac{-1-\sqrt{1+y^2}}{y}\right]\right)+\mathrm{Pr}\left(X\in\left(-1,\frac{-1+\sqrt{1+y^2}}{y}\right]\right),\text{if}\quad y>0\\ \mathrm{Pr}\left(X\in\left(-1,\frac{-1+\sqrt{1+y^2}}{y}\right]\right)+\mathrm{Pr}\left(X\in\left(1,\frac{-1-\sqrt{1+y^2}}{y}\right]\right),\text{if}\quad y<0 \end{cases} Цікаво, чи вказане вище розрізнення випадків правильне чи ні. З іншого боку, наступний видається більш простим методом: Ми можемо записати використовуючи тотожністьY=tan(2tan−1X)Y=tan⁡(2tan−1⁡X)Y=\tan(2\tan^{-1}X)2tanz1−tan2z=tan2z2tan⁡z1−tan2⁡z=tan⁡2z\frac{2\tan z}{1-\tan^2z}=\tan 2z ТеперХ∼ С( 0 , 1 )⟹засмага- 1Х∼ R …

9 self-study  distributions  mathematical-statistics  random-variable