Запитання з тегом «self-study»

Я переживаю проблеми письмових завдань класу глибокого навчання в Stanford NLP http://cs224d.stanford.edu/assignment1/assignment1_soln Я намагаюся зрозуміти відповідь для 3а, де вони шукають похідне від вектора для центрального слова. Припустимо, вам надано прогнозований вектор слова vcvcv_{c}що відповідає центральному слову c для skipgram, а передбачення слів виконується за допомогою функції softmax, знайденої в …

9 self-study  neural-networks  backpropagation  word2vec 

Кількість аварій на день - випадкова величина Пуассона з параметром , за 10 випадково вибраних днів кількість аварій спостерігалося як 1,0,1,1,2,0,2,0,0,1, яка буде бути неупередженим оцінювачем ?λλ\lambdaеλeλe^{\lambda} Я намагався спробувати таким чином: Ми знаємо, що , але . Тоді яким буде необхідний неупереджений оцінювач?Е(х¯) = λ = 0,8E(x¯)=λ=0.8E(\bar{x})=\lambda=0.8Е(ех¯) ≠ еλE(ex¯)≠ …

9 self-study  estimation  poisson-distribution 

Розглянемо квадратичну втрату , з попередньо заданим де . Нехай ймовірність. Знайдіть оцінку Байєса .L(θ,δ)=(θ−δ)2L(θ,δ)=(θ−δ)2L(\theta,\delta)=(\theta-\delta)^2π(θ)π(θ)\pi(\theta)π(θ)∼U(0,1/2)π(θ)∼U(0,1/2)\pi(\theta)\sim U(0,1/2)f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|\theta)=\theta x^{\theta-1}\mathbb{I}_{[0,1]}(x), \theta>0δπδπ\delta^\pi Розглянемо зважені квадратичні втрати де з попереднім . Нехай - вірогідність. Знайдіть оцінку Байєса .Lw(θ,δ)=w(θ)(θ−δ)2Lw(θ,δ)=w(θ)(θ−δ)2L_w(\theta,\delta)=w(\theta)(\theta-\delta)^2w(θ)=I(−∞,1/2)w(θ)=I(−∞,1/2)w(\theta)=\mathbb{I}_{(-\infty,1/2)}π1(θ)=I[0,1](θ)π1(θ)=I[0,1](θ)\pi_1(\theta)=\mathbb{I}_{[0,1]}(\theta)f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|\theta)=\theta x^{\theta-1}\mathbb{I}_{[0,1]}(x), \theta>0δπ1δ1π\delta^\pi_1 Порівняйте іδπδπ\delta^\piδπ1δ1π\delta^\pi_1 Спочатку я помітив, що , і я припустив, що така ймовірність, інакше я …

9 self-study  bayesian  estimation  hierarchical-bayesian  loss-functions 

Питання грунтується на роботі під назвою: Реконструкція зображення в дифузній оптичній томографії за допомогою зв'язаної моделі радіаційного транспорту-дифузії. Посилання для завантаження Автори застосовують алгоритм ЕМ з регуляризацією розрідженості невідомого вектораl1l1l_1μμ\muдля оцінки пікселів зображення. Модель задана y=Aμ+e(1)(1)y=Aμ+ey=A\mu + e \tag{1} Оцінка наведена у рівнянні (8) як μ^=argmaxlnp(y|μ)+γlnp(μ)(2)(2)μ^=arg⁡maxln⁡p(y|μ)+γln⁡p(μ)\hat{\mu} = \arg max {\ln …

9 self-study  bayesian  maximum-likelihood  expectation-maximization  moving-average 

Припустимо, випадкові величини і незалежні, а -розподілені. Покажіть, що має \ Розподіл тексту {Exp} (1) .X1,...,XnX1,...,XnX_1, ... , X_nY1,...,YnY1,...,YnY_1, ..., Y_nU(0,a)U(0,a)U(0,a)Zn=nlogmax(Y(n),X(n))min(Y(n),X(n))Zn=nlog⁡max(Y(n),X(n))min(Y(n),X(n))Z_n= n\log\frac{\max(Y_{(n)},X_{(n)})}{\min(Y_{(n)},X_{(n)})}Exp(1)Exp(1)\text{Exp}(1) Я розпочав цю проблему, встановивши {X1,...,Xn,Y1,...Yn}={Z1,...,Zn}{X1,...,Xn,Y1,...Yn}={Z1,...,Zn}\{X_1,...,X_n,Y_1,...Y_n\} = \{Z_1,...,Z_n\} Тоді max(Yn,Xn)=Z(2n)max(Yn,Xn)=Z(2n)\max(Y_n,X_n)= Z_{(2n)} поширюватиметься як (za)2n(za)2n(\frac{z}{a})^{2n} а min(Yn,Xn)=Z(1)min(Yn,Xn)=Z(1)\min(Y_n,X_n)= Z_{(1)} поширюватиметься як 1−(1−za)2n1−(1−za)2n1 - (1 - \frac{z}{a})^{2n} Щільності можна легко знайти …

9 self-study  data-transformation  order-statistics 

Це фактично одна з проблем у 4-му виданні «Основна економетрія Гуджараті» (Q3.11) і говорить про те, що коефіцієнт кореляції інваріантний щодо зміни походження та масштабу, тобтоcorr ( a X+ b , c Y+ д) = corr ( X, Y)корр(аХ+б,cY+г)=корр(Х,Y)\text{corr}(aX+b, cY+d) = \text{corr}(X,Y) де ааa,ббb,ccc,ггd є довільними константами. Але моє головне …

9 self-study  correlation  linear-algebra  mathematical-statistics 

Я намагався встановити нерівність |Ti|=∣∣Xi−X¯∣∣S≤n−1n−−√|Ti|=|Xi−X¯|S≤n−1n\left| T_i \right|=\frac{\left|X_i -\bar{X} \right|}{S} \leq\frac{n-1}{\sqrt{n}} де середнє значення вибірки і стандартне відхилення вибірки, тобто .X¯X¯\bar{X}SSSS=∑ni=1(Xi−X¯)2n−1−−−−−−−−−√S=∑i=1n(Xi−X¯)2n−1S=\sqrt{\frac{\sum_{i=1}^n \left( X_i -\bar{X} \right)^2}{n-1}} Неважко помітити, що і так але це не дуже близько до того, що я шукав, і не є корисним пов'язаним. Я експериментував з нерівностями Коші-Шварца і …

9 self-study  descriptive-statistics  bounds 

Я читаю корисну запис у Вікіпедії щодо збільшення градієнта ( https://en.wikipedia.org/wiki/Gradient_boosting ) і намагаюся зрозуміти, як / чому ми можемо наблизити залишки найкрутішим кроком спуску (також званий псевдоградієнтом ). Чи може хтось дати мені інтуїцію щодо того, як найкрутіший спуск пов’язаний / схожий на залишки? Допомога високо оцінена!

9 self-study  gradient-descent 

Шестигранна штамповка згортається ітераційно. Яка очікувана кількість рулонів, необхідна для отримання суми, більшої або дорівнює K? Перед редагуванням P(Sum>=1 in exactly 1 roll)=1 P(Sum>=2 in exactly 1 roll)=5/6 P(Sum>=2 in exactly 2 rolls)=1/6 P(Sum>=3 in exactly 1 roll)=5/6 P(Sum>=3 in exactly 2 rolls)=2/6 P(Sum>=3 in exactly 3 rolls)=1/36 P(Sum>=4 in …

9 self-study  mean  expected-value  dice  saddlepoint-approximation 

Я вивчаю модель Гауссової суміші і сам придумую це питання. Припустимо, основні дані генеруються із суміші КKK Гауссова розподіл і кожен з них має середній вектор мкк∈Rpμk∈Rp\mu_k\in\mathbb{R}^p, де 1 ≤ k ≤ K1≤k≤K1\leq k\leq K і кожен з них має однакову ко-дисперсійну матрицю ΣΣ\Sigma і припустимо це ΣΣ\Sigmaє діагональною матрицею. …

9 self-study  expectation-maximization  gaussian-mixture  consistency 

Ось проблема, яка з’явилася на семестровому іспиті в нашому університеті кілька років тому, яку я намагаюся вирішити. Якщо є незалежними випадковими змінними з щільністю та відповідно, то показують, що слідує .X1,X2X1,X2X_1,X_2ββ\betaβ(n1,n2)β(n1,n2)\beta(n_1,n_2)β(n1+12,n2)β(n1+12,n2)\beta(n_1+\dfrac{1}{2},n_2)X1X2−−−−−√X1X2\sqrt{X_1X_2}β(2n1,2n2)β(2n1,2n2)\beta(2n_1,2n_2) Я використав метод щоб отримати щільність така: Y=X1X2−−−−−√Y=X1X2Y=\sqrt{X_1X_2}fY(y)=4y2n1B(n1,n2)B(n1+12,n2)∫1y1x2(1−x2)n2−1(1−y2x2)n2−1dxfY(y)=4y2n1B(n1,n2)B(n1+12,n2)∫y11x2(1−x2)n2−1(1−y2x2)n2−1dxf_Y(y)=\dfrac{4y^{2n_1}}{B(n_1,n_2)B(n_1+\dfrac{1}{2},n_2)}\int_y^1\dfrac{1}{x^2}(1-x^2)^{n_2-1}(1-\dfrac{y^2}{x^2})^{n_2-1}dx Насправді я загублений. Тепер у головному документі я знайшов підказку. Я …

9 self-study  random-variable  beta-distribution  distributions  jacobian 

На сторінці 180 надійної статистики: підхід, заснований на функціях впливу, знаходимо таке питання: 16: Покажіть, що для інваріантних оцінок розташування завжди . Знайдіть відповідну верхню межу точки кінцевої вибірки обох випадках, коли непарне або парне.ε∗≤12ε∗≤12\varepsilon^*\leq\frac{1}{2}ε∗nεn∗\varepsilon^*_nnnnnnn Друга частина (після періоду) насправді тривіальна (з огляду на першу), але я не можу знайти …

9 self-study  robust 

У мене було домашнє завдання висловити негативний біноміальний розподіл як експоненціальне сімейство розподілів, враховуючи, що параметр дисперсії був відомою постійною. Це було досить просто, але я задумався, чому вони вимагають, щоб ми тримали цей параметр фіксованим. Я виявив, що не можу придумати спосіб встановити його у правильній формі, незважаючи два …

9 self-study  mathematical-statistics  negative-binomial  proof  exponential-family 

Я намагаюся зрозуміти краще метод Йохансена, тому я розробив приклад 3.1, наведений у книзі " Імовірність, заснована на висновках-коінтеграція-Авторегресія-Економетрія", де у нас є три процеси: Х1 т=∑i = 1тϵ1 i+ϵ2 тХ1т=∑i=1тϵ1i+ϵ2тX_{1t} = \sum_{i=1}^t \epsilon_{1i} + \epsilon_{2t} Х2 т= α∑i = 1тϵ1 i+ϵ3 тХ2т=α∑i=1тϵ1i+ϵ3т X_{2t} = \alpha \sum_{i=1}^t \epsilon_{1i} + \epsilon_{3t} …

9 self-study  cointegration  vecm 

Я намагаюся зрозуміти, як отримати -значення для однобічного тесту Колмогорова-Смірнова , і я намагаюся знайти CDF для і у випадку двох зразків. Нижче в кількох місцях цитується як CDF для у випадку одного зразка:pppD+n1,n2Dn1,n2+D^{+}_{n_{1},n_{2}}D−n1,n2Dn1,n2−D^{-}_{n_{1},n_{2}}D+nDn+D^{+}_{n} p+n(x)=P(D+n≥x|H0)=x∑j=0⌊n(1−x)⌋(nj)(jn+x)j−1(1−x−jn)n−jpn+(x)=P(Dn+≥x|H0)=x∑j=0⌊n(1−x)⌋(nj)(jn+x)j−1(1−x−jn)n−jp^{+}_{n}\left(x\right) = \text{P}\left(D^{+}_{n} \ge x | \text{H}_{0}\right) = x\sum_{j=0}^{\lfloor n\left(1-x\right)\rfloor}{ \binom{n}{j} \left(\frac{j}{n}+x\right)^{j-1}\left(1 - x - \frac{j}{n}\right)^{n-j}} …

9 self-study  kolmogorov-smirnov  cdf