Статистика та великі дані

Питання та відповіді для людей, зацікавлених у статистиці, машинному навчанні, аналізі даних, інтелектуальному аналізу даних та візуалізації даних

1
Як дітям вдається зібрати батьків у проекції PCA набору даних GWAS?
Візьміть 20 випадкових точок у 10-мірному просторі з кожною координатною лінією від N( 0 , 1 )N(0,1)\mathcal N(0,1). Розділіть їх на 10 пар ("пари") і додайте до набору даних середнє значення кожної пари ("дитина"). Потім зробіть PCA на отриманих 30 очках і побудуйте графік PC1 проти PC2. Відбувається чудова річ: …

1
Яка проблема чи гра - оптимальні рішення варіабельності та стандартного відхилення?
Для даної випадкової величини (або сукупності, або стохастичного процесу) математичне очікування є відповіддю на питання Який бальний прогноз мінімізує очікувані квадратні втрати? . Крім того, це оптимальне рішення для гри Вгадайте наступну реалізацію випадкової величини (або нове розіграш у сукупності), і я покараю вас за відстань у квадраті між значенням …

3
Регресування залишків логістичної регресії на інших регресорах
За допомогою регресії OLS, застосованої для безперервної реакції, можна скласти рівняння множинної регресії шляхом послідовно запущених регресій залишків на кожному коваріаті. Моє запитання: чи існує спосіб це зробити за допомогою логістичної регресії через залишки логістичної регресії ? Тобто, якщо я хочу оцінити використовуючи стандартний узагальнений підхід лінійного моделювання, чи є …

5
Чому сума ймовірностей при безперервному рівномірному розподілі не є нескінченною?
Функція щільності ймовірності рівномірного розподілу (безперервного) показана вище. Площа під кривою дорівнює 1 - що має сенс, оскільки сума всіх ймовірностей при розподілі ймовірностей дорівнює 1. Формально вищевказану функцію ймовірності (f (x)) можна визначити як 1 / (ba) для x в [a, b] і 0 в іншому випадку Вважайте, що …

1
Моя нейронна мережа навіть не може вивчити евклідову відстань
Тому я намагаюся навчити себе нейронних мереж (для регресійних застосувань, а не для класифікації зображень котів). Першими моїми експериментами було навчання мережі для впровадження фільтра FIR та дискретної трансформації Фур'є (тренування сигналів "до" та "після"), оскільки це обидві лінійні операції, які можуть бути реалізовані одним шаром без функції активації. Обидва …

2
Який найпотужніший результат щодо максимуму гайдаків? Найбільше використовується на практиці?
З огляду на , розглянути випадкові величиниX1,…,Xn,…∼N(0,1)X1,…,Xn,…∼N(0,1)X_1, \ldots, X_n, \ldots \sim \mathscr{N}(0,1) Zn:=max1≤i≤nXi.Zn:=max1≤i≤nXi. Z_n := \max_{1 \le i \le n} X_i\,. Питання: Який найважливіший результат щодо цих випадкових величин? Для уточнення "важливості", який результат має найбільше інших таких результатів як логічний наслідок? Який із результатів використовується найчастіше на практиці? Більш …

1
Обмежується різницею корельованих випадкових величин
З огляду на дві сильно корельовані випадкові величини і , я хотів би обмежити ймовірність того, що різницяперевищує деяку кількість: XXXYYY|X−Y||X−Y| |X - Y| P(|X−Y|&gt;K)&lt;δP(|X−Y|&gt;K)&lt;δ P( |X - Y| > K) < \delta Припустимо для простоти, що: Відомо, що коефіцієнт кореляції "високий", скажімо: ρX,Y=covar(X,Y)/σXσY≥1−ϵρX,Y=covar(X,Y)/σXσY≥1−ϵ \rho_{X,Y}= {covar(X,Y)} / {\sigma_X \sigma_Y} \geq …

2
Підвищення мінімального оцінювача
Припустимо, у мене є позитивних параметрів для оцінки та їх відповідних об'єктивних оцінок, отриманих оцінювачами , тобто , тощо.nnnμ1,μ2,...,μnμ1,μ2,...,μn\mu_1,\mu_2,...,\mu_nnnnμ1^,μ2^,...,μn^μ1^,μ2^,...,μn^\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}E[μ1^]=μ1E[μ1^]=μ1\mathrm E[\hat{\mu_1}]=\mu_1E[μ2^]=μ2E[μ2^]=μ2\mathrm E[\hat{\mu_2}]=\mu_2 Я хотів би оцінити за допомогою оцінок, що знаходяться під рукою. Очевидно, що наївний оцінювач зміщений нижче, ніж min(μ1,μ2,...,μn)min(μ1,μ2,...,μn)\mathrm{min}(\mu_1,\mu_2,...,\mu_n)min(μ1^,μ2^,...,μn^)min(μ1^,μ2^,...,μn^)\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})E[min(μ1^,μ2^,...,μn^)]≤min(μ1,μ2,...,μn)E[min(μ1^,μ2^,...,μn^)]≤min(μ1,μ2,...,μn)\mathrm E[\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]\leq \mathrm{min}(\mu_1,\mu_2,...,\mu_n) Припустимо, у мене також є матриця коваріації відповідних …

3
Незалежність статистики від розподілу гамми
НехайX1,...,XnX1,...,XnX_1,...,X_nбути випадковою вибіркою з розподілу гами .Gamma(α,β)Gamma(α,β)\mathrm{Gamma}\left(\alpha,\beta\right) Нехай і - середня вибірка та дисперсія вибірки відповідно.X¯X¯\bar{X}S2S2S^2 Потім доведіть або спростуйте, що і є незалежними.X¯X¯\bar{X}S2/X¯2S2/X¯2S^2/\bar{X}^2 Моя спроба: оскільки , нам потрібно перевірити незалежність і , але як я повинен встановити незалежність між ними?S2/X¯2=1n−1∑ni=1(XiX¯−1)2S2/X¯2=1n−1∑i=1n(XiX¯−1)2S^2/\bar{X}^2 = \frac{1}{n-1} \sum_{i=1}^n \left(\frac{X_i}{\bar{X}}-1\right)^2 X¯X¯\bar{X}(XiX¯)ni=1(XiX¯)i=1n\left(\frac{X_i}{\bar{X}} \right)_{i=1}^{n}

3
Бактерії, зібрані на пальцях після декількох поверхневих контактів: ненормальні дані, повторні заходи, схрещені учасники
Вступ У мене є учасники, які неодноразово торкаються забруднених поверхонь кишковою паличкою за двох умов ( А = носіння рукавичок, В = рукавички відсутні). Хочу знати, чи є різниця між кількістю бактерій на кінчиках пальців із рукавичками та без них, а також між кількістю контактів. Обидва фактори є всередині учасника. …

2
Чи можемо ми відкинути нульову гіпотезу з довірчими інтервалами, отриманими за допомогою вибірки, а не з нульовою гіпотезою?
Мене вчили, що ми можемо дати оцінку параметрів у вигляді довірчого інтервалу після вибірки з популяції. Наприклад, 95% довірчі інтервали, без порушених припущень, повинні мати 95% успішність вмісту того, що б істинний параметр, який ми оцінюємо, у сукупності. Тобто, Складіть бальну оцінку з вибірки. Визначте діапазон значень, який теоретично має …

1
Генеруйте випадкову змінну із заданими моментами
Я знаю перші моментів деякого розподілу. Я також знаю, що мій розподіл є безперервним, одномодальним і добре сформованим (це схоже на гамма-розподіл). Чи можливо:NNN Використовуючи якийсь алгоритм, генеруйте з цього розподілу зразки, які в граничних умовах матимуть абсолютно однакові моменти? Вирішити цю проблему аналітично? Я розумію, що поки у мене …

2
Уніфікований PDF різниці двох оборотів
Чи можливо, щоб PDF різницю двох iid rv виглядав як прямокутник (замість, скажімо, трикутника, який ми отримуємо, якщо rv взяті з рівномірного розподілу). тобто чи можливо для PDF f jk (для двох iid rv, взятих з деякого розподілу) f (x) = 0,5 для всіх -1 &lt;x &lt;1? Існує ніяких обмежень …

3
Прогнозування декількох періодів за допомогою машинного навчання
Нещодавно я переробив свої знання в Time Series і зрозумів, що машинне навчання здебільшого дає лише на крок попереду прогнози. Під прогнозами на крок вперед я маю на увазі прогнози, які, наприклад, якщо ми маємо погодинні дані, використовують дані з 10 ранку до прогнозу 11 ранку та 11 ранку до …

3
Чи вимагає оцінка Байєса, щоб істинний параметр був можливою змінною попереднього?
Це може бути трохи філософським питанням, але тут ми ідемо: В теорії рішень ризик оцінки Байєса для визначається стосовно попереднього розподілу на .θ^(x)θ^(x)\hat\theta(x)θ∈Θθ∈Θ\theta\in\Thetaππ\piΘΘ\Theta Тепер, з одного боку, для того, щоб справжня генерувала дані (тобто "існує"), повинна бути можливою змінною під , наприклад, мати ненульову ймовірність, ненульову щільність тощо; з іншого …

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.