Статистика та великі дані

Питання та відповіді для людей, зацікавлених у статистиці, машинному навчанні, аналізі даних, інтелектуальному аналізу даних та візуалізації даних

2
Як покращити час роботи для внесення даних R MICE
Моє запитання коротко: чи існують методи покращити час роботи R MICE (внесення даних)? Я працюю з набором даних (30 змінних, 1,3 мільйона рядків), який містить (цілком випадково) відсутні дані. Близько 8% спостережень у приблизно 15 із 30 змінних містять НС. Для того щоб імпулювати відсутні дані, я виконую функцію MICE, …

3
Моделюйте змінну Бернуллі з вірогідністю за допомогою упередженої монети
Може хтось скаже мені, як імітувати , де a, b \ in \ mathbb {N} , використовуючи викидання монети (стільки разів, скільки потрібно) з P (H) = p ?Bernoulli(ab)Bernoulli(ab)\mathrm{Bernoulli}\left({a\over b}\right)a,b∈Na,b∈Na,b\in \mathbb{N}P(H)=pP(H)=pP(H)=p Я думав використовувати вибірку відхилення, але не зміг її зняти.

2
Сила леді дегустації експерименту з чаєм
У відомому експерименті Фішера спостережуваний є кількістю скоригованого отгаданнога чашки мають два виду чашки і . Зазвичай цікаво обчислити критичну область, щоб відкинути нульову гіпотезу (леді випадково здогадується), враховуючи розмір тесту . Це легко зробити за допомогою гіпергеометричного розподілу. Таким же чином я можу обчислити розмір тесту з урахуванням критичної …


2
Чи завжди оцінювачі дерев упереджені?
Я роблю домашнє завдання з «Дерева рішень», і одне з питань, на яке я маю відповісти, - «Чому оцінювачі побудовані з дерев упереджено, і як мішок допомагає зменшити їх відмінність?». Тепер я знаю, що переоснащені моделі, як правило, мають дуже низький ухил, оскільки вони намагаються вмістити всі точки даних. І …
9 cart  bias 

1
Що означає інтегрувати через випадкову міру?
Я зараз переглядаю статтю моделі випадкових ефектів процесу Діріхле, і специфікація моделі така: уiψiГ=Хiβ+ψi+ϵi∼ Г∼ D P( α ,Г0)уi=Хiβ+ψi+ϵiψi∼ГГ∼DП(α,Г0) \begin{align*}y_{i} &= X_{i}\beta + \psi_{i} + \epsilon_{i}\\ \psi_{i} &\sim G \\ G &\sim \mathcal{DP}\left(\alpha, G_{0}\right) \end{align*} де αα\alpha - параметр масштабу і Г0Г0G_{0}є базовим заходом. Згодом у статті пропонується інтегрувати функцію …

2
Як змінюється подібність косинусу після лінійного перетворення?
Чи є математичний зв’язок між: косинусна схожість ім'я двох векторів і , ісим( A , B )sim⁡(A,B)\operatorname{sim}(A, B)АAAБBB косинус подібності з і , неоднорідне масштабується з допомогою даної матриці ? Тут - задана діагональна матриця з нерівними елементами по діагоналі.сим( МА , МБ )sim⁡(MA,MB)\operatorname{sim}(MA, MB)АAAБBBМMMМMM Я намагався пройти обчислення, але …

1
Що означає клиноподібна форма сюжету PCA?
У своїй роботі по автоассоціатор для тексту класифікації Хінтон і Салахутдинов показав сюжет , отриманий на 2-мірної LSA (який тісно пов'язаний з PCA) . Застосовуючи PCA до абсолютно різних злегка високих розмірних даних, я отримав подібний зовнішній вигляд: (за винятком цього випадку я дуже хотів знати, чи є якась внутрішня …

1
Яка хороша сучасна книга / ресурс у передових експериментах?
Я шукаю ресурси (не повинно бути жодної книги), які б охоплювали деякі більш складні випадки експериментального проектування та статистичного аналізу. Деякі випадки, які я хотів би охопити: 1. Випадки, коли одиниці рандомізації відрізняються від одиниць аналізу Приклад: я запускаю платформу електронної комерції з M продавцями та N покупцями, я хочу …

1
Коли правильно написати «ми припустили нормальний розподіл» емпіричного вимірювання?
У викладанні прикладних дисциплін, таких як медицина, закладено, що вимірювання біомедичних величин у населенні дотримуються нормальної "кривої дзвону". Пошук в рядку Google "ми припустили нормальний розподіл" повертає результатів! Вони звучать як "з огляду на малу кількість крайніх точок даних, ми припустили нормальне розподіл температурних аномалій" у дослідженні зміни клімату; або …

2
Порівняння між оцінками Байєса
Розглянемо квадратичну втрату , з попередньо заданим де . Нехай ймовірність. Знайдіть оцінку Байєса .L(θ,δ)=(θ−δ)2L(θ,δ)=(θ−δ)2L(\theta,\delta)=(\theta-\delta)^2π(θ)π(θ)\pi(\theta)π(θ)∼U(0,1/2)π(θ)∼U(0,1/2)\pi(\theta)\sim U(0,1/2)f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|\theta)=\theta x^{\theta-1}\mathbb{I}_{[0,1]}(x), \theta>0δπδπ\delta^\pi Розглянемо зважені квадратичні втрати де з попереднім . Нехай - вірогідність. Знайдіть оцінку Байєса .Lw(θ,δ)=w(θ)(θ−δ)2Lw(θ,δ)=w(θ)(θ−δ)2L_w(\theta,\delta)=w(\theta)(\theta-\delta)^2w(θ)=I(−∞,1/2)w(θ)=I(−∞,1/2)w(\theta)=\mathbb{I}_{(-\infty,1/2)}π1(θ)=I[0,1](θ)π1(θ)=I[0,1](θ)\pi_1(\theta)=\mathbb{I}_{[0,1]}(\theta)f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|\theta)=\theta x^{\theta-1}\mathbb{I}_{[0,1]}(x), \theta>0δπ1δ1π\delta^\pi_1 Порівняйте іδπδπ\delta^\piδπ1δ1π\delta^\pi_1 Спочатку я помітив, що , і я припустив, що така ймовірність, інакше я …

2
Довідка в очікуванні Максимізація з паперу: як включити попередній розподіл?
Питання грунтується на роботі під назвою: Реконструкція зображення в дифузній оптичній томографії за допомогою зв'язаної моделі радіаційного транспорту-дифузії. Посилання для завантаження Автори застосовують алгоритм ЕМ з регуляризацією розрідженості невідомого вектораl1l1l_1μμ\muдля оцінки пікселів зображення. Модель задана y=Aμ+e(1)(1)y=Aμ+ey=A\mu + e \tag{1} Оцінка наведена у рівнянні (8) як μ^=argmaxlnp(y|μ)+γlnp(μ)(2)(2)μ^=arg⁡maxln⁡p(y|μ)+γln⁡p(μ)\hat{\mu} = \arg max {\ln …

2
Прогнозування впевненості нейронної мережі
Припустимо, я хочу навчити глибоку нейронну мережу для класифікації або регресії, але хочу знати, наскільки впевненим буде прогноз. Як я міг цього досягти? Моя ідея - обчислити перехресну ентропію для кожної навчальної дати, виходячи з її прогнозованої ефективності в нейронних метрах вище. Тоді я би тренував другу нейронну мережу для …

1
Алгебраїчні класифікатори, додаткова інформація?
Я прочитав алгебраїчні класифікатори: загальний підхід до швидкої перехресної валідації, навчання в Інтернеті та паралельне навчання і був вражений виконанням похідних алгоритмів. Однак, схоже, що за межами Naive Bayes (та GBM) не так багато алгоритмів, адаптованих до фреймворку. Чи є інші документи, які працювали над різними класифікаторами? (СВМ, випадкові ліси)

2
1D згортка в нейронних мережах
Я розумію, як працює згортка, але я не розумію, як 1D згортки застосовуються до 2D даних. У цьому прикладі ви можете бачити 2D згортку в 2D даних. Але як би це було, якби 1D згортка? Просто 1D ядро ​​ковзає таким же чином? А якщо кроку було 2? Дякую!

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.