Статистика та великі дані

Питання та відповіді для людей, зацікавлених у статистиці, машинному навчанні, аналізі даних, інтелектуальному аналізу даних та візуалізації даних

5
Чи варто вчити куртозу в курсі прикладної статистики? Якщо так, то як?
Центральну тенденцію, розповсюдженість та хиткість можна визначити відносно добре, принаймні на інтуїтивній основі; стандартні математичні міри цих речей також відносно добре відповідають нашим інтуїтивним уявленням. Але, здається, куртоз відрізняється. Це дуже заплутано і не відповідає добре інтуїції щодо форми розподілу. Типовим поясненням куртозу в застосованих умовах буде цей витяг із …

3
Коли я не повинен використовувати класифікатор ансамблю?
Загалом, у проблемі класифікації, де мета - точно передбачити вибіркову приналежність до класу, коли я не повинен використовувати класифікатор ансамблю? Це питання тісно пов'язане з тим, чому б не завжди використовувати ансамблеве навчання? . Це питання задає, чому ми не використовуємо ансамблі весь час. Хочеться знати, чи є випадки, коли …

3
Чи має описова статистика р-значення?
Мене просять знайти р-значення для описової статистики. Однак я розумію, що значення p призначені для тестової статистики. Якщо я не помиляюся, р-значення - це ймовірність спостереження за величиною такою ж екстремальною, як і тестова статистика, якщо нульова гіпотеза була правдивою.

2
Різниця між регресійним аналізом та підгоном кривої
Чи може хто-небудь, будь ласка, пояснити мені реальну різницю між регресійним аналізом та приміркою кривої (лінійною та нелінійною), якщо це можливо? Схоже, що обидва намагаються знайти залежність між двома змінними (залежною від незалежної), а потім визначити параметр (або коефіцієнт), пов'язаний із запропонованими моделями. Наприклад, якщо у мене є набір даних, …

1
Малювання n інтервалів рівномірно випадковим чином, ймовірність того, що принаймні один інтервал перекривається з усіма іншими
Випадково намалюйте nnn інтервалів від [ 0 , 1 ][0,1][0,1] , де кожна кінцева точка A, B вибирається з рівномірного розподілу між .[ 0 , 1 ][0,1][0,1] Яка ймовірність того, що хоча б один інтервал перетинається з усіма іншими?

1
Які теоретичні гарантії пакування
Я (приблизно) чув, що: пакетування - це методика зменшення дисперсії алгоритму прогнозування / оцінки / навчання. Однак я ніколи не бачив формального математичного підтвердження цього твердження. Хтось знає, чому це математично вірно? Це, мабуть, є таким широко прийнятим / відомим фактом, що я очікую прямого посилання на це. Я був …

1
Як розрахувати інтервали прогнозування для LOESS?
У мене є деякі дані, які я встановив, використовуючи модель LOESS в R, давши мені це: Дані мають один предиктор і одну відповідь, і вони є гетеросептичними. Я також додав інтервали довіри. Проблема полягає в тому, що інтервали - це довірчі інтервали для лінії, тоді як мене цікавлять інтервали прогнозування. …

2
Що таке інтуїтивне пояснення мереж Echo State?
Я новачок у періодичних нейронних мережах (RNN) і все ще вивчаю ці концепції. На абстрактному рівні я розумію, що мережа Echo State (ESN) здатна (повторно) виробляти послідовність входів, тобто сигнал, навіть після видалення входу. Однак, мені здалося, що стаття про Академію занадто складна, щоб зрозуміти та зрозуміти її повністю. Може …

2
Приклад для попереднього, що на відміну від Джеффріса, веде до задньої частини, яка не є інваріантною
Я відкладаю "відповідь" на питання, яке я дав десь два тижні тому: Чому корисність "Джеффріс" корисна? Це справді було питання (і я тоді не мав права публікувати коментарі), тому я сподіваюся, що це нормально: У посиланні вище обговорюється, що цікавою особливістю Джефріса до цього є те, що при перемодуванні моделі …

2
Який розподіл
У мене є чотири незалежні рівномірно розподілені змінні a,b,c,da,b,c,da,b,c,d , кожна в [0,1][0,1][0,1] . Я хочу обчислити розподіл (a−d)2+4bc(a−d)2+4bc(a-d)^2+4bc . Я обчислив розподіл u2=4bcu2=4bcu_2=4bc щоб було f2(u2)=−14lnu24f2(u2)=−14ln⁡u24f_2(u_2)=-\frac{1}{4}\ln\frac{u_2}{4} (отже,u2∈(0,4]u2∈(0,4]u_2\in(0,4]), аu1=(a−d)2u1=(a−d)2u_1=(a-d)^2будеf1(u1)=1−u1−−√u1−−√.f1(u1)=1−u1u1.f_1(u_1)=\frac{1-\sqrt{u_1}}{\sqrt{u_1}}.Тепер розподіл сумиu1+u2u1+u2u_1+u_2дорівнює (u1,u2u1,u2u_1,\, u_2 також незалежні)fu1+u2(x)=∫+∞−∞f1(x−y)f2(y)dy=−14∫401−x−y−−−−√x−y−−−−√⋅lny4dy,fu1+u2(x)=∫−∞+∞f1(x−y)f2(y)dy=−14∫041−x−yx−y⋅ln⁡y4dy,f_{u_1+u_2}(x)=\int_{-\infty}^{+\infty}f_1(x-y)f_2(y)dy=-\frac{1}{4}\int_0^4\frac{1-\sqrt{x-y}}{\sqrt{x-y}}\cdot\ln\frac{y}{4}dy,тому щоy∈(0,4]y∈(0,4]y\in(0,4]. Тут має бутиx>yx>yx>yтому інтеграл дорівнюєfu1+u2(x)=−14∫x01−x−y−−−−√x−y−−−−√⋅lny4dy.fu1+u2(x)=−14∫0x1−x−yx−y⋅ln⁡y4dy.f_{u_1+u_2}(x)=-\frac{1}{4}\int_0^{x}\frac{1-\sqrt{x-y}}{\sqrt{x-y}}\cdot\ln\frac{y}{4}dy.Тепер я вставляю його в Mathematica і отримую, щоfu1+u2(x)=14[−x+xlnx4−2x−−√(−2+lnx)].fu1+u2(x)=14[−x+xln⁡x4−2x(−2+ln⁡x)].f_{u_1+u_2}(x)=\frac{1}{4}\left[-x+x\ln\frac{x}{4}-2\sqrt{x}\left(-2+\ln x\right)\right]. …

2
Для яких (симетричних) розподілів вибірка означає більш ефективний оцінювач, ніж середня вибірка?
Я працював, вважаючи, що медіана вибірки є більш міцною мірою центральної тенденції, ніж середня вибірка, оскільки вона ігнорує людей, що втратили похилого віку. Тому я був здивований, дізнавшись (у відповіді на інше запитання ), що для зразків, узятих із звичайного розподілу, дисперсія середньої вибірки менша, ніж дисперсія середньої вибірки (принаймні …


3
Чому ми розділяємо стандартне відхилення, а не якийсь інший стандартизуючий коефіцієнт, перш ніж робити PCA?
Я читав таке обґрунтування (із записів до курсу cs229) про те, чому ми ділимо вихідні дані на його стандартне відхилення: незважаючи на те, що я розумію, про що йдеться в поясненні, мені незрозуміло, чому поділ на стандартне відхилення дозволить досягти такої мети. Це говорить так, що всі більше на тій …

2
Співвідношення чорнила та даних та фони ділянок
Я помітив, що багато "найсучасніших" графічних пакетів та тем, а також багато шановних людей використовують сірий фон для своїх сюжетів. Ось кілька прикладів: ggplot2: Nete ​​Silver's Fivethirtyeight.com: Хоча у першому прикладі вище (ggplot2) можна стверджувати, що використання сірого фону зменшує чорнило, необхідне для ліній сітки, це, звичайно, не так у …

1
Імовірність журналу проти добутку ймовірностей
Відповідно до цієї статті у вікіпедії , можна представити добуток ймовірностей x⋅yяк -log(x) - log(y)зробити обчислення більш обчислювально оптимальними. Але якщо я спробую приклад, скажіть: p1 = 0.5 p2 = 0.5 p1 * p2 = 0.25 -log(p1) - log(p2) = 2 p3 = 0.1 p4 = 0.1 p3 * p4 …

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.