Статистика та великі дані

Чи є еквівалент середньої формули: m e a n =1N∑i = 1NХimean=1N∑i=1NXi\begin{equation} \mathrm{mean} = \cfrac{1}{N} \sum_{i=1}^{N} X_i \end{equation} для медіани?

10 median  definition 

Як приклад, я часто зустрічаю студентів, які знають, що спостережуване є упередженим оцінювачем населення . Потім, пишучи свої звіти, вони говорять про такі речі:R2R2R^2R2R2R^2 "Я обчислив спостережувані та скориговані , і вони були досить схожими, що передбачає лише невелику кількість зміщення в отриманому нами значення спостережуваного ".R2R2R^2R2R2R^2R2R2R^2 Я розумію, що, …

10 mathematical-statistics  terminology  bias  estimators 

Я розумію, що в лінійній регресії помилки вважаються нормально розподіленими, що залежать від прогнозованого значення y. Тоді ми розглядаємо залишки як своєрідний проксі для помилок. Це часто рекомендується для створення виведення , як це: . Однак я не розумію, у чому сенс отримання залишків для кожної точки даних та об'єднання …

10 regression  assumptions 

Я намагаюся навчити глибоку нейронну мережу для класифікації, використовуючи зворотне поширення. Зокрема, я використовую звивисту нейронну мережу для класифікації зображень, використовуючи бібліотеку потоків тензорів. Під час тренувань я відчуваю якусь дивну поведінку, і мені просто цікаво, чи це типово, чи я можу робити щось не так. Отже, моя конволюційна нейронна …

10 machine-learning  classification  neural-networks  conv-neural-network  tensorflow 

Коротке запитання: чи існує розподіл жиру на пальці? Я впевнений, що якщо він існує, то він має іншу назву. Я не знаю, як сформулювати це як аналітичну функцію. Чи можете ви мені допомогти або знайти існуючу версію, або почати розробляти її в чомусь більш чистому, ніж гігантське моделювання? Це розподіл …

10 distributions  simulation 

Чи має значення PCA, якщо ми вибираємо основні компоненти матриці зворотної коваріації АБО, якщо ми відкидаємо власні вектори матриці коваріації, що відповідають великим власним значенням? Це пов’язано з обговоренням у цій публікації .

10 machine-learning  pca  computational-statistics 

Я намагаюся трохи заглибитись у статистику, але я щось застряг. Мої дані такі: Year Number_of_genes 1990 1 1991 1 1993 3 1995 4 Тепер я хочу побудувати регресійну модель, щоб можна було передбачити кількість генів за будь-який рік на основі даних. Я робив це з лінійною регресією до цих пір, …

10 regression  count-data  poisson-regression 

Швидке запитання: Я бачив, як Коен розраховував два різні способи для тестування залежних зразків (наприклад, в рамках зразків, що перевіряють ефективність ліків із термінами до / після). Використовуючи стандартне відхилення оцінки зміни в знаменнику рівняння для d Коена. Використовуючи стандартне відхилення попереднього тесту в знаменнику рівняння для d Коена. Я …

10 t-test  effect-size 

Нещодавно я почав використовувати випробування з виборкою важливістю Pareto важливої ​​вибіркової перехресної перевірки (PSIS-LOO), описаної в цих роботах: Vehtari, A., & Gelman, A. (2015). Парето вирівнював важливість вибірки. додрук arXiv ( посилання ). Vehtari, A., Gelman, A., & Gabry, J. (2016). Практичне оцінювання байесівської моделі з використанням перехресної валідації "відключення" …

10 machine-learning  cross-validation  mcmc  pareto-distribution  importance-sampling 

Нехай - незалежні спостереження з розподілу, що має середнє значення та дисперсію , коли , тоX1,...,XnX1,...,XnX_1,...,X_nμμ\muσ2&lt;∞σ2&lt;∞\sigma^2 < \inftyn→∞n→∞n \rightarrow \infty n−−√X¯n−μσ→N(0,1).nX¯n−μσ→N(0,1).\sqrt{n}\frac{\bar{X}_n-\mu}{\sigma} \rightarrow N(0,1). Чому це означає, що X¯n∼N(μ,σ2n)?X¯n∼N(μ,σ2n)?\bar{X}_n \sim N\left(\mu, \frac{\sigma^2}{n}\right)?

10 probability  central-limit-theorem 

Які звичні підходи до моделювання бінарних часових рядів? Чи є папір чи текстова книга, де це обробляється? Я думаю про бінарний процес із сильним автокореляцією. Щось на зразок ознаки процесу AR (1), що починається з нуля. Скажіть і з білим шумом . Тоді двійковий часовий ряд визначений Y_t = \ …

10 regression  time-series  logistic  binary-data  autoregressive 

Чи є тест гіпотези про те, чи нормально розподілена залежна змінна асоціюється з напрямною розподіленою змінною? Наприклад, якщо час доби є пояснювальною змінною (а припустимо, що такі речі, як день тижня, місяць року тощо, не мають значення), - це як врахувати той факт, що 11 вечора на 22 години випереджає …

10 hypothesis-testing  modeling  circular-statistics 

Я треную логістичну регресію, щоб передбачити, які бігуни, швидше за все, закінчать виснажливу гонку на витривалість. Дуже мало бігунів завершують цю гонку, тому у мене важкий класовий дисбаланс і невеликий зразок успіхів (можливо, кілька десятків). Я відчуваю, що міг би отримати якийсь гарний "сигнал" від десятків бігунів, які ледь не …

10 logistic  binary-data  continuous-data 

Підтримка векторних машин з радіально-базовим функціональним ядром є класифікатором, що контролюється загальним призначенням. Хоча я знаю теоретичні основи цих СВМ та їхніх сильних моментів, я не знаю випадків, коли вони є кращим методом. Отже, чи існує клас проблем, за допомогою яких RBF SVM перевершує інші методи ML? (Або з точки …

10 machine-learning  logistic  classification  svm  random-forest 

Я бачив багато випадків, коли помилки типу I обліковуються (позначаються альфа-значенням) у різних наукових статтях. Я рідко зустрічав, що дослідник враховує потужність або помилку типу II. Помилки типу II можуть бути великою справою? Ми випадково відкинули альтернативну гіпотезу, коли вона була насправді помилковою. Чому значення альфа так наголошуються замість значень …

10 hypothesis-testing  type-i-and-ii-errors