Статистика та великі дані

Стислий підсумок Чому частіше застосовується логістична регресія (з коефіцієнтом шансів) у когортних дослідженнях з бінарними результатами, на відміну від регресії Пуассона (з відносними ризиками)? Фон На моєму досвіді курси статистики та епідеміології бакалавратів та випускників, як показує мій досвід, зазвичай вчать, що логістичну регресію слід використовувати для моделювання даних з …

42 logistic  poisson-distribution  epidemiology  odds-ratio  relative-risk 

Аналіз основних компонентів може використовувати матричне розкладання, але це лише інструмент для того, щоб потрапити. Як би ви знайшли основні компоненти без використання матричної алгебри? Що таке об'єктивна функція (мета) та які обмеження?

42 pca 

У мене є випадкова вибірка випадкових змінних Бернуллі , де X i - iidrv і P ( X i = 1 ) = p , а p - невідомий параметр.Х1. . . ХNX1...XNX_1 ... X_NХiXiX_iП( Xi= 1 ) = рP(Xi=1)=pP(X_i = 1) = pppp Очевидно, що можна знайти оцінку для …

42 confidence-interval  binomial  bernoulli-distribution 

Я розумію різницю між машинним навчанням / іншими методами статистичного прогнозування та типом статистики, яку використовують вчені-соціологи (наприклад, економісти) в тому, що економісти, схоже, дуже зацікавлені в розумінні ефекту однієї чи кількох змінних - і з точки зору величини та виявлення, чи є зв’язок причинним. Для цього ви закінчуєте експериментальні …

42 machine-learning  econometrics 

Зараз я читаю документ про місце голосування та перевагу голосування на виборах 2000 та 2004 років. У ній є діаграма, яка відображає коефіцієнти логістичної регресії. З курсів років назад і трохи читаючи, Я розумію, що логістична регресія є способом опису взаємозв'язку між декількома незалежними змінними та бінарною змінною відповіді. Що …

42 regression  logistic  interpretation 

Мені цікаво, чи хтось міг би запропонувати, які є хорошими вихідними пунктами, коли справа стосується виявлення спільноти / розподілу / кластеризації графіка на графіку, який має зважені , непрямі краї. Графік, про який йде мова, має приблизно 3 мільйони ребер, і кожен край виражає ступінь подібності між двома вершинами, які …

42 clustering  data-visualization  networks  partitioning  modularity 

Окрім прийняття відмінностей, які ще методики нестаціонарного часового ряду є нерухомими? Як правило, серія називається " інтегрованою до порядку p ", якщо її можна зробити нерухомою через оператор відставання .( 1 - L )ПХт(1−L)PXt(1-L)^P X_t

42 time-series  stationarity 

На моєму робочому місці працюють співробітники з дуже широкого спектру дисциплін, тому ми генеруємо дані в безлічі різних форм. Отже, кожна команда розробила власну систему зберігання даних. Деякі використовують бази даних Access або SQL; деякі команди (на моє жах) майже повністю залежать від електронних таблиць Excel. Часто формати даних змінюються …

42 dataset  reproducible-research  quality-control 

Як я повинен отримати попередні розповсюдження від експертів під час встановлення байєсівської моделі?

42 bayesian  prior  elicitation 

Я зазвичай чую про "звичайні найменші квадрати". Це найпоширеніший алгоритм, що використовується для лінійної регресії? Чи є причини використовувати інший?

42 regression  least-squares  algorithms  computational-statistics  numerics 

Припустимо, я хочу вивчити класифікатор, який передбачає, чи електронний лист є спамом. І припустимо, що лише 1% електронних листів - це спам. Найпростіше зробити це - дізнатися тривіальний класифікатор, який говорить, що жоден з електронних листів не є спамом. Цей класифікатор дав би нам 99% точності, але він не дізнався …

42 machine-learning  classification 

Є два булеві вектори, які містять лише 0 і 1. Якщо я обчислюю співвідношення Пірсона чи Спірмена, вони є осмисленими чи розумними?

42 correlation  binary-data  pearson-r  spearman-rho 

У мене є питання про те, який найкращий спосіб вказати взаємодію в регресійній моделі. Розглянемо наступні дані: d <- structure(list(r = structure(c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L), .Label = c("r1","r2"), class = "factor"), s = structure(c(1L, …

42 r  regression  interaction 

Я хотів би знайти співвідношення між суцільною (залежною змінною) та категоріальною (номінальною: стать, незалежна змінна) змінною. Постійні дані зазвичай не поширюються. Раніше я обчислював це за допомогою Spearman . Однак мені сказали, що це неправильно.ρρ\rho Під час пошуку в Інтернеті я виявив, що boxplot може дати уявлення про те, наскільки …

42 correlation  categorical-data  descriptive-statistics  biostatistics  spearman-rho 

Я намагаюся інтерпретувати змінні ваги, задані встановленням лінійного SVM. (Я використовую scikit-learn ): from sklearn import svm svm = svm.SVC(kernel='linear') svm.fit(features, labels) svm.coef_ Я не можу знайти нічого в документації, яка б конкретно вказувала, як обчислюються чи тлумачаться ці ваги. Чи має ознака ваги щось спільне з класом?

42 svm  feature-selection  python  scikit-learn