Статистика та великі дані

Моє запитання можна переосмислити як "як оцінити помилку вибірки за допомогою великих даних", особливо для публікації журналу. Ось приклад для ілюстрації виклику. З дуже великого набору даних (> 100000 унікальних пацієнтів та їх призначених ліків із 100 лікарень) я зацікавився оцінити частку пацієнтів, які приймають конкретний препарат. Отримати цю пропорцію …

14 confidence-interval  large-data  reporting 

Скажіть, нас цікавить, як на оцінку студентських іспитів впливає кількість годин, які вивчають ці студенти. Щоб дослідити цей взаємозв'язок, ми могли б запустити таку лінійну регресію: exam.gradesi=a+β1×hours.studiedi+eiexam.gradesi=a+β1×hours.studiedi+ei \text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + e_i Але якщо ми відіб’ємо учнів з кількох різних шкіл, ми можемо очікувати, що учні …

14 regression  mixed-model  random-effects-model  non-independent 

Передумови: Зараз я виконую деяку роботу, порівнюючи різні ієрархічні моделі Баєса. Дані це числові показники добробуту для учасника i та часу j . У мене близько 1000 учасників і від 5 до 10 спостережень на кожного учасника.уi jуijy_{ij}iiijjj Як і у більшості поздовжніх наборів даних, я очікую побачити певну форму …

14 bayesian  autocorrelation  hierarchical-bayesian  deviance 

Я знаю, що при логістичній регресії виявляється гіперплан, який розділяє навчальні зразки. Я також знаю, що векторні машини підтримки знаходять гіперплан з максимальним запасом. Моє запитання: чи різниця між логістичною регресією (LR) та машинами підтримки вектора (SVM) полягає в тому, що LR виявляє будь-яку гіперплану, яка розділяє навчальні зразки, тоді …

14 machine-learning  classification  svm  data-mining 

У мене є узагальнена лінійна модель, яка приймає функцію Гауссова розподілу та зв'язку каналів. Після встановлення моделі я перевіряю залишки: графік QQ, залишки проти передбачуваних значень, гістограма залишків (визнаючи, що необхідна обережність). Все виглядає добре. Це, мабуть, говорить про те, що вибір гауссового розподілу був досить розумним. Або, принаймні, що …

14 regression  generalized-linear-model  link-function 

Я трохи розгублений: як результати тренованої моделі за допомогою карети можуть відрізнятися від моделі в оригінальній упаковці? Читаю, чи потрібна попередня обробка перед прогнозуванням за допомогою FinalModel of RandomForest з пакетом caret?але я тут не використовую жодної попередньої обробки. Я навчав різні випадкові ліси, використовуючи пакет карет і налаштовуючи різні …

14 r  machine-learning  random-forest  caret  train 

Я не можу знайти дефіцитні або медіальні визначення у Вікіпедії або Вольфрам Матсвіту, але наступне пояснення дано у Білкові, Д. та Мала, І. (2012), " Застосування методу L-моменту при моделюванні розподілу доходу. в Чехії », Австрійський журнал статистики , 41 (2), 125–132. Медіальна - це значення (зразка) тканини так само, …

14 descriptive-statistics  quantiles  median  average  partial-moments 

Припустимо, у вас є вісім бігунів, які бігають з гонки; Розподіл їх індивідуального часу запуску є нормальним, і, наприклад, кожен має середнє значення 111111 секунд Стандартне відхилення бігуна один - найменший, два другий найменший, третій найменший тощо, і вісім найбільший. Двоє запитань мене бентежать: (1) Яка ймовірність, коли перший б’є …

14 probability  normal-distribution  mathematical-statistics  order-statistics 

Скажімо, я пишу алгоритм для побудови двошарових складених автокодер та двошарової нейронної мережі. Вони однакові речі чи різниця? Що я розумію, це те, що коли я будую складений автокодер, я буду будувати пошарово. Для нейронної мережі я би ініціалізував усі параметри в мережі, а потім для кожної точки даних я …

14 neural-networks  deep-learning  autoencoders 

Я провів лінійну регресію прийому до коледжу на основі балів SAT та сімейного / етнічного походження. Дані вигадані. Це продовження попереднього запитання, вже відповіді. Питання фокусується на збиранні та інтерпретації коефіцієнтів шансів, залишаючи бали SAT осторонь простоти. Змінні: Accepted(0 або 1) та Background("червоний" чи "синій"). Я налаштував дані, щоб люди …

14 r  regression  logistic 

Питання: Який стандартний спосіб кластеризації даних за допомогою процесу Діріхле? При використанні Gibbs зразки кластерів з’являються і зникають під час вибірки. Крім того, у нас є проблема ідентифікації, оскільки задній розподіл є інваріантним відношенням кластерів. Таким чином, ми не можемо сказати, що це кластер користувача, а скоріше, що два користувачі …

14 bayesian  clustering  mcmc  dirichlet-process  identifiability 

Я просто хотів запитати, які, на вашу думку, найкращі доступні книги про завантажувальну службу там. Під цим я не обов'язково маю на увазі лише той, який написали його розробники. Скажіть, будь-ласка, який підручник, на вашу думку, найкращий для завантажувального програмного забезпечення, який охоплює такі критерії? Філософська / гносеологічна основа методики, …

14 sampling  model-selection  bootstrap  references  resampling 

Я реалізував Q-навчання, як описано в, http://web.cs.swarthmore.edu/~meeden/cs81/s12/papers/MarkStevePaper.pdf Для того, щоб прибл. Q (S, A) Я використовую нейронну мережеву структуру, як описано нижче, Активація сигмоїдної Входи, кількість входів + 1 для нейронів дії (масштабування всіх входів 0-1) Виходи, один вихід. Q-значення N кількість M прихованих шарів. Метод дослідження випадковий 0 <rand …

14 machine-learning  neural-networks  reinforcement-learning 

Коли ми кажемо, щоб регресувати проти , чи маємо на увазі, що X є незалежною змінною, а Y - залежною змінною? тобто Y = a X + b .YYYXXXXXXY=aX+bY=aX+bY =aX + b

14 regression  terminology 

Зараз я переживаю слайд, який я маю для "факторного аналізу" (PCA, наскільки я можу сказати). У ній виведена "фундаментальна теорема факторного аналізу", яка стверджує, що матрицю кореляції даних, що надходять в аналіз ( ), можна відновити за допомогою матриці факторних навантажень ( A ):RR\bf RAA\bf A R = A A⊤R=AA⊤\bf …

14 pca  factor-analysis  terminology  definition