Статистика та великі дані

Я запускаю швидке моделювання для порівняння різних методів кластеризації, і в даний час натиснув на корч, намагаючись оцінити кластерні рішення. Я знаю різні показники перевірки (багато з них знайдені у cluster.stats () в R), але я припускаю, що їх найкраще використовувати, якщо орієнтовна кількість кластерів насправді дорівнює дійсній кількості кластерів. …

11 clustering  kullback-leibler  gaussian-mixture 

Метод, який я знайомий для побудови випадкового лісу, полягає в наступному: (від http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm ) Щоб побудувати дерево в лісі: Завантажте зразок розміру N, де N - розмір нашого навчального набору. Використовуйте цей зразок завантаження як навчальний набір для цього дерева. На кожному вузлі дерева випадковим чином виберіть m наших M …

11 machine-learning  classification  random-forest 

З Вікіпедії Існують два загальних припущення щодо індивідуального конкретного ефекту, припущення про випадкові ефекти та припущення про фіксовані ефекти. Випадкові ефекти припущення (зроблено в моделі випадкових ефектів) є те , що окремі ефекти специфічних коррелірованни з незалежним змінними. Припущення за фіксованим ефектом полягає в тому, що індивідуальний специфічний ефект корелює …

11 random-effects-model  fixed-effects-model 

Я не знаю, як називаються такі сюжети, і тому я просто дав це питання дурною назвою. Скажімо, я маю впорядкований набір даних наступним чином 4253 4262 4270 4383 4394 4476 4635 ... Кожне число відповідає кількості повідомлень, які певний користувач внесли на веб-сайт. Я емпірично досліджую явище "нерівності участі", визначене …

11 r  distributions  data-visualization 

Згідно теореми Байєса, . Але згідно з моїм економетричним текстом, це говорить, що P ( θ | y ) ∝ P ( y | θ ) P ( θ ) . Чому це так? Я не розумію, чому P ( y ) ігнорується.П( у| θ)Р( θ ) = P( θ …

11 bayesian  conditional-probability  likelihood 

Як можна довести, що нормальні рівняння: мають один чи більше розв’язків без припущення, що X є незворотним?( XТХ) β= XТY(XTX)β=XTY(X^TX)\beta = X^TY Єдина моя здогадка - це щось спільне з узагальненим зворотним, але я повністю втрачений.

11 regression  proof 

Чи може хто-небудь допомогти дати концептуальне пояснення того, як робляться прогнози для нових даних при використанні гладких / сплайнів для прогнозної моделі? Наприклад, враховуючи модель, створену за gamboostдопомогою mboostпакету в R, з p-сплайнами, як робляться прогнози для нових даних? Що використовується з даних про навчання? Скажіть, що є нове значення …

11 regression  machine-learning  predictive-models  splines 

Коротка версія: чи є вступ до творів Рональда Фішера (паперів та книг) про статистику, який спрямований на тих, у кого статистичні дані мало чи відсутні? Я думаю про щось на кшталт "анотованого читача Фішера", спрямованого на нестатистів. Я поясню мотивацію цього питання нижче, але попередив, що це довгодухо (я не …

11 references  history  fiducial  ronald-fisher 

Я шукаю інтуїтивну відповідь, чому модель GLM LASSO вибирає конкретного прогноктора з групи сильно корельованих, і чому це робить інакше, ніж вибір найкращої підмножини. З геометрії LASSO, показаної на фіг.2 в Tibshirani 1996, я припускаю думку, що LASSO вибирає предиктор з більшою дисперсією. Тепер припустимо, що я використовую найкращий вибір …

11 feature-selection  lasso 

Припустимо, мені дано дві групи вимірювань маси (у мг), які називаються y1 та y2. Я хочу зробити тест, щоб визначити, чи брали два зразки з популяцій різними способами. Щось подібне, наприклад (в R): y1 <- c(10.5,2.9,2.0,4.4,2.8,5.9,4.2,2.7,4.7,6.6) y2 <- c(3.8,4.3,2.8,5.0,9.3,6.0,7.6,3.8,6.8,7.9) t.test(y1,y2) Я отримую p-значення 0,3234, і при рівні значущості 0,05 не …

11 hypothesis-testing 

Я шукаю рекомендації для книг з кредитування. Мене цікавлять усі аспекти цієї проблеми, але в основному: 1) Гарні особливості. Як їх побудувати? Які виявились хорошими? 2) Нейронні мережі. Їх застосування до проблеми скорингу кредиту. 3) Я вибрав нейронні мережі, але мене цікавлять і інші методи.

11 references  finance  credit-scoring 

Я обчислюю паралельно коваріацію розподілу, і мені потрібно поєднувати розподілені результати в сингулярному гауссі. Як поєднати ці два? Лінійна інтерполяція між цими двома майже працює, якщо вони однаково розподілені та розміри. Вікіпедія пропонує форуми внизу для комбінації, але це не здається правильним; два однаково розподілених розподіли повинні мати однакову коваріацію, …

11 covariance  moments 

Яке значення t valueі Pr(>|t|)при використанні summary()функції на лінійній регресійній моделі в R? Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 10.1595 1.3603 7.469 1.11e-13 *** log(var) 0.3422 0.1597 2.143 0.0322 *

11 r  regression  generalized-linear-model 

Я намагаюся скласти план навчання для вивчення ПНЖ. Для цього я намагаюся розібратися, який мінімальний рівень обчислення, необхідний для розуміння MLE. Чи достатньо зрозуміти основи обчислення (тобто знайти мінімум та максимум функцій), щоб зрозуміти MLE?

11 estimation  mathematical-statistics  maximum-likelihood 

Щодо зважування балів схильності (IPTW) під час моделювання пропорційного ризику Кокса даних про виживання часу до події: У мене є потенційні дані реєстру, де нам цікаво переглянути ефект від лікування ліками, які в більшості випадків пацієнти вже приймали на початковому рівні. Тому я не впевнений, як найкраще проаналізувати дані. Потенційно, …

11 r  survival  cox-model  propensity-scores