Статистика та великі дані

Я хочу провести двопробний Т-тест, щоб перевірити різницю між двома незалежними зразками, які кожен зразок дотримується припущень Т-тесту (кожний розподіл можна вважати незалежним і однаково розподілений як Нормальний з однаковою дисперсією) . Єдиним ускладненням від базового двопробного Т-тесту є те, що дані зважуються. Я використовую зважені засоби та стандартні відхилення, …

12 t-test 

Коли ви схильні використовувати криві ROC для деяких інших тестів, щоб визначити здатність прогнозування певного вимірювання результату? Що стосується дискретних результатів (живих / мертвих, присутніх / відсутніх), що робить ROC криві більш-менш потужними, ніж щось на зразок хі-квадрата?

12 regression  roc 

У мене є набір даних, що складається з елементів із трьох груп, назвемо їх G1, G2 та G3. Я проаналізував певні характеристики цих елементів і розділив їх на 3 типи "поведінки" T1, T2 і T3 (для цього я використовував кластерний аналіз). Отже, зараз у мене є така таблиця на випадок …

12 contingency-tables 

Хтось знає про варіацію точного тесту Фішера, яка враховує ваги? Наприклад, вибіркові ваги . Таким чином, замість звичайної таблиці 2х2 у кожній точці даних є значення "маса" або "розмір", що зважує точку. Приклад даних: A B weight N N 1 N N 3 Y N 1 Y N 2 N …

12 hypothesis-testing 

Як на звичайній англійській мові інтерпретується сюжет Бланд-Альтмана? Які переваги використання діаграми Бланда-Альтмана перед іншими методами порівняння двох різних методів вимірювання?

12 data-visualization  bland-altman-plot 

Моє запитання просте так: що таке спільна оцінка? І що це означає в контексті регресійного аналізу? Як це робиться? Я довго блукав у могутньому Інтернеті, але не знайшов відповіді на ці питання.

12 regression  estimation  terminology 

Припустимо, ми маємо (вимірювану і належним чином сприйняту) множину S⊆B⊂RnS⊆B⊂RnS\subseteq B\subset\mathbb R^n , де BBB компактний. Крім того, припустимо, що ми можемо взяти зразки з рівномірного розподілу по BBB wrt мірою Лебега λ(⋅)λ(⋅)\lambda(\cdot) і що ми знаємо міру λ(B)λ(B)\lambda(B) . Наприклад, можливо, BBB являє собою поле [−c,c]n[−c,c]n[-c,c]^n що містить SSS …

12 probability  monte-carlo  unbiased-estimator  measure-theory 

Я підходив до своєї моделі і намагаюся зрозуміти, чи корисна вона. Я розраховував рекомендовані показники для його оцінки ( R2R2R^2 / AUC / точність / помилка передбачення / тощо), але не знаю, як їх інтерпретувати. Коротше кажучи, як я можу сказати, чи базується моя модель на основі метрики? Чи достатньо …

12 goodness-of-fit  r-squared  accuracy  auc  diagnostic 

У кон'югатному байесівському аналізі Кевіна Мерфі про розподіл Гаусса він пише, що задній прогнозний розподіл є p(x∣D)=∫p(x∣θ)p(θ∣D)dθp(x∣D)=∫p(x∣θ)p(θ∣D)dθ p(x \mid D) = \int p(x \mid \theta) p(\theta \mid D) d \theta де - це дані, на які підходить модель, а - невидимі дані. Я не розумію, чому залежність від зникає в …

12 bayesian  predictive-models  inference  posterior 

Відповідно до посилань Книга 1 , Книга 2 та папір . Було зазначено, що існує рівнозначність між регульованою регресією (Ridge, LASSO та Elastic Net) та їх формулами обмеження. Я також переглянув Cross Valified 1 та Cross Validated 2 , але я не можу побачити чітку відповідь, що свідчить про еквівалентність …

12 regression  optimization  lasso  ridge-regression  elastic-net 

У книзі Ієна Гудфеллоу « Глибоке навчання» написано саме так Іноді функція втрат, яка насправді хвилює (скажімо, помилка класифікації), не є ефективною оптимізацією. Наприклад, точно зведення до мінімуму очікуваних втрат 0-1, як правило, є незмінним (експоненціальним у вхідному вимірі), навіть для лінійного класифікатора. У таких ситуаціях, як правило, оптимізується функція …

12 neural-networks  deep-learning  loss-functions 

Я читав у кількох місцях, що R Squared не є ідеальним показником, коли модель підходить за допомогою LASSO. Однак мені не ясно, чому саме так. Крім того, ви могли б порекомендувати найкращу альтернативу?

12 regression  lasso  r-squared  penalized 

У стисненому зондуванні існує гарантія теореми про те, що має унікальне розріджене рішення c (докладнішу інформацію див. У додатку).cargmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Чи існує аналогічна теорема для лассо? Якщо є така теорема, вона не тільки гарантує стабільність ласо, але …

12 regression  self-study  feature-selection  lasso  regularization 

Чи завжди використання "варіативної" стосується оптимізації за допомогою варіативного висновку? Приклади: "Варіаційний автоматичний кодер" "Варіаційні баєсові методи" "Варіаційна група ренормалізації"

12 machine-learning  optimization  inference 

Я шукаю літературу про негативну регресію хребта . Коротше кажучи, це узагальнення лінійної регресії з використанням коника негативний λλ\lambda у формулі β^=(X⊤X+λI)−1X⊤y.β^=(X⊤X+λI)−1X⊤y.\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.Позитивний випадок має хорошу теорію: як функція втрат, як обмеження, як Байєс до ... але я відчуваю втрату від негативної …

12 regression  regularization  ridge-regression