Статистика та великі дані

Я переглядаю статтю, яка виконала> 15 окремих тестів на площі 2x2 Chi. Я припустив, що їх потрібно виправити для кількох порівнянь, але вони відповіли, сказавши, що всі порівняння були заплановані, а тому це не потрібно. Я вважаю, що це не повинно бути правильним, але я не можу знайти жодних ресурсів, …

20 hypothesis-testing  multiple-comparisons 

Чи є приклад, коли два різних тести, що захищаються, з пропорційною ймовірністю призвели б до помітно різних (і однаково захищаються) висновків, наприклад, де значення p є порядком величин, але потужність до альтернатив аналогічна? Усі приклади, які я бачу, є дуже нерозумними, порівнюючи двочлен з негативним двочленним, де р-значення першого становить …

20 mathematical-statistics  likelihood  philosophical  likelihood-principle 

У нас є багато хороших дискусій про ідеальне розділення в логістичній регресії. Такі як, Логістична регресія в R призвели до ідеального роз'єднання (феномен Хока-Доннера). А тепер що? і логістична регресійна модель не збігається . Я особисто все ще вважаю, що це не інтуїтивно, чому це буде проблема і чому додавання …

20 logistic  generalized-linear-model  optimization  intuition  separation 

Я добре знаю проблеми поетапного / вперед / назад вибору в регресійних моделях. Є численні випадки, коли дослідники заперечують методи та вказують на кращі альтернативи. Мені було цікаво, чи є історії, які існують там, де статистичний аналіз: застосував ступінчату регресію; на основі кінцевої моделі зробили кілька важливих висновків висновок був …

20 regression  stepwise-regression  history 

Мене це питання задали в інтерв'ю. Скажімо, у нас є кореляційна матриця форми ⎡⎣⎢10,60,80,61γ0,8γ1⎤⎦⎥[10,60,80,61γ0,8γ1]\begin{bmatrix}1&0.6&0.8\\0.6&1&\gamma\\0.8&\gamma&1\end{bmatrix} Мене попросили знайти значення гамми, враховуючи цю кореляційну матрицю. Я думав, що я можу зробити щось із власними значеннями, оскільки вони повинні бути більшими або дорівнювати 0. (Матриця повинна бути позитивною напівфінішною) - але я не …

20 pearson-r  correlation-matrix 

Я читаю про адаптивну MCMC (див., Наприклад, Розділ 4 Посібника Ланцюга Маркова Монте-Карло , ред. Брукс та ін., 2011; а також Andrieu & Thoms, 2008 ). Основний результат Робертса та Розенталя (2007) полягає в тому, що якщо схема адаптації задовольняє зникаючу умову адаптації (плюс деякі інші технічні характеристики), адаптивна MCMC …

20 simulation  mcmc  random-generation  metropolis-hastings 

У світлі цього питання: Доказ того, що коефіцієнти в моделі OLS відповідають t-розподілу з (nk) ступенем свободи Я хотів би зрозуміти, чому F=(TSS−RSS)/(p−1)RSS/(n−p),F=(TSS−RSS)/(p−1)RSS/(n−p), F = \frac{(\text{TSS}-\text{RSS})/(p-1)}{\text{RSS}/(n-p)}, де - кількість параметрів моделі та кількість спостережень, а загальна дисперсія, залишкова дисперсія, слід розподілу .pppnnnTSSTSSTSSRSSRSSRSSFp−1,n−pFp−1,n−pF_{p-1,n-p} Я мушу визнати, що навіть не намагався довести …

20 regression  hypothesis-testing  least-squares  f-distribution  f-statistic 

Я не впевнений, куди належить це питання: «Перевірена перевірка» або «Робоче місце». Але моє запитання нечітко пов'язане зі статистикою. Це запитання (або, мабуть, питання) виникло під час моєї роботи «стажистом із науки про дані». Я будував цю лінійну регресійну модель і вивчав залишковий графік. Я побачив чітку ознаку гетерокедастичності. Я …

20 careers 

Гравець отримує справедливу, шестигранну штамп. Щоб виграти, вона повинна прокатати число, що перевищує 4 (тобто 5 або 6). Якщо вона закатає 4, вона повинна прокататися знову. Які шанси на виграш? Я думаю, що ймовірність виграти може бути виражена рекурсивно як:П( Ш)П(W)P(W) П( Ш) = Р( r = 5 ∪ r …

20 probability 

Я читав, що це умови використання моделі множинної регресії: залишки моделі майже нормальні, мінливість залишків майже постійна залишки незалежні, і кожна змінна лінійно пов'язана з результатом. Чим 1 і 2 відрізняються? Ви можете побачити його прямо тут: Отже, наведений вище графік говорить про те, що залишкове значення, яке знаходиться на …

20 regression  multiple-regression  assumptions 

Я читав Maraun та ін. , "Нестаціонарні процеси Гаусса у вейвлет-домені: синтез, оцінка та значне тестування" (2007), який визначає клас нестаціонарних GP, який може бути визначений множниками у вейвлет-домені. Реалізація одного такого GP - це: де - білий шум, - безперервне вейвлет-перетворення відносно вейвлет , - множник (якийсь подібний на …

20 normal-distribution  stochastic-processes  gaussian-process  fourier-transform  wavelet 

Я зрозумів, як регресія хребта зменшує коефіцієнти до нуля геометрично. Більше того, я знаю, як довести це в спеціальній "Ортонормічній справі", але мене бентежить, як це працює в загальному випадку за допомогою "Спектральної декомпозиції".

20 regression  multiple-regression  regularization  ridge-regression  svd 

Це не домашнє завдання. Мені цікаво зрозуміти, чи правильна моя логіка з цією простою статистикою. Скажімо, у мене є двостороння монета, де ймовірність перевернути голову а ймовірність перевернути хвіст - . Припустимо, всі фліпи мають незалежні ймовірності. Скажімо, я хочу максимально збільшити свої шанси передбачити, чи буде монета головою чи …

20 probability 

З мого першого класу ймовірностей я цікавився наступним. Розрахунок ймовірностей зазвичай вводиться через відношення "сприятливих подій" до загальних можливих подій. У випадку закочування двох 6-сторонніх кісток кількість можливих подій становить , як показано в таблиці нижче.363636 1234561( 1 , 1 )( 2 , 1 )( 3 , 1 )( 4 …

20 probability  dice 

Я використовую класифікатор, який повертає ймовірності. Для обчислення AUC я використовую pROC R-пакет. Вихідні ймовірності з класифікатора: probs=c(0.9865780, 0.9996340, 0.9516880, 0.9337157, 0.9778576, 0.8140116, 0.8971550, 0.8967585, 0.6322902, 0.7497237) probsпоказує ймовірність перебування в класі '1'. Як показано, класифікатор класифікував усі вибірки до класу '1'. Справжній вектор етикетки: truel=c(1, 1, 1, 1, 1, …

20 machine-learning  auc