Статистика та великі дані

Чим відрізняються дані "Нормалізація" від даних "Масштабування"? До цього часу я не думав, що обидва терміни стосуються одного і того ж процесу, але тепер я розумію, що є щось більше, чого я не знаю / не розумію. Крім того, якщо є різниця між нормалізацією та масштабуванням, коли нам слід використовувати …

45 data-transformation  scales  normality-assumption  normalization 

Моє первинне питання - як інтерпретувати вихід (коефіцієнти, F, P) при проведенні типу I (послідовного) ANOVA? Моя конкретна дослідницька проблема трохи складніша, тому я розбию свій приклад на частини. По-перше, якщо мене цікавить вплив густоти павуків (X1) на ріст рослини (Y1) і я висаджував розсаду у вольєри та маніпулював щільністю …

45 r  hypothesis-testing  anova  manova  sums-of-squares 

Існує багато способів оцінити, наскільки схожі два розподіли ймовірності. Серед популярних (у різних колах) методів є: відстань Колмогорова: відстань відстані між функціями розподілу; відстань Кантаровича-Рубінштейна: максимальна різниця очікувань двох розподілів функцій з постійною Ліпшица , яка також виявляється відстань між розподільними функціями;111L1L1L^1 обмежена відстань Ліпшиця: як і відстань KR, але …

45 distributions  probability  hypothesis-testing  mathematical-statistics 

Це питання гнається в моїй свідомості вже більше місяця. Випуск Amstat News за лютий 2015 року містить статтю професора Берклі Марка ван дер Лаана, яка лаять людей за використання неточних моделей. Він заявляє, що, використовуючи моделі, статистика - це мистецтво, а не наука. За його словами, завжди можна використовувати "точну …

45 machine-learning  maximum-likelihood  modeling  nonparametric  parametric 

Мені кілька разів задавали таке питання: Що таке Big-Data? Як студентами, так і моїми родичами, які переживають інформацію про статистику та ML. Я знайшов цей CV-пост . І я відчуваю, що згоден з єдиною відповіддю там. Сторінка Вікіпедії також має деякі коментарі до цього, але я не впевнений, чи дійсно …

44 large-data 

Мені було цікаво, чи відповідає взаємність P (X = 1) чогось конкретного?

44 probability 

Традиційні статистичні тести, як і тест двох вибірок, зосереджуються на спробі усунути гіпотезу про відсутність різниці між функцією двох незалежних вибірок. Потім ми вибираємо рівень довіри і кажемо, що якщо різниця засобів перевищує рівень 95%, ми можемо відкинути нульову гіпотезу. Якщо ні, ми "не можемо відкинути нульову гіпотезу". Це, мабуть, …

44 hypothesis-testing  statistical-significance  confidence-interval  equivalence  tost 

Я намагаюся зрозуміти складову частину згорткових нейронних мереж. Дивлячись на таку цифру: У мене немає проблем з розумінням першого шару згортки, де у нас є 4 різних ядра (розміром ), які ми переплітаємо з вхідним зображенням, щоб отримати 4 карти карт.k × kk×kk \times k Що я не розумію, це …

44 machine-learning  neural-networks  deep-learning  conv-neural-network 

Це моє улюблене Цей приклад є в жартівливій формі (заслуга має колишнього мого професора Стівена Гортмейкера), але мене також цікавлять графіки, за якими ви прекрасно фіксуєте та передаєте статистичну інформацію чи метод, а також ваші ідеї про те саме. Один запис на відповідь. Звичайно, це питання відповідає тій же лінії, …

44 data-visualization 

Я читав багато еволюційних / екологічних наукових праць, іноді з конкретною метою бачити, як статистика використовується "в реальному світі" поза підручником. Я зазвичай сприймаю статистику в документах як євангелію і використовую ці документи, щоб допомогти в моєму статистичному навчанні. Зрештою, якщо документ писав багато років і пройшов суворий експертний огляд, …

44 publication-bias  academia 

Ми знаємо відповідь на дві незалежні змінні: V a r (XY) = Е( X2Y2) - ( Е( XY) )2= V a r ( X) V a r ( Y) + V a r ( X) ( Е( Y) )2+ V a r ( Y) ( Е( X) )2Var(XY)=E(X2Y2)−(E(XY))2=Var(X)Var(Y)+Var(X)(E(Y))2+Var(Y)(E(X))2 {\rm Var}(XY) …

44 variance  random-variable  independence 

Нещодавно я дізнався про метод Фішера для поєднання p-значень. Це ґрунтується на тому, що p-значення під нулем має рівномірний розподіл, і що який я думаю геній. Але моє запитання - чому йти цим звивистим шляхом? а чому б ні (що не так), просто використовуючи середнє значення p та використовуючи центральну …

44 hypothesis-testing  p-value  multiple-comparisons  central-limit-theorem  combining-p-values 

Статистика Kappa ( ) була введена в 1960 році Коеном [1] для вимірювання згоди між двома рейтинговими. Однак його розбіжність була джерелом суперечностей досить довгий час.κκ\kappa Моє запитання про те, який найкращий дисперсійний розрахунок використовувати для великих зразків. Я схильний вважати, що тестований та перевірений Фліссом [2] був би правильним …

44 estimation  variance  reliability  cohens-kappa 

Якщо інтерес полягає лише у оцінці параметрів моделі (точкове та / або інтервальне оцінювання) і попередня інформація не є достовірною, слабкою (я знаю, це трохи розпливчасто, але я намагаюся встановити сценарій, коли вибір вибору перед цим важко) ... Чому хтось вирішить використовувати байєсівський підхід із "неінформативними" неналежними пріорами замість класичного …

44 bayesian  inference  prior  likelihood  information 

Я помітив, що є кілька реалізацій випадкових лісів, таких як ALGLIB, Waffles і деякі подібні R-пакети randomForest. Хтось може сказати мені, чи ці бібліотеки високо оптимізовані? Вони в основному еквівалентні випадковим лісам, як це детально описано в «Елементах статистичного навчання», або було додано багато зайвих хитрощів? Я сподіваюся, що це …

44 random-forest  algorithms  model-evaluation