Статистика та великі дані

Передумови: Пропустити безпечно - це тут для довідки та узаконити питання. У відкритті цього документу написано: "Знаменитий тест на випадок надзвичайної ситуації Карла Пірсона отриманий з іншої статистики, званої z статистикою z, заснованої на нормальному розподілі. Найпростіші версії χ2χ2\chi^2 можуть бути математично ідентичні еквівалентним z тестам. Тести дають той же …

15 chi-squared  proportion  z-test 

У мене є відпрацьований приклад (в R), який я намагаюся зрозуміти далі. Я використовую Limma для створення лінійної моделі, і я намагаюся зрозуміти, що відбувається крок за кроком у розрахунках зміни складок. Я в основному намагаюся розібратися, що відбувається для обчислення коефіцієнтів. З того, що я можу зрозуміти, QR-декомпозиція використовується …

15 r  regression  linear-model 

Я розглядаю можливість використання версії LSTM ( довготривалої пам'яті ) періодичної нейронної мережі (RNN) для моделювання даних таймерів. Зі збільшенням довжини послідовності даних збільшується складність мережі. Тому мені цікаво, яку довжину послідовностей можна було б моделювати з хорошою точністю? Я хотів би використати порівняно просту версію LSTM без будь-яких складних …

15 neural-networks  deep-learning  lstm 

Візьміть 5 платонічних твердих тіл з набору кісток Dungeons & Dragons. Вони складаються з 4-х, 6-сторінних (звичайних), 8-сторонніх, 12-сторонніх та 20-сторонніх кісток. Усі починаються з числа 1 і підраховують вгору на 1 до їх загальної кількості. Згорніть їх усі відразу, візьміть їх суму (мінімальна сума - 5, макс - 50). …

15 distributions  dice 

Я думаю, що хороший спосіб запам'ятати формулу - це думати про формулу так: Ймовірність того, що якась подія A має певний результат, враховуючи результат незалежної події B = ймовірність того, що обидва результати відбудуться одночасно / що б ми не говорили, ймовірність бажаного результату події A була б, якби ми …

15 bayesian  bayes 

Я створив кілька нейронних мереж (MLP (повністю підключений), Elman (повторюваний)) для різних завдань, таких як гра в понг, класифікація рукописних цифр та інше ... Крім того, я спробував створити кілька первинних нейронних мереж, наприклад, для класифікації багатозначних рукописних нотаток, але я абсолютно новий для аналізу та кластеризації текстів, наприклад, у …

15 clustering  neural-networks  feature-selection  text-mining  self-organizing-maps 

Для лінійної моделі рішення OLS забезпечує найкращий лінійний неупереджений оцінювач параметрів. Звичайно, ми можемо торгувати ухилом для меншої дисперсії, наприклад, регресія хребта Але моє запитання стосується відсутності упередженості. Чи існують якісь загальноприйняті інші оцінки, які є неупередженими, але з більшою дисперсією, ніж оцінені параметри OLS? Якби у мене був величезний …

15 regression  least-squares  linear  unbiased-estimator  blue 

Я знаю про регуляризацію типу LASSO, хребет та еластичну сітку в моделях лінійної регресії. Питання: Чи можна застосувати цей (або подібний) вид пеналізованої оцінки до моделювання ARIMA (з не порожньою частиною МА)? pmaxpмахp_{max}qmaxqмахq_{max}p⩽pmaxp⩽pмахp \leqslant p_{max}q⩽qmaxq⩽qмахq \leqslant q_{max} наприклад, мінімізуючи AIC або AICc . Але чи можна замість цього використовувати регуляризацію? …

15 time-series  arima  lasso  regularization  ridge-regression 

Рецензент нас попросив надати p-значення, щоб краще зрозуміти оцінки моделі в нашій байєсівській багаторівневій моделі. Модель є типовою моделлю множинних спостережень на кожного учасника експерименту. Ми оцінили модель зі Стен, тому можемо легко обчислити додаткову задню статистику. Наразі ми повідомляємо (візуально та в таблицях) про середню оцінку та кванти 0,025 …

15 bayesian  p-value  multilevel-analysis 

Я намагаюся зрозуміти компромісію зміщення зміщення, співвідношення між зміщенням оцінювача та зміщенням моделі та співвідношення між дисперсією оцінювача та дисперсією моделі. Я прийшов до таких висновків: Ми схильні перевищувати дані, коли ми нехтуємо зміщенням оцінювача, тобто тоді, коли ми прагнемо лише мінімізувати зміщення моделі, нехтуючи дисперсією моделі (іншими словами, ми …

15 regression  variance  bias  bias-variance-tradeoff 

Мене бентежить припущення про нормальність у повторних заходах ANOVA. Зокрема, мені цікаво, яку саме норму слід точно задовольняти. Читаючи літературу та відповіді на резюме, я зіткнувся з трьома різними словами цього припущення. Залежну змінну в межах кожної (повторної) умови слід розподіляти нормально. Часто зазначається, що rANOVA має ті самі припущення, …

15 anova  repeated-measures  assumptions  normality-assumption 

Мені хотілося б знати, чи використовує випадковий ліс Бреймана (випадковий ліс у пакеті R randomForest) як критерій розщеплення (критерій вибору атрибутів) посилення інформації або індекс Джині? Я спробував це знайти на http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm та в документації для пакету randomForest в R. Але єдине, що я знайшов - це те, що індекс …

15 r  random-forest  entropy  gini 

Я новачок у машинному навчанні. Я вивчаю курс машинного навчання (Стенфордський університет) і не зрозумів, що означає ця теорія і в чому її корисність. Мені цікаво, чи міг би хтось детально розказати цю теорію для мене. Ця теорія заснована на цьому рівнянні.

15 machine-learning  probability  pac-learning 

Я трохи експериментував з різними реалізаціями Perceptron і хочу переконатися, чи правильно я розумію "ітерації". Первісне правило персептрона Розенблатта Наскільки я розумію, в класичному алгоритмі Розенблатта ваги одночасно оновлюються після кожного прикладу тренувань через Δw(t+1)=Δw(t)+η(target−actual)xiΔw(t+1)=Δw(t)+η(target−actual)xi\Delta{w}^{(t+1)} = \Delta{w}^{(t)} + \eta(target - actual)x_i де - це правило навчання. І цільове, і фактичне …

15 optimization  gradient-descent  perceptron 

Що таке філософія вольтметра та його варіацій? Ідея цього полягає в тому, що статистичний аналіз, який звертається до гіпотетичних подій, повинен був би бути переглянутий, якби згодом було зрозуміло, що ці гіпотетичні події не могли відбутися, як передбачалося. Версія історії в Вікіпедії наводиться нижче. Інженер малює випадковий зразок електронних трубок …

15 likelihood  frequentist