Статистика та великі дані

Я працюю над проблемою бінарної класифікації, де набагато важливіше не мати помилкових позитивів; досить багато помилкових негативів - це нормально. Наприклад, я використовував купу класифікаторів у sklearn, але я думаю, що жоден з них не має можливості чітко регулювати компроміс з точністю нагадування (вони дають досить хороші результати, але не …

11 classification  precision-recall 

У мене виникають проблеми з розумінням цього речення: Перша запропонована архітектура схожа на подачу NNLM, де нелінійний прихований шар видаляється і проекційний шар ділиться на всі слова (не тільки проекційну матрицю); таким чином, усі слова проектуються в одне і те ж положення (їхні вектори усереднюються). Що таке шар проекції проти …

11 machine-learning  neural-networks  natural-language  word-embeddings  language-models 

Працюючи з часовими рядами, ми іноді виявляємо та вилучаємо сезонність за допомогою спектрального аналізу. Я справжній початківець у часових рядах, і мене бентежить, чому б хотілося зняти сезонність із початкового часового ряду? Чи не усунення сезонності спотворює вихідні дані? Які переваги ми отримуємо, будуючи часовий ряд, вилучаючи сезонність?

11 time-series  seasonality 

У своїй роботі я бачив кілька застосувань точного тесту Фішера, і мені було цікаво, наскільки він добре відповідає моїм даним. Дивлячись на кілька джерел, я розумів, як обчислити статистику, але ніколи не бачив чіткого та формального пояснення припущеної нульової гіпотези. Чи може мені хтось пояснити чи направити мені офіційне пояснення …

11 hypothesis-testing  chi-squared  multinomial  contingency-tables  fishers-exact 

Я читав трохи про алгоритми підсилення для класифікаційних завдань і зокрема Adaboost. Я розумію, що метою Adaboost є прийняття декількох "слабких учнів" і через набір ітерацій щодо даних про навчання підштовхують класифікаторів навчитися прогнозувати класи, на яких модель (и) неодноразово помиляються. Однак мені було цікаво, чому так багато прочитаних нами …

11 machine-learning  classification  algorithms  boosting 

Тому я знаю, що якщо ми хочемо знайти розподіл ймовірності суми незалежних випадкових величин , ми можемо обчислити його з розподілу ймовірностей і , сказавшиX YX+YX+YX + YXXXYYY fX+Y(a)=∫∞x=−∞fX,Y(X=x,Y=a−x) dx=∫∞x=−∞fX(x)fY(a−x) dxfX+Y(a)=∫x=−∞∞fX,Y(X=x,Y=a−x) dx=∫x=−∞∞fX(x)fY(a−x) dxf_{X + Y}(a) = \int_{x = -\infty}^{\infty} f_{X, Y}(X = x, Y = a - x)~dx = \int_{x …

11 probability 

У цьому документі , що стосується команди "встановити насіння", люди статистики обговорюють питання, пов'язані із встановленням насіння при генерації псевдовипадкових чисел. Помітним "не" є "не використовувати серійно послідовність натуральних чисел як насіння, тому що це має закономірність і загрожує псевдовипадковістю". Лише одна чверть жартівливо помітною "робити" - це встановити лише …

11 random-generation 

Я читаю підручник з машинного навчання (Data Mining від Witten, et al., 2011) і натрапив на цей уривок: ... Більше того, можна використовувати різні дистрибутиви. Хоча звичайний розподіл зазвичай є хорошим вибором для числових атрибутів, він не підходить для атрибутів, які мають заздалегідь визначений мінімум, але не мають верхньої межі; …

11 machine-learning  distributions 

Я виконую декілька лінійних регресій нижче в R, щоб передбачити прибуток на керований фонд. reg <- lm(formula=RET~GRI+SAT+MBA+AGE+TEN, data=rawdata) Тут лише GRI та MBA є двійковими / дихотомічними предикторами; решта предикторів безперервні. Я використовую цей код для створення залишкових графіків для бінарних змінних. plot(rawdata$GRI, reg$residuals) abline(lm(reg$residuals~rawdata$GRI, data=rawdata), col="red") # regression line …

11 r  multiple-regression  categorical-data  heteroscedasticity  residuals 

Процес є строго стаціонарним , якщо спільний розподіл X т 1 , Х т 2 , . . . , X t m - те саме, що спільний розподіл для всіх , для всіх і для всіх .XтХтX_tXt1,Xt2, . . . , XtмХт1,Хт2,...,ХтмX_{t_1},X_{t_2},...,X_{t_m} т до т 1 , т 2 …

11 time-series  autocorrelation  stochastic-processes  stationarity 

Оскільки у мене дуже незбалансований набір даних (9% позитивних результатів), я вирішив, що крива точності відкликання була більш підходящою, ніж крива ROC. Я отримав аналогічну підсумкову оцінку площі під кривою PR (.49, якщо вас цікавить), але не знаю, як її інтерпретувати. Я чув, що .8 або вище - це хороший …

11 classification  precision-recall  auc 

Я постійно читаю про необхідність перевірки на автокореляцію в MCMC. Чому важливо, щоб автокореляція була низькою? Що він вимірює в контексті MCMC?

11 sampling  autocorrelation  mcmc 

Мені тут відомо кілька пов'язаних питань (наприклад, термінологія, що перевіряє гіпотезу, що стосується нуля , чи можна довести нульову гіпотезу? ), Але я не знаю остаточної відповіді на моє запитання нижче. Припустимо тест гіпотези, де ми хочемо перевірити, справедлива чи ні монета. У нас є дві гіпотези: H0:p(head)=0.5H0:p(head)=0.5H_0: p(head)=0.5 H1:p(head)≠0.5H1:p(head)≠0.5H_1: …

11 hypothesis-testing 

Припустимо, у нас є випадкова вибірка з двовимірного нормального розподілу, який має нулі як засоби, а відхилення - тому єдиний невідомий параметр - коваріація. Що таке MLE коваріації? Я знаю, що це має бути щось на зразок але як ми це знаємо?1n∑nj=1xjyj1n∑j=1nxjyj\frac{1}{n} \sum_{j=1}^{n}x_j y_j

11 normal-distribution  mathematical-statistics  maximum-likelihood  bivariate 

Я керував навчальною проблемою, де цілями є кути. Якби я робив просту регресію, то цифри 360 і 1 були б далеко для моєї моделі, але насправді вони близькі, і прогнозувати координати x і y не відчуває себе правильно, оскільки я намагаюся передбачити тут лише одне число. Який правильний спосіб вирішити …

11 regression  circular-statistics