Статистика та великі дані

Чому їх називають «машинами»? Чи є в цьому контексті слово "машина"? (Як і назва "лінійне програмування" може бути заплутаним, але ми знаємо, чому його називають "програмуванням".)

14 svm  terminology  rbm  etymology 

Це взагалі може бути дивним питанням, але мені, як новачку до теми, цікаво, чому ми використовуємо регресію для зменшення часового ряду, якщо одне з припущень регресії - це дані, які мають ідентифікуватися, тоді як дані, щодо яких застосовується регресія, - це non iid?

14 regression  time-series  trend  iid 

У «Аналізі даних» DS Sivia є виведення розподілу Пуассона від біноміального розподілу. Вони стверджують, що розподіл Пуассона є граничним випадком біноміального розподілу, коли M→∞M→∞M\rightarrow\infty , де MMM - кількість випробувань. Питання 1: Як можна зрозуміти цей аргумент інтуїтивно? Питання 2: Чому крупно MMM межа M!N!(M−N)!M!N!(M−N)!\frac{M!}{N!(M-N)!}дорівнюєМNN!МNN!\frac{M^{N}}{N!}, деNNN- кількість успіхів уММMвипробуваннях? (Цей …

14 binomial  poisson-distribution  combinatorics  intuition  probability-calculus 

& Thetasθ^\hat\theta ; & thetas*θ∗\theta^*пnn‖ˆθ−θ∗‖∥θ^−θ∗∥\lVert\hat\theta-\theta^*\rVertO(1/√n)O(1/n−−√)O(1/\sqrt n)‖Eˆθ−θ∗‖∥Eθ^−θ∗∥\lVert \mathbb E\hat\theta - \theta^*\rVert‖Eˆθ−ˆθ‖∥Eθ^−θ^∥\lVert \mathbb E\hat\theta - \hat\theta\rVertO(1/√n)O(1/n−−√)O(1/\sqrt{n}) Мене цікавлять моделі, які мають ухил, який скорочується швидше, ніж , але де помилка не зменшується з такою швидкістю, оскільки відхилення все ще скорочується як . Зокрема, я хотів би знати достатні умови, щоб ухил моделі …

14 variance  estimation  maximum-likelihood  bias 

Це трохи перевірка кишок, будь ласка, допоможіть мені зрозуміти, чи я нерозумію цю концепцію, і яким чином. У мене є функціональне розуміння кореляції, але я відчуваю трохи розуміння, щоб справді впевнено пояснити принципи цього функціонального розуміння. Як я розумію, статистична кореляція (на відміну від більш загального використання терміна) - це …

14 correlation  categorical-data  covariance 

У мене є набір даних, в якому змінна, яку я хотів би використовувати як випадковий ефект, має лише одне спостереження для деяких рівнів. На основі відповідей на попередні запитання я зібрав, що в принципі це може бути добре. Чи можу я відповідати змішаній моделі з предметами, які мають лише 1 …

14 r  mixed-model  generalized-linear-model  glmm  lme4-nlme 

Якщо XXX і YYY - дві випадкові величини, які можуть приймати лише два можливі стани, то як я можу показати, що Cov(X,Y)=0Cov(X,Y)=0Cov(X,Y) = 0 передбачає незалежність? Це суперечить тому, що я дізнався ще в той день, коли Cov(X,Y)=0Cov(X,Y)=0Cov(X,Y) = 0 не означає незалежності ... Підказка говорить, що починати з 111 …

14 covariance  independence 

Я шукаю приклад двох випадкових змінних , таких, щоXXXYYY |cor(X,Y)|≈0|cor(X,Y)|≈0\newcommand{\cor}{{\rm cor}}|\cor(X,Y)| \approx 0 але якщо розглядати хвостову частину розподілів, вони сильно співвідносяться. (Я намагаюся уникати "кореляції" / "кореляції" для хвоста, оскільки це може бути не лінійним). Можливо, використовуйте це: |cor(X′,Y′)|≫0|cor(X′,Y′)|≫0|\cor(X', Y')| \gg 0 де умовно X> 90 \% населення X …

14 correlation  extreme-value 

У періодичній нейронній мережі, як правило, вперед розповсюджуються через кілька часових кроків, "розкручують" мережу, а потім поширюються назад по послідовності входів. Чому б ви не просто оновлювали ваги після кожного окремого кроку в послідовності? (еквівалент використання довжини усікання 1, тому немає чого розкручувати) Це повністю виключає проблему градієнта, що зникає, …

14 time-series  neural-networks  backpropagation  rnn 

Припустимо, Ви визначаєте: X∼Beta(α,β)X∼Beta(α,β)X\sim\mbox{Beta}(\alpha,\beta) Y∼Φ−1(X)Y∼Φ−1(X)Y\sim \Phi^{-1}(X) де - зворотна CDF стандартного нормального розподілу .Φ−1Φ−1\Phi^{-1} Моє запитання: чи існує простий розподіл, який слід , або який може наближати ? YYYYYY Y α β α = 1 ; β = 1 X YЯ запитую, оскільки у мене є сильні підозри на основі …

14 r  normal-distribution  mathematical-statistics  beta-distribution 

Мене вражає, здавалося б, проста проблема, але я вже кілька тижнів не знайшов підходящого рішення. У мене є досить багато даних опитування / опитування (десятки тисяч респондентів, скажімо, 50 тис. На набір даних), що випливає з чогось, на що я сподіваюся, називається складно розробленим опитуванням з вагою, стратифікацією, специфічною маршрутизацією …

14 machine-learning  survey-weights  survey-sampling 

Я читав цю статтю про випадок Палантіра, коли Департамент праці звинувачує їх у дискримінації азіатів. Хтось знає, звідки вони взяли ці оцінки ймовірності? Я не отримую 1/741 в пункті (а). (a) На посаду інженера з QA-інженеру, з групи, що містить понад 730 кваліфікованих претендентів (приблизно 77% з яких були азіатцями), …

14 probability  p-value  contingency-tables  legal 

Я взяв курс машинного навчання в коледжі. В одній із цитат було задано це питання. Модель 1: y=θx+ϵy=θx+ϵ y = \theta x + \epsilon Модель 2: y=θx+θ2x+ϵy=θx+θ2x+ϵ y = \theta x + \theta^2 x + \epsilon Яка з перерахованих моделей краще відповідатиме даним? (припустимо, дані можна моделювати за допомогою лінійної …

14 regression  machine-learning  self-study  modeling  model 

Найкращі 25% - це верхній квартир. 10% - верхній децил. Верхній 1% - верхній перцентил. Чи є еквівалент для верхніх 0,5%, тобто 1 на 200?

14 terminology  quantiles 

Структура цього питання полягає в наступному: спочатку я надаю поняття ансамблевого навчання , далі подаю список завдань розпізнавання шаблонів , потім наводжу приклади алгоритмів навчання ансамблю та, нарешті, ввожу своє запитання. Ті, кому не потрібна вся додаткова інформація, можуть просто подивитися на заголовки і перейти безпосередньо до мого питання. Що …

14 machine-learning  neural-networks  pattern-recognition  ensemble  ocr