Статистика та великі дані

Я переглядав документацію Стен, яку можна завантажити тут . Мене особливо зацікавило їх реалізація діагностики Гельмана-Рубіна. Оригінальний документ Gelman & Rubin (1992) визначає потенційний коефіцієнт зменшення масштабу (PSRF) наступним чином: Нехай є ланцюжком го Маркова, відібраний загальний незалежних ланцюгів. Нехай - середнє значення з го ланцюга, а загальне середнє значення. …

16 mcmc  convergence  gibbs  metropolis-hastings  stan 

Я намагаюся ознайомитися з дослідженнями в області високомірної регресії; коли ppp більше nnn , т, p>>np>>np >> n . Схоже, що термін logp/nlog⁡p/n\log p/n часто з'являється з точки зору швидкості конвергенції для регресійних оцінювачів. β^β^\hat{\beta}1n∥Xβ^−Xβ∥22=OP(σlogpn−−−−−√∥β∥1).1n‖Xβ^−Xβ‖22=OP(σlog⁡pn‖β‖1). \dfrac{1}{n}\|X\hat{\beta} - X \beta\|_2^2 = O_P \left(\sigma \sqrt{\dfrac{\log p}{n} } \|\beta\|_1\right)\,. Зазвичай це також означає, …

16 regression  lasso  convergence  high-dimensional 

Це питання термінології. Іноді я бачу, як люди посилаються на глибокі нейронні мережі як "багатошарові перцептрони", чому це так? Перцептрон, як мене вчили, - це одношаровий класифікатор (або регресор) з двійковим пороговим виходом, використовуючи певний спосіб тренування ваг (а не зворотній опор). Якщо вихід перцептрона не відповідає цільовому виходу, ми …

16 neural-networks  perceptron 

Чим відрізняються ланцюги Маркова від процесів Маркова? Я читаю суперечливу інформацію: іноді визначення базується на тому, чи є простір станів дискретним чи безперервним, а іноді воно базується на тому, чи час дискретний безперервним. Слайд 20 цього документа : Процес Маркова називається ланцюгом Маркова, якщо простір стану дискретний, тобто кінцевий чи …

16 terminology  stochastic-processes  markov-process 

У мене є великий набір даних про забруднення, які реєструються кожні 10 хвилин протягом двох років, однак у даних є ряд прогалин (включаючи деякі, які тривають протягом декількох тижнів). Дані, здається, є досить сезонними, і існує велика різниця протягом дня порівняно з ніччю, коли значення не мають великої різниці, а …

16 time-series  missing-data  data-imputation 

Моє запитання: Який математичний зв’язок між розподілом Beta та коефіцієнтами логістичної регресійної моделі ? Для ілюстрації: логістична (сигмоїдна) функція задана f(x)=11+exp(−x)f(x)=11+exp⁡(−x)f(x) = \frac{1}{1+\exp(-x)} і використовується для моделювання ймовірностей в моделі логістичної регресії. Нехай AAA - дихотомічний (0,1)(0,1)(0,1) результат і XXX - матриця проектування. Модель логістичної регресії задана методом P(A=1|X)=f(Xβ).P(A=1|X)=f(Xβ).P(A=1|X) = …

16 regression  logistic  mathematical-statistics  beta-distribution 

У книзі розпізнавання візерунків та машинне навчання (формула 1.27) він дає py(y)=px(x)∣∣∣dxdy∣∣∣=px(g(y))|g′(y)|py(y)=px(x)|dxdy|=px(g(y))|g′(y)|p_y(y)=p_x(x) \left | \frac{d x}{d y} \right |=p_x(g(y)) | g'(y) | деx=g(y)x=g(y)x=g(y),px(x)px(x)p_x(x)- pdf, що відповідаєpy(y)py(y)p_y(y) щодо зміни змінної. У книгах сказано, що це тому, що спостереження, що потрапляють у діапазон , при малих значеннях δ x будуть перетворені в …

16 machine-learning  probability  self-study  derivative  jacobian 

Стандартний градієнт спуск обчислює градієнт для всього навчального набору даних. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Для заздалегідь визначеної кількості епох спочатку обчислюємо градієнтний вектор weights_grad функції втрат для всього набору даних із параметрами вектора параметрів. Стохастичний градієнтний спуск, навпаки, …

16 machine-learning  optimization  gradient-descent  computational-statistics  sgd 

Я побудував криву ROC для діагностичної системи. Тоді площа під кривою була непараметрично оцінена як AUC = 0,89. Коли я спробував обчислити точність при встановленні оптимального порогового значення (точка, найближча до точки (0, 1)), я отримав точність діагностичної системи 0,8, що менше AUC! Коли я перевірив точність на іншому порозі, …

16 roc  reliability  accuracy  auc 

Чи є якесь інтуїтивне пояснення цієї термінології? Чому саме так, а не передбачувальник (-ів) регресують щодо результату? В ідеалі я сподіваюся, що правильне пояснення того, чому існує ця термінологія, допоможе студентам запам’ятати це та заважатиме їм говорити це неправильно.

16 regression  terminology  teaching 

Чи є регресія зі зниженим рангом та регресія головних компонентів лише особливими випадками часткових найменших квадратів? У цьому підручнику (Сторінка 6, "Порівняння цілей") зазначено, що коли ми робимо часткові найменші квадрати, не проектуючи X або Y (тобто "не часткові"), це стає відповідно регресією регресії чи регресією головного компонента. Аналогічне твердження …

16 regression  pca  dimensionality-reduction  partial-least-squares  reduced-rank-regression 

Рис 1. Логістична функція Рис. 2. Сигмоїдна функція це більше схоже на узагальнений вид сигмоїдної функції, де ви могли мати більш високе максимальне значення?

16 logistic 

Мене плутає метод максимальної ймовірності порівняно з, наприклад, обчисленням середнього арифметичного. Коли і чому максимальна ймовірність дає "кращі" оцінки, ніж, наприклад, середнє арифметичне? Як це можна перевірити?

16 maximum-likelihood 

На даний момент я намагаюся застосувати лінійну модель ( family = gaussian) до показника біорізноманіття, який не може приймати значення нижче нуля, є завищеним нулем і є безперервним. Значення варіюються від 0 до трохи більше 0,25. Як наслідок, в залишках моделі є досить очевидна закономірність, якої я не встиг позбутися: …

16 regression  zero-inflation  tobit-regression  tweedie-distribution 

Я знайшов деякі плюси дискримінаційного аналізу, і у мене є питання щодо них. Так: Коли класи добре розділені, оцінки параметрів логістичної регресії напрочуд нестабільні. Коефіцієнти можуть піти в нескінченність. LDA не страждає від цієї проблеми. Якщо кількість ознак невелика і розподіл предикторів ХХX приблизно нормальний у кожному з класів, лінійна …

16 regression  logistic  multivariate-analysis  discriminant-analysis