Статистика та великі дані

Коваріаційна функція Матерна зазвичай використовується як функція ядра в Гауссовому процесі. Визначається так Cν(d)=σ221−νΓ(ν)(2ν−−√dρ)νKν(2ν−−√dρ)Cν(d)=σ221−νΓ(ν)(2νdρ)νKν(2νdρ) {\displaystyle C_{\nu }(d)=\sigma ^{2}{\frac {2^{1-\nu }}{\Gamma (\nu )}}{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}^{\nu }K_{\nu }{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}} де - функція відстані (наприклад, евклідова відстань), - це гамма-функція, - модифікована функція Бесселя …

19 spatial  gaussian-process  kernel-trick 

Я читав про оцінку Джеймса-Штейна. У цій примітці вона визначена як θ^= ( 1 - р - 2∥ X∥2) Xθ^=(1-p-2‖Х‖2)Х \hat{\theta}=\left(1 - \frac{p-2}{\|X\|^2}\right)X Я прочитав доказ, але не розумію наступного твердження: Геометрично оцінювач Джеймса – Штейна зменшує кожну складову напрямку походження ...ХХX Що саме означає "скорочення кожного компонента ХХX до …

19 estimation  terminology  shrinkage  steins-phenomenon 

Я думав про цю проблему під душем, її надихнули інвестиційні стратегії. Скажімо, там було чарівне грошове дерево. Щодня ви можете пропонувати грошову деревню кількість грошей, і вона або потроїть її, або знищить її з імовірністю 50/50. Ви відразу помічаєте, що в середньому ви заробляєте гроші, роблячи це, і хочете скористатися …

19 probability  mathematical-statistics  econometrics  random-walk  martingale 

Що було б найкращим способом вибірки з розподілу Кантора ? Він має лише cdf, і ми не можемо його інвертувати.

19 distributions  simulation  random-generation 

У мене є набір даних 140000 прикладів і 30 функцій, для яких я навчаю декілька класифікаторів для двійкової класифікації (SVM, Logistic Regression, Random Forest тощо) У багатьох випадках налаштування гіперпараметрів у всьому наборі даних за допомогою Grid або Random пошуку занадто дорого за часом. Я почав використовувати наступну техніку Sub …

19 machine-learning  cross-validation  hyperparameter 

Розглянемо елементарну ідентичність дисперсії: Var(X)===E[(X−E[X])2]...E[X2]−(E[X])2Var(X)=E[(X−E[X])2]=...=E[X2]−(E[X])2 \begin{eqnarray} Var(X) &=& E[(X - E[X])^2]\\ &=& ...\\ &=& E[X^2] - (E[X])^2 \end{eqnarray} Це проста алгебраїчна маніпуляція визначення центрального моменту на нецентральні моменти. Це дозволяє зручно маніпулювати в інших контекстах. Він також дозволяє обчислити дисперсію за допомогою одного проходу над даними, а не через два …

19 variance  descriptive-statistics  intuition 

Я розумію згортання та об'єднання шарів, але не можу побачити причину повністю з'єднаного шару в CNN. Чому попередній шар безпосередньо не з'єднаний з вихідним шаром?

19 neural-networks  deep-learning  conv-neural-network 

Я будую модель VAR, щоб прогнозувати ціну активу і хотів би знати, чи є мій метод статистично обгрунтованим, чи є тести, які я включив, чи є відповідні, і чи потрібно більше, щоб забезпечити надійний прогноз на основі вхідних змінних. Нижче наведено мій поточний процес перевірки наявності Грінджера причинності та прогнозування …

19 r  forecasting  modeling  var 

У мене є графік залишкових значень лінійної моделі у функціонуванні встановлених значень, де гетероскедастичність дуже чітка. Однак я не впевнений, як мені діяти зараз, тому що, наскільки я розумію, ця гетероскедастичність робить мою лінійну модель недійсною. (Це так?) Використовуйте надійну лінійну підгонку, використовуючи rlm()функцію MASSупаковки, оскільки це, мабуть, надійно для …

19 r  generalized-linear-model  heteroscedasticity  lm 

Якщо я фіксую значення спостережуваних вузлів MRF, чи стає це CRF?

19 probability  graphical-model  graph-theory  conditional-random-field  markov-random-field 

Мені потрібні поради щодо двох головних дилем у моєму дослідженні - це тематичне дослідження трьох великих фармацевтичних препаратів та інновацій. Кількість патентів на рік є залежною змінною. Мої запитання є Які найважливіші критерії для хорошої моделі? Що більше / менш важливо? Хіба що більшість чи всі змінні будуть значущими? Це …

19 regression  generalized-linear-model  linear-model  goodness-of-fit  poisson-regression 

Якщо я правильно зрозумів, в алгоритмі машинного навчання модель має вчитися на своєму досвіді, тобто коли модель дає неправильний прогноз для нових випадків, вона повинна адаптуватися до нових спостережень, і з часом модель стає все кращою . Я не бачу, щоб логістична регресія мала цю характеристику. То чому це все …

19 machine-learning  logistic  random-forest 

Для використання SVM або нейронної мережі йому потрібно перетворити (кодувати) категоричні змінні в числові змінні, нормальним методом у цьому випадку є використання 0-1 двійкових значень з k-м категоричним значенням, перетвореним у (0,0, .. ., 1,0, ... 0) (1 знаходиться на k-й позиції). Чи є інші методи для цього, особливо коли …

19 machine-learning  neural-networks  categorical-data  svm  categorical-encoding 

Я читаю це твердження на одному старому істинному / хибному іспиті: Ми можемо отримати декілька локальних оптимальних рішень, якщо вирішити задачу лінійної регресії шляхом мінімізації суми помилок у квадраті за допомогою градієнтного спуску. Рішення: помилкове Моє запитання, яка частина цього питання неправильна? Чому це твердження хибне?

19 least-squares  gradient-descent  convex 

Термінологія тут - безлад. "Структурне рівняння" є настільки ж розпливчастим, як "архітектурний міст", а "Байєсова мережа" не є по суті байєсівською . Ще краще, що Бог-беззастережність Юдея Перл каже, що дві школи моделей майже однакові. Отже, які важливі відмінності? (Дивно, як на мене, сторінка Вікіпедії для SEM навіть не включає …

19 sem  bayesian-network  causality